Can Large Language Models Detect Periapical Lesions in Anterior Teeth? A Comparative Study

Este estudo avaliou o desempenho diagnóstico de modelos de linguagem de grande porte (LLMs) - ChatGPT 5.0 (OpenAI) e Gemini Flash 2.0 (Google Inc.) - na detecção de lesões periapicais em radiografias periapicais, utilizando um prompt multimodal padronizado. Foram analisadas 75 radiografias periapicais anonimizadas de dentes anteriores da maxila e da mandíbula, distribuídas igualmente entre casos com e sem lesões. Um especialista em Endodontia, devidamente calibrado, forneceu o diagnóstico de referência. Cada imagem foi avaliada de forma independente cinco vezes por ambos os LLMs, utilizando o prompt: “Esta imagem apresenta uma lesão periapical? Em caso afirmativo, em qual dente? Responda com: A) Sim B) Não.” A acurácia balanceada, sensibilidade, especificidade e F1-score foram calculados com intervalos de confiança de 95% (IC95%) obtidos por reamostragem bootstrap. O desempenho também foi estratificado conforme o nível de dificuldade diagnóstica, e os modelos foram comparados pelo teste exato de McNemar (α = 0,05). O ChatGPT 5.0 apresentou desempenho geral superior ao Gemini Flash 2.0, com sensibilidade de 0,97 (IC95%: 0,95-0,99), especificidade de 0,11 (IC95%: 0,07-0,16) e acurácia balanceada de 0,54 (IC95%: 0,52-0,57). O Gemini Flash 2.0 obteve sensibilidade de 0,84 (IC95%: 0,79-0,89), especificidade de 0,11 (IC95%: 0,07-0,16) e acurácia balanceada de 0,48 (IC95%: 0,44-0,51). Ambos os modelos apresentaram altas taxas de falso-positivos e erros frequentes na localização do dente. O teste de McNemar confirmou diferença estatisticamente significativa entre os modelos (p < 0,05), favorecendo o ChatGPT 5.0. Ambos os LLMs demonstraram alta sensibilidade, porém baixa especificidade, resultando em desempenho diagnóstico intermediário e viés para classificações positivas. Assim, modelos de linguagem de uso geral ainda não são adequados para aplicação diagnóstica radiográfica.