Cartas - Investigação - Desempenho de modelos de inteligência artificial generativa na prova teórica do Título de Especialista em Dermatologia (TED) - estudo comparativo

Sep 7, 2026

Desempenho comparativo de modelos de inteligência artificial generativa na prova teórica do Título de Especialista em Dermatologia (TED) 2025, conduzido com estudo observacional, transversal e retrospectivo de abordagem quantitativa. A prova, com 80 questões de múltipla escolha, foi resolvida por oito modelos com prompt padronizado e, quando aplicável, suporte limitado ao upload de imagens. As respostas foram confrontadas com o gabarito oficial, calculando-se acurácia por proporção de acertos. Claude Sonnet 4 liderou (72/80), com heterogeneidade global detectada pelo teste de Cochran’s Q (p=0,0119), sem superioridade pareada robusta, e desempenho consistente acima do acaso, sugerindo potencial complementar no raciocínio clínico dermatológico.

IdiomaPortuguese

CategoriaSaúde e Cuidados

FormatoPDF

Páginas3

Tempo de leitura5 min

AcessoDownload gratuito

Índice

Desempenho na prova do TED 2025

Metodologia e desenho do estudo

Prompt, execução e avaliação

Modelos avaliados e resultados

Análises estatísticas e interpretação

CARTAS - INVESTIGA¸CÃO Desempenho de modelos de inteligência artiﬁcial generativana prova teórica do Título de Especialista em Dermatologia (TED): estudo comparativo􀀂 ,􀀂􀀂 Prezado Editor, Modelos de linguagem baseados em Inteligência Artiﬁcial (IA), como o ChatGPT, têm sido amplamente explorados na Medicina, demonstrando desempenho comparável ao demédicos e estudantes em exames nacionais e internacionais (USMLE, PLAB, HKMLE, NMLE e Revalida) . Metanálisestambém indicam que alguns desses sistemas apresentamacurácia média estatisticamente inferior à de especialistas, mas comparável à de médicos não especialistas.1---4 Em Dermatologia, modelos de IA têm sido avaliados em diversos contextos, avaliando sua acurácia diagnóstica frente a casosclínicos publicados, em exames de especialidade norte--americanos e no próprio Exame de Título de Especialista em Dermatologia (TED) aplicado pela Sociedade Brasileira de Dermatologia (SBD).5---7Apesar da crescente produc¸ão cientí ﬁca na área, ainda são escassas as comparac¸ões sistemáticasentre diferentes plataformas de IA generativa. Diante disso, o presente estudo tem como objetivo avaliar e comparar odesempenho de múltiplas ferramentas de IA generativa na resoluc¸ão da prova teórica do TED 2025, a ﬁm de contribuir para a discussão sobre seu potencial papel como instrumento complementar na formac¸ão médica especializada e no raciocínio clínico dermatológico. Realizamos um estudo observacional, transversal eretrospectivo, com abordagem quantitativa, realizado para avaliar o desempenho de diferentes modelos de IA generativa na prova teórica do TED 2025, composta por 80 questões de múltipla escolha com quatro alternativas (A, B, C, D) euma única correta, abrangendo temas diversos da Dermato- DOI referente ao artigo: [https://doi.org/10.1016/j.abd.2026.501326](https://doi.org/10.1016/j.abd.2026.501326) 􀀂 Como citar este artigo: Pacheco MA, Martini APS. Performance of generative artiﬁcial intelligence models in the theoretical exam for the Dermatology Specialist Title (TED): a comparative study. An Bras Dermatol. 2026;101:501326 . 􀀂􀀂 Estudo realizado no Hospital Universitário, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil. logia. Foram incluídos oito modelos de IA generativa; suascaracterísticas estão descritas na tabela 1. O prompt inicial foi o mesmo para todos os modelos:‘‘Você está realizando a prova de Título de Especialista em Dermatologia (TED) --- primeira fase. Esta é uma questão demúltipla escolha com quatro alternativas (A, B, C ou D) . Leia atentamente a pergunta e selecione apenas a alternativa correta. Não explique o motivo da sua resposta. Sua resposta deve conter somente uma letra maiúscula: A, B, C ou D’’. As interac¸ões foram realizadas em julho de 2025. Para cada questão, o enunciado completo --- incluindo texto, alternativas e, quando aplicável, imagens suplementares (nos modelos que suportavam upload de imagens) --- foi fornecido à IA. Apenas uma questão exigia interpretac¸ão de imagem. Não foram fornecidas informac¸ões adicionais além do conteúdo original da prova. As respostas geradas foram registradas e confrontadas com o gabarito oﬁcial divulgadopela banca. A acurácia foi calculada como a proporão derespostas corretas em relac¸ão ao total de questões. As análises foram realizadas na plataforma Julius AI, utilizando teste de Cochran’s Q para comparaão global e McNemar com ajuste de Holm para comparac¸ões pareadas. Claude Sonnet 4 liderou com 72/80 acertos, seguido por Gemini 2.5 Flash (71/80) e GPT-4.5 (69/80) . DeepSeek V3, Meta LLaMA 4, GPT-3.5 e Grok 3 obtiveram entre 63---64 acertos. Le Chat Mistral AI teve o menor desempenho (59/80)(ﬁg. 1) . A diferena entre o modelo mais preciso e o menos preciso foi de 16,25 pontos percentuais, evidenciando heterogeneidade de performance entre as plataformas. Apesardessa variac¸ão, todos os modelos apresentaram taxa de acerto superior a 70%, o que indica capacidade de resoluc¸ão consist

Perguntas frequentes

Qual foi o objetivo do estudo sobre IA generativa e o TED 2025?

Avaliar e comparar o desempenho de múltiplas ferramentas de IA generativa na resolução da prova teórica do TED 2025, contribuindo para discutir seu potencial como instrumento complementar na formação e no raciocínio clínico dermatológico.

Como as respostas dos modelos foram obtidas e avaliadas?

Um prompt inicial padronizado foi usado para todos os modelos; o enunciado completo de cada questão, com alternativas e imagens quando disponíveis, foi fornecido à IA. As respostas foram registradas e comparadas com o gabarito oficial, calculando-se a acurácia como proporção de acertos.

Quais foram os principais achados de desempenho entre os modelos?

Claude Sonnet 4 obteve 72/80 acertos, seguido por Gemini 2.5 Flash (71/80) e GPT-4.5 (69/80). O desempenho variou entre 59/80 e 72/80, mantendo taxas superiores a 70% na maioria dos modelos.

O estudo encontrou diferenças estatisticamente significantes entre os modelos?

O teste de Cochran’s Q indicou diferença estatisticamente significante entre os oito modelos (p=0,0119). Contudo, comparações pareadas com McNemar e ajuste de Holm não identificaram diferenças significantes entre pares específicos, sugerindo heterogeneidade global sem superioridade consistente comprovada.

Sep 7, 2026

Carregar por WPS_1786070896