Desempenho do ChatGPT e do Bard AI nas provas do exame nacional de revalidação de diplomas médicos do Brasil - Revalida - estudo

Sep 7, 2026

Carregar por Eliana

Avalia e compara o desempenho do ChatGPT-3.5 e do Bard AI ao responder questões da prova escrita do exame nacional brasileiro de revalidação de diplomas médicos de 2023. As questões objetivas foram inseridas nas ferramentas e as respostas comparadas com gabaritos oficiais, com classificação por área, cenário e complexidade. Os resultados indicam mais de 60% de acertos para ambos, com melhor desempenho do Bard AI. Não há diferenças estatisticamente significativas por categorias. Conclui-se pela necessidade de reconhecer potencial e limitações e apoiar pesquisa para integração efetiva na educação médica.

IdiomaPortuguese

CategoriaSaúde e Cuidados

FormatoPDF

Páginas9

Tempo de leitura14 min

AcessoDownload gratuito

Índice

Resumo

Introdução

Objetivos

Materiais e métodos

Resultados

Conclusões

Desempenho do ChatGPT e do Bard AI nas provas do exame nacional de revalidação de diplomas médicos do Brasil-Revalida Performance of ChatGPT and BARD AI in the National Examination for the Revalidation of Medical Diplomas in Brazil Fernanda Gabriele Fernandes Morais1 Orcid: [https://orcid.org/0009-0007-0803-6496](https://orcid.org/0009-0007-0803-6496) Sabrine Teixeira Ferraz Grunewald2 Orcid [https://orcid.org/0000-0003-1288-1338](https://orcid.org/0000-0003-1288-1338) Resumo INTRODUÇÃO: O ChatGPT e o Bard AI são ferramentas de inteligência artificial construídas de forma a gerar linguagem semelhante à humana e realizar uma ampla gama de tarefas. Essas ferramentas vêm sendo estudadas quanto a inúmeras aplicações, inclusive no campo daeducação médica, avaliando o desempenho em exames relevantes para o exercício profissional. OBJETIVOS: O objetivo deste estudo foi avaliar e comparar o desempenho do ChatGPT-3.5 e do Bard AI em responder às questões da prova escrita do exame nacional brasileiro pararevalidação de diplomas médicos de 2023. MATERIAIS E MÉTODOS: As questões das provas objetivas foram inseridas nas ferramentas e as respostas obtidas foram comparadas com os gabaritos oficiais. As questões foram classificadas por área, cenário e complexidade. RESULTADOS: Ambas as ferramentas tiveram mais de 60% de acertos, sendo que o Bard AI foi o modelo com melhor desempenho. Não houve diferenças estatisticamente significativas no desempenho das ferramentas quando as questões foram classificadas quanto à área, cenário ou complexidade. CONCLUSÕES: É importante que os profissionais de saúde reconheçam ospotenciais e as limitações dessas ferramentas, e que as pesquisas avancem para que possam serefetivamente utilizadas na educação médica. Palavras-chave: inteligência artificial; educação médica; desenvolvimento tecnológico. Abstract BACKGROUND: ChatGPT and Bard AI are artificial intelligence tools designed to generate human-like language and perform a wide range of tasks. These tools have been studied for various applications, including in the field of medical education, assessing their performance in relevant exams for professional practice. OBJECTIVE: The aim of this study was to evaluate and compare the performance of ChatGPT-3.5 and Bard AI in responding to questions from the 2023 Brazilian national exam for the revalidation of medical diplomas. METHODS: Objective exam questions were input into the tools, and the obtained responses were compared to official answer keys. Questions were categorized by area, scenario, and complexity. RESULTS: Results showed that both tools achieved over 60% accuracy, with Bard AI outperforming ChatGPT-3.5. No statistically significant differences were found in tool performance when questions were categorized by area, scenario, or complexity. CONCLUSIONS: It is crucial for healthcare professionals to recognize the potential and limitations of these tools, and further research is needed to effectively integrate them into medical education. Keywords: artificial intelligence; education; medical; technological development. 1 Universidade Federal de Juiz de Fora – MG – Brasil. E-mail: fernanda.gabriele@estudante.ufjf.br 2 Universidade Federal de Juiz de Fora – MG-Brasil. E-mail: [sabrine.pediatria@gmail.com](sabrine.pediatria@gmail.com) Introdução Grandes modelos de linguagem (LLM, sigla do inglês large language models) são um tipo de tecnologia de Processamento de Linguagem Natural quetêm recebido muita atenção nos últimosanos. Eles podem ser definidos como modelos de inteligência artificial (IA) treinados com grandes quantidades de dados textuais, capacitando-os a gerar linguagem semelhante à humana e realizar uma ampla gama de tarefas de processamento de linguagem 1. Durante seu processo de treinamento, gera-se o aprendizado de padrões e estruturas da linguagem sem serem programados explicitamente, permitindo que os LLMs gerem texto coerente e contextualmenteapropriado em r

Perguntas frequentes

Qual foi o objetivo do estudo sobre ChatGPT-3.5 e Bard AI no Revalida?

Avaliar e comparar o desempenho do ChatGPT-3.5 e do Bard AI ao responder às questões da prova escrita do exame nacional brasileiro de revalidação de diplomas médicos de 2023.

Como as respostas foram avaliadas em relação ao desempenho?

As questões foram inseridas nas ferramentas e as respostas obtidas foram comparadas com os gabaritos oficiais.

O desempenho variou conforme área, cenário ou complexidade das questões?

Não houve diferenças estatisticamente significativas quando as questões foram classificadas por área, cenário ou complexidade.

Sep 7, 2026

Carregar por Eliana