Automatic Evaluation of ENEM-like Essays - An Analysis of Benchmarks, Gaming Susceptibility, Transferability and Feedback

Sep 5, 2026

Automatic Evaluation of ENEM-like Essays explores how to automatically assess essay quality using computational benchmarks and evaluates three major risks and transfer behaviors. The work analyzes gaming susceptibility, measuring how models can be exploited by adversarial or strategically written responses, and studies transferability to new settings or distributions. It also investigates the role of automatic feedback, connecting evaluation outputs with actionable guidance for improving student writing performance. The thesis presents an analytical framework and findings for designing more robust essay assessment systems.

LanguageEnglish

CategoryResearch & Report

FormatPDF

Pages115

Reading Time4 h 50 min

AccessFree to download

Acknowledgements

References

Automatic Evaluation of ENEM-like Essays: An Analysis of Benchmarks, Gaming Susceptibility, Transferability and Feedback Igor Cataneo Silveira Thesis presented to the Institute of Mathematics, Statistics, and Computer Science of the University of São Paulo in partial fulfillment of the requirements for the degree of Doctor of Science Program: Ciência da Computação Advisor: Prof. Dr. Denis Deratani Mauá Durante o desenvolvimento deste trabalho o autor recebeu auxílio financeiro da CAPES São Paulo April, 2026 Automatic Evaluation of ENEM-like Essays: An Analysis of Benchmarks, Gaming Susceptibility, Transferability and Feedback Igor Cataneo Silveira This version of the thesis includes the corrections and modifications suggested by the Examining Committee during the defense of the original version of the work, which took place on April 28, 2026 . A copy of the original version is available at the Institute of Mathematics, Statistics, and Computer Science of the University ofSão Paulo. Examining Committee: Prof. Dr. Denis Deratani Mauá (advisor)– IME-USP Prof. Dr. Aline Paes – UFF Prof. Dr. Evelin Amorim – INESCTEC Prof. Dr. Fábio Gagliardi Cozman – POLI-USP Prof. Dr. Valéria Delisandra Feltrim – UEM The content of this work is published under the CC BY 4 .0 license (Creative Commons Attribution 4.0 International License) Ficha catalográfica elaborada com dados inseridos pelo(a) autor(a) Biblioteca Carlos Benjamin de Lyra Instituto de Matemática e Estatística Universidade de São Paulo Silveira, Igor Cataneo Automatic Evaluation of ENEM-like Essays: An Analysis of Benchmarks, Gaming Susceptibility, Transferability and Feedback / Igor Cataneo Silveira; orientador, Denis Deratani Mauá . -São Paulo, 2026 . 95 p . : il . Tese (Doutorado) - Programa de Pós-Graduação em Ciência da Computação / Instituto de Matemática, Estatística e Ciênciada Computação / Universidade de São Paulo . Bibliografia 1 . Correção Automática de Redação . 2 . ENEM . 3 . Ataques Adversa riais . 4 . Transferência de Conhecimento . 5 . Feedback Automático . I . Mauá, Denis Deratani . II . Título . Bibliotecárias do Serviço de Informação e Biblioteca Carlos Benjamin de Lyra do IME-USP, responsáveis pela estrutura de catalogação da publicação de acordo com a AACR2: Maria Lúcia Ribeiro CRB-8/2766; Stela do Nascimento Madruga CRB 8/7534 . Γνῶθι µαθών. (Stobaeus, 5th c.) i Agradecimentos Conforme prometido na dissertação de mestrado: dedico esse doutorado, acima de tudo, à minha família. Aos meus avôs — Ciro e Waldir —já falecidos, que ficaram naminha memória como exemplos a serem seguidos. Às minhas avós, Rose — por tudo emais um pouco – e Leonor —pelos “filho, come o feijão que é da hora”,“filho, vem comer que tá uma delícia”,“lembra que, quando você era pequeno, você adorava a canjiquinhada vó?” Aos meus pais, Sandro e Lilian, que sempre me apoiaram nesse longo processoda pós-graduação. Todos meus tios, tias e primas. O Adri e a Yasmim, com quem tenhosempre assunto infinito. A Gê e o Wandy, que também fazem tudo e mais um pouco por mim. A Pri, o Bira e a Rafa, que me recebem todo domingo na casa deles para almoço. A Ângela, o Luciano e a Allana, com quem acabo interagindo menos, mas nem por issonão são importantes. O Ju e a Karla, que sempre me convidam e recebem para a virada deano — foi, inclusive, em uma dessas que eu escrevi o primeiro artigo que se tornaria essatese. E meu irmão Iuri, que foi prejudicado pela escrita desse trabalho, tendo que ceder o quarto e perdendo uma hora de jogatina noturna — foi mal, piá . Gostaria de escrever um pouco sobre cada uma das pessoas (não-familiares) que marcaram toda essa jornada, mas infelizmente não vou ter como, então fica a menção honrosa de agradecimento e a torcida para que a pessoa saiba o porquê de estar sendo nomeada: Alana “Astreisky” Streisky da Silva, Aline “F.” Carolina Oliveira, Amanda “Futura Ministra”Simões, Ana Paula Stienen, Ande

FAQs

What topic does the thesis address?

The thesis focuses on automatic evaluation of ENEM-like essays, including benchmark analysis and the quality of generated assessment and feedback.

What does “gaming susceptibility” mean in this work?

It refers to how easily an essay evaluation system can be manipulated by adversarial or strategically written inputs.

How does the thesis evaluate transferability and feedback?

It analyzes how evaluation behavior generalizes across contexts or distributions and examines how automatic feedback supports improvement in essay writing.

Sep 5, 2026

Upload by Bill Black