Automated Essay Scoring: An approach based on ENEM competencies - strategies for Portuguese AES with features engineering and LSTM

Sep 5, 2026

The work proposes strategies for Automatic Essay Scoring (AES) of Portuguese-written essays based on feature definition and AES models tailored to each ENEM competence in the reference matrix. The study explores feature engineering, embeddings, and Recurrent Neural Networks, with emphasis on LSTM architectures, to predict competence scores. Results outperform related approaches, yet further research is needed to improve Portuguese AES performance, especially in achieving higher accuracy and more robust scoring behavior.

LanguageEnglish

CategoryResearch & Report

FormatPDF

Pages12

Reading Time30 min

AccessFree to download

Introdução

ENEM

Matriz de Referência e competências

Trabalhos relacionados

Métodos desenvolvidos

Resultados e discussão

Conclusão e trabalhos futuros

Automated Essay Scoring: An approach based on ENEM competencies Jeziel C. Marinho 1 , Fbio Cordeiro2 , Rafael T. Anchita3 , Raimundo S. Moura2 1Federal Institute of Maranho (IFMA)– Barra do Corda, MA – Brazil 2Federal University of Piau´ı (UFPI)– Teresina, PI – Brazil 3Federal Institute of Piau´ı (IFPI)– Picos, PI – Brazil [jeziel.marinho@ifma.edu.br](jeziel.marinho@ifma.edu.br) , [rta@ifpi.edu.br](rta@ifpi.edu.br) , [fabiocordeiro@gmail.com](fabiocordeiro@gmail.com) , [rsm@ufpi.edu.br](rsm@ufpi.edu.br) Abstract. This work presents strategies for Automatic Essays Scoring (AES) written in Portuguese through an approach based on the definition of features and specific AES models for each competence of theENEM reference matrix. We investigate methods based on features engineering, embeddings, and Recurrent Neural Networks. Although the results obtained are better than related works, further studies should be conducted in order to improve the performance of AES models for the Portuguese language. Resumo. Este trabalho apresenta estrat e´gias para Avaliac¸ a˜o Automa´tica de Redac¸ o˜es (AAR) escritas em portugu s por meio de uma abordagem baseadana definic¸ a˜o de features e modelos de AAR especıfi´cos para cada competeˆnciada matriz de refereˆncia do ENEM. Foram investigados m e´todos baseados emengenharia de features, embeddings e Redes Neurais Recorrentes. Apesar dos resultados obtidos serem melhores do que trabalhos relacionados, novos estu dos devem ser conduzidos a fim de melhorar o desempenho dos modelos deAAR para a lı´ngua portuguesa. 1. Introduc¸ o No Brasil, o E˜xame Nacional do Ensino Mdio (ENEM) contm, atualmente, a maior prova de ˜redac¸ao do pa´ıs em n´umero de participantes [INEP 2021] . Em 2020, foram qua˜se 2,8 milhoes de candidatos inscritos e apenas 28 alcanc¸aram a nota mxima na redac¸ ao do ENEM. Destaca-se que 3,22% dos participantes obtiveram nota 0 [INEP 2021] . De ac˜ ordo com [Gonc¸alves and Carvalho 2010], parte da ˜problemtica por traz de resultados tao ruins est relacionada ao baixo volume de produc¸ oes tex˜tuais dos candidatos duranteo per´ıodo de estudos ˜para exame. Al˜m do mais, a evoluc¸ ao no desempenho dos candidatos para elaborac¸ao de boas redac¸oes depende de um˜ feedback de profissionais da rea de Letras/L´ıngua Portuguesa ou Lingu´ıstica em relac¸ao ao que deve ser melhorado, o que pode acarretar em uma sobrecarga de trabalho dos profissionais no acompanhamentodestes candidatos. A Avaliac¸ o Automtica de Redac¸ es (AAR), por meio de tcnicas de Processamento de Linguagem Natural (PLN) e Aprendizado de Mquina (AM), busca avaliar epontuar textos em prosa escrita [Dikli 2006] . A AAR como rea de pesquisa teve in´ıcio com o Project Essay Grader (PEG) [Page 1966] e, apesar da importncia da rea de AAR, e de haver muitas pesquisas relacionadas a AAR em vrios idiomas, principalmente para o ingls [Ke and Ng 2019], o n´umero de pesquisas voltadas o portugus ainda pequeno. [Ke and Ng 2019] apresentam uma viso geral sobre a rea de AAR e cita˜m que a grande maioria dos sistemas de AAR existentes foi desenvolvida para pontuac¸ ao hol´ıstica. A pontuac¸ o de dimenses espec´ıficas, ou competncias, como esclarecemos autores, ainda pouco explorada. Eles citam que ˜praticamente todos as pesquisas abordaram a tarefa de AAR como uma tarefa de regressao [Izbicki and dos Santos 2020] .[Beigman Klebanov and Madnani 2020] mencionam o fato de os sistemas de AAR aindano serem capazes de avaliar a originalidade de um˜ aluno ao produzir uma redac¸ o, ˜ou mesmo avaliar o seu n´ıvel de conhecimento em relac¸ ao ao conte´udo abordado na redac¸ ao. Neste contexto, esta pesquisa tem como objetivo implementar e analisar estratgias para avaliac¸ o automtica de redac¸ es escritas na l´ıngua portuguesa, seguindo o˜s critrios estabelecidos para as cinco competncia da matriz de referncia da redac¸ ao do ENEM. Nossa abordagem faz uso de tcnicas de PLN e algoritmos de AM supervisionados.

FAQs

What does the proposed approach target in Portuguese?

It targets Automatic Essay Scoring (AES) for essays written in Portuguese, predicting scores aligned with each competence from the ENEM reference matrix.

Which techniques are used to build the AES models?

The study investigates feature engineering, embeddings, and recurrent neural networks, specifically LSTM-based models, with supervised algorithms.

How do the results compare with related work?

The models achieve better results than related approaches, though the paper calls for further studies to improve Portuguese AES performance.

Sep 5, 2026

Upload by wps_ap_test_251126_0180