Criação e julgamento de itens: ChatGPT como designer e juiz

Resumo

O objetivo deste estudo foi avaliar a eficácia da inteligência artificial (IA), representada pelo ChatGPT 4.0, em comparação com designers humanos na criação de itens para um exame de ingresso ao ensino superior na área de Língua Escrita. Utilizou-se uma abordagem mista, combinando metodologias clássicas e contemporâneas em avaliação educacional, incluindo o julgamento de especialistas. O ChatGPT e quatro designers humanos desenvolveram 84 itens, seguindo a Taxonomia de Anderson e Krathwohl para estabelecer o nível de demanda cognitiva. Os itens foram avaliados por dois juízes humanos e pelo ChatGPT, utilizando uma rubrica detalhada que inclui clareza, neutralidade, formato, alinhamento curricular e redação. Os resultados mostraram uma alta taxa de aceitação sem mudanças tanto para itens do ChatGPT quanto para os humanos, indicando um bom alinhamento com os padrões de avaliação. No entanto, foram observadas diferenças na necessidade de mudanças menores e maiores propostas pela rubrica. Conclui-se que tanto a IA quanto os designers humanos são capazes de gerar itens de alta qualidade, destacando o potencial da IA no design de itens educacionais.

Palavras-chave:
Inteligência Artificial; Avaliação educacional; ChatGPT; Design de itens; Julgamento