A formatação da prova afeta o desempenho dos estudantes? Evidências do Enem (2016)

Barichello, Leonardo; Guimarães, Rita Santos; Figueiredo Filho, Dalson Britto

doi:10.1590/S1678-4634202248241713por

Acessibilidade / Reportar erro

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

ARTIGOS • Educ. Pesqui. 48 • 2022 • https://doi.org/10.1590/S1678-4634202248241713por copiar

A formatação da prova afeta o desempenho dos estudantes? Evidências do Enem (2016)¹ 1 - O presente trabalho foi realizado com apoio parcial da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp) – processo número 2019/17135-2. Agradecemos também ao apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) a partir do Programa de Excelência Acadêmica (Proex).

Autoria SCIMAGO INSTITUTIONS RANKINGS

Resumo

Este artigo analisa o impacto da posição em que as questões são apresentadas sobre o desempenho dos estudantes no Exame Nacional do Ensino Médio (Enem) no Brasil em 2016. A partir de uma amostra de 4.427.790 casos, calculamos o índice de acerto por questão para os diferentes cadernos de prova da área de Matemática e suas Tecnologias. Os resultados indicam a presença do efeito fadiga na prova do Enem 2016, ou seja, a ordem de apresentação das questões afeta a proporção de respostas corretas, que diminui à medida que o item é apresentado mais próximo do final da prova. As evidências exploratórias também sugerem que o efeito fadiga se manifesta tanto em estudantes de baixo quanto de alto desempenho. Por exemplo, a posição do item reduziu o índice de acerto em até 18 pontos percentuais, controlando pelo nível de desempenho. Este artigo faz a primeira avaliação empírica do efeito fadiga no Enem e os resultados representam uma contribuição para a literatura sobre influências não cognitivas em avaliação e são úteis para fundamentar estudos mais sistemáticos sobre o impacto do efeito fadiga em testes padronizados de larga escala, inclusive para além do caso específico analisado. Ao final, sugerimos medidas que podem mitigar esse efeito no Enem.

Efeito fadiga; Testes padronizados; Enem; Microdados; Desempenho educacional

ID questão	Acertos geral (%)	Maior distância	EF (%)	ID questão	Acertos geral (%)	Maior distância	EF (%)
38786	16,99	14	0,02	25285	31,04	25	2,55
87262	26,86	14	0,03	16644	25,15	25	3,03
42692	23,11	14	0,64	48223	23,47	32	0,02
8476	16,26	14	0,64	44243	15,51	32	1,62
60291	20,51	18	0,93	17264	30,35	32	2,97
42955	42,93	18	3,00	96833	27,32	32	4,06
45081	46,36	18	8,50	53278	16,05	38	0,82
95265	19,14	19	0,30	85018	17,34	38	0,93
39762	15,11	19	0,69	32686	25,73	38	1,14
25723	28,93	19	2,96	27005	31,81	38	1,87
30029	16,68	20	0,19	60315	21,36	39	0,45
53721	17,95	20	0,39	39198	11,57	39	1,00
83906	22,42	20	0,96	88786	31,05	39	6,03
85050	24,17	20	2,24	11472	30,03	42	0,49
10052	22,33	23	0,48	59795	14,71	42	0,66
83234	22,35	23	1,13	24747	25,17	42	1,86
32969	25,64	23	1,21	42706	29,03	42	2,07
29844	19,30	23	1,34	96774	25,75	42	2,39
83152	20,61	23	2,81	37515	35,16	42	5,81
53219	37,12	23	3,71	18364	36,01	42	8,88
32808	37,42	23	6,70	30865	37,87	42	9,46
40660	19,31	25	0,10	32221	62,53	42	12,38
83608	24,87	25	1,45

Grupo	Número total de acertos	Participantes, n (%)
1	0 – 9	1.612.119 (36,41)
2	10 – 18	2.426.686 (54,80)
3	19 – 27	305.620 (6,90)
4	28 – 36	75.075 (1,70)
5	37 – 45	8.290 (0,19)

ID questão	Maior distância	EF Grupo 1 (%)	EF Grupo 2 (%)	EF Grupo 3 (%)	EF Grupo 4 (%)	EF Grupo 5 (%)
32808	23	3,57	7,40	9,60	4,88	2,49
30865	42	4,63	11,12	16,05	6,03	1,51
45081	18	6,00	8,43	4,67	1,87	0,72
18364	42	6,68	8,43	20,85	10,22	1,80
32221	42	11,98	11,36	5,18	1,57	0,01
88786	39	1,12	8,62	18,39	8,17	2,44
59795	42	1,95	1,05	17,02	14,84	3,50
96833	32	0,00	5,74	17,94	8,03	1,07
17264	32	1,38	2,79	15,18	10,33	2,68
96774	42	0,37	3,16	15,66	11,87	2,81
53278	38	0,20	0,63	12,39	12,36	4,38
85018	38	0,30	0,01	11,28	17,02	8,27
10052	23	0,34	0,08	01,28	1,69	5,10
95265	19	0,60	0,36	01,44	2,40	6,18
53721	20	0,76	0,57	3,70	8,04	6,87
60315	39	0,59	0,63	3,58	4,17	9,08

	Frequência de acertos entre estudantes do grupo (%)

ID questão	Grupo 1	Grupo 2	Grupo 3	Grupo 4	Grupo 5
32808	21,52	41,86	73,27	83,34	92,63
30865	20,81	41,99	79,93	93,23	98,13
45081	28,33	51,69	86,51	92,61	96,07
18364	26,82	36,39	66,37	90,69	98,12
32221	44,50	69,59	92,31	96,55	98,91
88786	14,91	34,15	75,41	89,56	96,00
59795	9,30	13,09	39,47	73,76	90,83
96833	12,33	29,60	71,09	89,84	97,52
17264	20,44	31,87	55,83	82,98	95,17
96774	16,37	26,63	52,90	80,80	95,33
53278	9,97	15,90	34,80	66,81	88,97
85018	12,87	17,90	26,30	52,04	76,91
10052	15,65	25,46	28,18	36,55	61,33
95265	14,50	21,70	22,09	22,60	30,31
53721	12,77	19,37	26,38	42,77	71,47
60315	15,17	24,12	26,38	38,71	74,14

Faculdade de Educação da Universidade de São Paulo Av. da Universidade, 308 - Biblioteca, 1º andar 05508-040 - São Paulo SP Brasil, Tel./Fax.: (55 11) 30913520 - São Paulo - SP - Brazil
E-mail: revedu@usp.br

Acompanhe os números deste periódico no seu leitor de RSS

[1] Leonardo Barichello é licenciado em matemática pela Universidade Estadual de Campinas (Unicamp), mestre em educação matemática pela Universidade Estadual de São Paulo Júlio de Mesquita Filho (Unesp), campus Rio Claro, e doutor em educação pela Universidade de Nottingham (Inglaterra). É professor do Instituto Federal de Educação, Ciência e Tecnologia de São Paulo (IFSP), campus Jundiaí.

Rita Santos Guimarães é bacharel e licenciada em matemática pela Unicamp, mestre em ensino de ciências exatas pela Universidade Federal de São Carlos (UFSCar) e doutora em educação pela Universidade de Nottingham (Inglaterra). É bolsista de pós-doutorado da Fapesp no Instituto de Matemática, Estatística e Computação Científica da Unicamp.

Dalson Britto Figueiredo Filho é bacharel em ciências sociais, mestre e doutor em ciência política pela Universidade Federal de Pernambuco (UFPE). É professor adjunto do Departamento de Ciências Políticas da UFPE.