As questões de física e o desempenho dos estudantes no ENEM

Physics items and student's performance at ENEM

PESQUISA EM ENSINO DE FíSICA

As questões de física e o desempenho dos estudantes no ENEM

Physics items and student's performance at ENEM

Wanderley P. Gonçalves Jr^{I, II}; Marta F. BarrosoI, ¹

^IInstituto de Física, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil

^IIColégio de Aplicação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil

RESUMO

O Exame Nacional do Ensino Médio (ENEM) passou por uma reformulação no ano de 2009, modificando seus objetivos: de uma auto-avaliação de competências ao final do Ensino Médio para uma avaliação que possibilita o acesso às universidades e ao financiamento estudantil. Nesta mudança, de uma única prova passa-se a quatro provas por grandes áreas, constrói-se uma matriz de referência com domínios cognitivos, competências, habilidades e objetos de conhecimento, e muda-se também a metodologia de análise, com a utilização da Teoria da Resposta ao Item, que possibilita a comparação longitudinal dos resultados de anos diferentes, com a intenção de monitorar o Ensino Médio no país. Neste trabalho, apresentamos um estudo sobre as questões de física da prova de Ciências da Natureza do ENEM 2009, 2010 e 2011, posteriores à mudança. A partir de categorias definidas, são propostas variáveis qualitativas para caracterizar o tipo de prova. Também são analisadas as respostas dos estudantes participantes da prova de Ciências da Natureza em 2009, usando dados disponibilizados pelo INEP. A análise qualitativa revela as características da prova nestes anos: questões longas, com pouca exigência de raciocínios mais complexos característicos da resolução de problemas, e uma tendência de distribuição de questões por objetos de conhecimento diferente do tradicional no Ensino Médio. A análise do desempenho dos alunos também é reveladora dos processos efetivos de aprendizagem da disciplina, indicando que o percentual de acertos nos itens quase sempre é baixo, e que questões que exigem algum tipo de conhecimento disciplinar ou que exigem utilização de raciocínios matemáticos apresentam um desempenho sensivelmente mais fraco.

Palavras-chave: ENEM, ensino de física, avaliação de larga escala.

ABSTARCT

The Brazilian National Assessment of Secondary Education (ENEM, Exame Nacional do Ensino Médio) has changed in 2009: from a self-assessment of competences at the end of high school to an assessment that allows access to college and student financing. From a single general exam, now there are tests in four areas: Mathematics, Language, Natural Sciences and Social Sciences. A new reference matrix is build with components as cognitive domains, competencies, skills and knowledge objects; also, the methodological framework has changed, using now Item Response Theory to provide scores and allowing longitudinal comparison of results from different years, providing conditions for monitoring high school quality in Brazil. We present a study on the issues discussed in Natural Science Test of ENEM over the years 2009, 2010 and 2011. Qualitative variables are proposed to characterize the items, and data from students' responses in physics items were analysed. The qualitative analysis reveals the characteristics of the exam in these years: long items, only a few of them demanding more complex reasoning, a characteristic of problem solving skills. The analysis of student performance also reveals that learning physics is not attained, with a percentage of correct answers on items that is almost always small, and that items that require some type of disciplinary knowledge or require use of mathematical reasoning presents a performance significantly weaker.

Keywords: ENEM secondary education assessment, physics education, large scale assessments.

1 Introdução

O Exame Nacional do Ensino Médio (ENEM) foi concebido com o objetivo de "avaliar o indivíduo ao término da escolaridade básica, para aferir o desenvolvimento de competências fundamentais ao exercício pleno da cidadania", conforme o Documento Básico do ENEM [1] elaborado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), órgão do Ministério da Educação.

No período de 1998 a 2008, a avaliação foi feita por meio da aplicação de um exame único, com 63 questões objetivas de múltipla escolha e uma redação. O desempenho dos participantes era mensurado pela nota da prova objetiva, cujo valor correspondia ao percentual de questões respondidas corretamente (num total de 0 a 100), e pela nota da redação, também valendo 100 pontos. Em vez de um programa para este exame, foi elaborada uma Matriz de Referência, termo que se refere às múltiplas dimensões a serem avaliadas simultaneamente pelas questões, algumas delas envolvendo conceitos abstratos, como por exemplo as competências dos examinandos, as habilidades desenvolvidas por eles e os conteúdos aprendidos. A Matriz de Referência para o ENEM, segundo o Documento Básico [1], pressupunha "a colaboração, a complementaridade e integração entre os conteúdos das diversas áreas do conhecimento presentes nas propostas curriculares das escolas brasileiras de ensino fundamental e médio", e considerava "que conhecer é construir e reconstruir significados continuamente, mediante o estabelecimento de relações de múltipla natureza individuais e sociais".

Neste contexto, o ENEM fornecia um indicador da qualidade do sistema, mas não uma mensuração precisa desta qualidade e, por apresentar características incomuns para uma avaliação em larga escala [2], como não ser um exame obrigatório e não utilizar mecanismos de amostragem, seus resultados possibilitavam a avaliação do desempenho individual dos candidatos e, eventualmente, forneciam um indicador para as escolas que possuíam mais de 90% de seus concluintes participando do exame.

Aos poucos, os resultados do ENEM também passaram a servir como indicadores para financiamento de cursos superiores (Programa Universidade para Todos - PROUNI, a partir de 2005) e para ingresso em universidades, tornando-se assim um exame cada vez mais importante para os estudantes no país.

No ano de 2009, ocorreu uma reformulação no ENEM. Metodologicamente, sua Matriz de Referência foi substituída e as notas dos estudantes passaram a ser escores calculados usando-se a Teoria da Resposta ao Item. Os objetivos do Novo ENEM modificaram-se: além de seus resultados servirem de referência para a auto-avaliação do candidato, eles também passaram a compor os mecanismos de acesso a programas governamentais e aos cursos profissionalizantes, pós-médios e à Educação Superior. Passaram a fornecer, ainda, a certificação de conclusão do Ensino Médio para jovens e adultos e a ser utilizados na avaliação do desempenho acadêmico dos ingressantes nas Instituições de Ensino Superior (como componente dos resultados do Exame Nacional de Desempenho de Estudantes, o ENADE, no Sistema Nacional de Avaliação do Ensino Superior, SINAES).

Em relação a seu formato, o exame passou a se constituir de 4 provas com 45 questões de múltipla escolha cada, nas áreas de Ciências Humanas, Ciências da Natureza, Linguagens e Códigos e Matemática e suas Tecnologias além de uma prova de redação. O candidato dispõe de 4 horas e meia, num primeiro dia, para resolver as 90 questões das provas de Ciências da Natureza e Ciências Humanas, e de 5 horas e meia num segundo dia para as 90 questões da prova de Linguagens e Matemática e para a prova de redação.

A Matriz de Referência passou a ser composta por 5 eixos cognitivos, comuns a todas as áreas (dominar linguagens, compreender fenômenos, enfrentar situações-problema, construir argumentação, elaborar propostas), com uma matriz específica para cada uma das áreas, apresentando nessa uma lista de competências e habilidades.

Essas reformulações do exame fizeram com que o ENEM se tornasse uma avaliação muito procurada pelos estudantes que estão concluindo o Ensino Médio. Já era um exame bastante procurado desde o início da utilização de seus resultados no programa PROUNI, de concessão de bolsas para o sistema de ensino superior privado; em 2011, quando muitas instituições federais de ensino superior aderiram ao Sistema de Seleção Unificada (SiSU), o número de inscritos superou 5 milhões.

Tudo isso faz com que o ENEM forneça indicadores relevantes sobre a qualidade da educação básica brasileira, mesmo com seus vícios de origem: ele não foi proposto para ser uma avaliação de sistema, e sim para ser uma avaliação individual e, principalmente, o exame não é universal nem amostral para os estudantes do Ensino Médio.

Neste trabalho, apresenta-se um estudo sobre aspectos qualitativos das questões de física do ENEM dos anos de 2009, 2010 e 2011 [3]. Com base em um conjunto de variáveis qualitativas construídas a partir das características do ensino de física no nível médio, todas as questões de física foram classificadas. Os microdados do exame de 2009 foram disponibilizados pelo INEP, e a análise destes dados permite observar as dificuldades dos estudantes que prestaram o exame. Em particular, foi possível relacionar os aspectos qualitativos das questões com o desempenho dos alunos. Observa-se por exemplo que as questões que envolvem qualquer tipo de manipulação matemática apresentam um percentual de acerto mais baixo do que os itens estritamente qualitativos. Com base neste estudo, é possível apresentar algumas conclusões a respeito do que o exame revela em relação à aprendizagem em física dos estudantes ao final do Ensino Médio, e sobre as possíveis repercussões no ensino e aprendizagem de física e ciências no Ensino Médio proporcionado pela utilização maciça deste exame para ingresso ou financiamento nas instituições de ensino superior.

2 Avaliações em larga escala

A avaliação é uma peça fundamental no ensino e aprendizagem; no entanto, os professores em geral simplesmente reproduzem os processos avaliativos que conheceram em sua formação, refletindo muito pouco sobre estes.

Enquanto as avaliações se restringiam às paredes de sala de aula, cada professor aplicava-as e interpretava seus resultados de forma individual ou no máximo dentro de sua instituição de ensino. A partir da década de 90, com o Sistema de Avaliação da Educação Básica (SAEB), em 1998 com o ENEM, e com o SINAES (ENADE) na década de 2000, o país começou a seguir uma tendência internacional [2] de realização de processos de avaliação externa da aprendizagem dos alunos e da qualidade do ensino. Esta política passou a gerar polêmicas e preocupações, ao possibilitar a criação de políticas de responsabilização [4] e comparação entre escolas. Tal preocupação aumentou no Ensino Médio após as mudanças ocorridas em 2009 no ENEM.

Dentro deste contexto, torna-se necessária uma reflexão em relação à avaliação, em especial aos métodos em larga escala, para que seus resultados sejam compreendidos e, principalmente, possam ser utilizados como agentes de melhoria da aprendizagem.

As avaliações em larga escala constituem um tipo de avaliação educacional que têm como objetivo a obtenção de dados e a realização de análises que permitam diagnosticar a situação da educação, fornecendo subsídios para a implementação, a manutenção e a reformulação de políticas educacionais. O termo "larga escala" refere-se a um número muito grande de testes aplicados ou à utilização de algum tipo de amostragem estatística. Uma das características desse tipo de avaliação é que elas possibilitam o monitoramento contínuo dos processos educativos, permitindo detectar tanto os benefícios quanto os malefícios decorrentes de políticas educacionais adotadas [5]; e, em geral, essas avaliações não se destinam a analisar e fornecer dados de alunos ou escolas individualmente [2].

A partir da década de 90, o número de avaliações em larga escala cresce substancialmente em todo o mundo [2, 6]. Essas avaliações são focadas, quase sempre, em Linguagens, Matemática e Ciências. Alguns exemplos internacionais são o PISA (Programme for International Student Assessment), o TIMSS (Trends in Mathematics and Science Study), e um exemplo nacional é o SAEB. O ENEM é uma avaliação em larga escala pelo número de estudantes que presta o exame: como a realização do exame é opcional para o estudante, ele não se constitui numa avaliação universal nem em uma avaliação amostral, exigindo portanto um certo cuidado nas extrapolações de seus resultados para a análise dos sistemas de ensino.

A compreensão e entendimento desse tipo de avaliação tornam-se fundamentais, principalmente para os professores, a partir do momento que, ao servir de base para as ações das políticas públicas em educação, passam a determinar, direta e indiretamente, o currículo a ser ensinado nas escolas, as cargas horárias das disciplinas e, finalmente, o perfil dos alunos que ingressam nas universidades.

3 O Exame Nacional do Ensino Médio

O ENEM é um exame com questões, denominadas itens, de múltipla escolha, elaboradas segundo a concepção [7] de que a questão deve conter um texto base, um enunciado e as alternativas. O texto base deve apresentar as informações necessárias para a solução da situação problema proposta; o enunciado oferece uma formulação objetiva da tarefa a ser realizada; e as alternativas são as possibilidades de resposta apresentadas. Este modelo, adotado pelo INEP, é um dos muito possíveis na elaboração de questões de múltipla escolha [8] e a princípio fornece informações relevantes sobre os objetivos do processo avaliativo.

Os itens são elaborados a partir de uma Matriz de Referência [9] que contém quatro dimensões: domínios cognitivos, competências, habilidades e objetos de conhecimento. Os eixos cognitivos são 5, comuns a todas as áreas: dominar linguagens, compreender fenômenos, enfrentar situações-problema, construir argumentação e elaborar propostas. As competências são diferentes em cada área; as da área de Ciências da Natureza são 8, e estão apresentadas no Quadro 1.

A cada uma dessas competências são associadas habilidades, que totalizam 30 na área de Ciências da Natureza.

Os objetos de conhecimento são divididos disciplinarmente. Na área de física, são associados em 7 grandes áreas, apresentadas no Quadro 2.

O desempenho do aluno não é medido por uma nota, como na denominada Teoria Clássica dos Testes, quando a nota é apenas a soma (ou média ponderada) dos acertos nas questões. A metodologia de obtenção dos resultados fornece escores individuais por meio da utilização da Teoria da Resposta ao Item [10], que possibilita a criação de uma escala correspondente à aptidão do estudante que pode ser comparada longitudinalmente (em anos sucessivos). A adoção desta metodologia, mais robusta do ponto de vista de atribuição de uma medida à aprendizagem dos estudantes, exige um número grande de itens em cada uma das provas para que o resultado seja confiável. A construção da prova aplicada aos estudantes deve levar em conta as múltiplas dimensões da Matriz de Referência (habilidades, competências, disciplina e objetos do conhecimento, além dos eixos cognitivos).

4 A metodologia de análise

As provas (enunciado dos itens) e os microdados (as informações com relação ao padrão de preenchimento das questões da prova e dos dados sócio-econômicos, sem possibilidade de identificação do respondente) são disponibilizadas na página do INEP. No entanto, apenas recentemente (janeiro de 2012) os microdados do ENEM 2009 foram divulgados.

O processo de análise desses dados é importante para que esses resultados possam ser utilizados pelos professores, para compreensão da aprendizagem dos estudantes ao final do Ensino Médio. Essa análise pode ser realizada em múltiplas dimensões e perspectivas. Neste trabalho, pretendeu-se fazer uma primeira verificação do que esses resultados revelam a respeito da aprendizagem de física no Ensino Médio no Brasil.

A análise qualitativa de questões de múltipla escolha permite comparar a relação entre o que é o objetivo explícito do processo de avaliação e o que efetivamente é mensurado. Para esta análise qualitativa, considerou-se que o exame possui uma Matriz de Referência pública [9], contendo domínios cognitivos, competências, habilidades e objetos de conhecimento. Portanto, uma primeira categoria [11] foi a adequação das questões ao objetivo avaliativo proposto.

Foram selecionadas as provas de Ciências da Natureza do Exame Nacional do Ensino Médio a partir do ano de sua reformulação. São cinco as provas: 2009 (a primeira versão, não aplicada devido ao vazamento dentro da gráfica, e a segunda versão, aplicada), a de 2010 (a primeira e segunda aplicações; a segunda aplicação foi feita por defeitos de impressão da prova) e a de 2011.

Fez-se a análise das questões de física dessas provas [6, 12]. As "questões de física" são as que abordam diretamente o conteúdo específico disciplinar de física. No caso de questões que apresentam traços inter, multi ou transdisciplinares, a identificação foi feita de acordo com o conhecimento exigido para escolher a alternativa correta do item.

A partir da seleção disciplinar, escolheram-se variáveis qualitativas dentro das categorias propostas para o estudo (adequação aos objetivos propostos nos documentos oficiais, tipos de raciocínio utilizados e adequação ao conteúdo disciplinar de física tradicional no Ensino Médio): o domínio da habilidade avaliada no item (segundo a classificação proposta pelo INEP); o tamanho dos textos; a existência ou não de objetos visuais (gráficos, tabelas, entre outros); o nível de contextualização; a exigência de conhecimentos específicos disciplinares de física para resolução; a classificação da necessidade de cálculos quantitativos ou não para a resolução do item.

Os resultados da análise dessas variáveis foram validados qualitativamente. Para isso, a classificação das questões nas variáveis foi feita individualmente por mais de um pesquisador, com a comparação dos resultados. No caso de discrepâncias na classificação, era feita uma discussão coletiva até uma conclusão consensual.

Cada uma das questões foi classificada segundo as competências e habilidades exigidas para sua resolução. Em caso de dúvida entre duas ou mais habilidades para o mesmo item, identificou-se dentre elas qual, na Matriz de Referência, estava associada à competência mais adequada. Se ainda restasse dúvida entre duas habilidades dentro de uma mesma competência, classificava-se o item na habilidade ainda não contemplada.

Em seguida, foi feita a classificação dos conteúdos abordados nos itens utilizando a lista dos objetos de conhecimento associados à Matriz de Referência de Ciências da Natureza.

Outras categorias utilizadas relacionaram-se ao tempo de reflexão na realização do exame, que impacta nos resultados; o tipo de contextualização [13] proposto no item; a utilização de processos cognitivos de níveis mais elevados [14], com a utilização de raciocínios abstratos. Para todas essas categorias, foram buscadas variáveis que permitissem a construção de um indicador operacional do conceito a ser empiricamente observado [15].

Para a variável que mede o tempo de reflexão na resolução da questão, utilizou-se uma medida do tamanho das questões, a partir do número de linhas do texto-base e dos enunciados das questões. Para isso, considerou-se a formatação original da prova, com as páginas do caderno de questões divididas em duas colunas.

O nível de contextualização do item foi classificado segundo Nentwig [13], que pressupõe que um item tem um alto nível de contextualização se no texto estão presentes as informações relevantes para sua solução, isto é, se a extração e processamento da informação contida no texto é necessária para a resolução do item; por outro lado, um baixo nível de contextualização está presente se a informação fornecida no texto não é essencial para responder ao item. Adicionou-se a proposta de classificação como pré-texto [16] para a situação em que o texto é completamente desnecessário para a solução do item.

A necessidade de conhecimento específico de física para a solução do item também foi avaliada: classificou-se como inexistente quando a resposta está contida no texto do item, ou existente quando é necessária alguma informação específica não contida no texto. Um exemplo de item que não exige conhecimento específico de física está indicado no Quadro 3, correspondendo à questão 63 da prova Azul de 2011.

Uma outra classificação foi a de itens como quantitativos, semiquantitativos e qualitativos. Quantitativos são os itens que necessitam obrigatoriamente de cálculo para a resolução, semiquantitativos são os que podem ser resolvidos pela análise de proporcionalidade (relações como "maior que", "menor que", "igual"), e qualitativos são os itens cuja solução prescinde da utilização de raciocínio ou relação matemática, sendo apenas conceituais. No Quadro 4, apresenta-se o exemplo de uma questão classificada como semiquantitativa (Questão 77 da Prova Azul de 2011). No Quadro 5, uma questão classificada como qualitativa (Questão 78 da Prova Azul de 2010).

Para a análise quantitativa, preparou-se o banco de dados do ENEM 2009 (a prova aplicada) de acordo com os microdados disponíveis (em janeiro de 2012) na página do INEP.

Esses microdados foram estruturados e validados. Tomou-se como referência a prova azul (foi feita a conversão das provas das demais cores para corresponder à numeração da prova azul), e foram separados dois grupos: todos os participantes (cerca de 4,3 milhões de estudantes) e os autodeclarados concluintes em 2009 (cerca de 940 mil).

Com o banco de dados preparado, foi feita a análise descritiva simples dos resultados, com a comparação entre as classificações feitas e os percentuais de acertos nas questões.

O levantamento do percentual de acerto de cada uma das questões de física da prova de Ciências da Natureza foi elaborado, e esses resultados foram agrupados de forma simples entre as várias classificações feitas para os tipos de questão. No Anexo 1, publicado apenas eletronicamente na página da revista, http://www.sbfisica.org.br/rbef, apresenta-se o quadro das respostas dos estudantes concluintes em 2009 e de todos os estudantes nas questões de física da prova de ciências da natureza do ENEM 2009 [3].

5 Resultados: as características das provas segundo elementos da Matriz de Referência

Há uma regularidade nas provas analisadas: cerca de um terço da prova de Ciências da Natureza, com 45 itens, é composta de questões de física. Na Fig. 1, apresentamos um histograma do número de questões em cada uma das provas (2009/1, a prova de 2009 que não foi aplicada pelo vazamento; 2009/2, a prova aplicada; 2010/1, a primeira prova aplicada; 2010/2, a prova aplicada extraordinariamente por defeitos na primeira; 2011).

Na área de Ciências da Natureza, são propostas 8 competências, apresentadas no Quadro 1, distribuídas em 30 habilidades [9]. Há, como pode ser observado da Fig. 2, uma concentração de questões na competência 6, "Apropriar-se de conhecimentos da física para, em situações problema, interpretar, avaliar ou planejar intervenções científico-tecnológicas", que é específica de conteúdos disciplinares de física.

A distribuição das habilidades pelos itens das provas indica que nem todas as 16 habilidades de física são solicitadas em todas as provas; de fato, a construção da prova não é baseada estritamente em considerações disciplinares. Na Tabela 1, apresenta-se um quadro das habilidades contempladas nos itens da competência de área 6.

Também percebe-se que vários itens se encaixam em mais de uma habilidade. Isso se torna um problema quando se leva em conta que a Teoria de Resposta ao Item [10] pressupõe que o item deve ser unidimensional, isto é, contemplar somente um elemento ou célula da matriz de referência.

Os denominados "objetos de conhecimento" (ou conteúdos) na Matriz de Referência de Ciências da Natureza são divididos em 7 grandes áreas, como apresentado no Quadro 2.

Nas provas de 2009 a 2011, a distribuição dos objetos de conhecimento pelas questões de física está apresentada na forma de gráficos na Fig. 3.

Observa-se alguma regularidade na distribuição dos conteúdos, sendo privilegiadas as áreas 5 (eletromagnetismo), 6 (oscilações e ondas) e 7 (física térmica), com mais de 50% das questões de cada prova. Os conteúdos de mecânica (áreas 2, 3 e 4) correspondem a menos de 30% das questões; os conhecimentos da área 2 (dinâmica, entre outros) são avaliados em menos de 20% dos itens. Os itens classificados na área 3 em sua maioria compreendem questões genéricas de transformação de energia, no conteúdo específico "conceituação de trabalho, energia e potência". Verifica-se que a maior parte do conteúdo de mecânica tem sido pouco abordado nas provas.

A discussão da distribuição dos conteúdos nos itens de física torna-se fundamental a partir do momento em que o ENEM passa a ser a única forma de acesso a muitas das universidades públicas brasileiras e, portanto, torna-se referência para a determinação do currículo ensinado nas escolas. Das provas até aqui aplicadas, observa-se que a mecânica passa a ser um conhecimento menos exigido, e provavelmente menos ensinada. A Matriz de Referência portanto pode, sem muitas discussões, promover mudanças profundas nos currículos do Ensino Médio no Brasil.

6 Resultados: As características das provas

O grande número (45 por área) de itens nas provas está relacionado às necessidades geradas pela utilização da Teoria da Resposta ao Item. Os candidatos dispõem, em média, de 3 minutos para a solução de cada item. Os textos-base dos itens possuem uma média de 10 (± 4) linhas de extensão; além do texto base, o enunciado também deve ser lido (em 2009, o número médio foi de 5 linhas), bem como as alternativas de resposta. Este tamanho é grande para o tempo médio disponível.

Na Fig. 4, apresenta-se a classificação do nível de contextualização dos itens [12, 13]. Nesta classificação, um item tem alta contextualização se no texto estão presentes as informações relevantes para a sua solução, isto é, se a extração e processamento da informação contida no texto é necessária para a resolução do item; por outro lado, um baixo nível de contextualização está presente se a informação fornecida no texto não é essencial para responder ao item. A identificação do nível de contextualização do texto-base foi então classificada como pré-texto, onde ele poderia não estar presente para a adequada resolução do item [14], baixa contextualização, quando as informações necessárias para solução do item encontram-se em de 10% a 40% do número total de linhas do texto, média contextualização, quando a porcentagem sobe para entre 50% a 70%, e alta contextualização, quando o mais de 80% das linhas são necessárias para a resolução do item.

Da Fig. 4, verifica-se que as provas mais recentes têm nível de contextualização (tal como definido por Nentwig [13]) mais altos.

Há itens em que não há exigência de algum conhecimento específico de física para resolução das questões, como mostrado na Fig. 5. Cabe a reflexão sobre se após a reformulação do ENEM é importante que ele avalie, em algum nível, o conhecimento disciplinar dos alunos.

É importante ressaltar que não se pretende com este trabalho fazer qualquer discussão relativa à precisão conceitual das questões destas provas.

Na Fig. 6, são apresentados os percentuais das questões de física, em cada prova, que são classificadas como quantitativas, qualitativas ou semiquantitativas. Desta Fig. 6, observa-se que os itens da prova de física são predominantemente qualitativos, não exigindo raciocínios quantitativos ou avaliação da capacidade de resolução de problemas.

7 Resultados: o Desempenho dos Alunos

Os microdados do ENEM 2009 foram disponibilizados pelo INEP, permitindo a montagem de um banco de dados com as respostas dos candidatos por questão. A prova de referência para as análises é a prova azul, de Ciências da Natureza. Foram eliminados os faltosos, e separaram-se todos os participantes (2.555.594) e os auto-declarados concluintes em 2009 (944.162), estudantes do terceiro ano do Ensino Médio em 2009.

Na Fig. 7, apresenta-se o percentual de acertos em cada uma das questões da prova aplicada de Ciências da Natureza de 2009, anteriormente citada como 2009/2. Em destaque, estão as questões de física desta prova.

Na Tabela 2, está o percentual de acertos entre os concluintes e entre todos os participantes do ENEM 2009, divididos entre as questões de física classificadas como qualitativas e quantitativas. O desempenho, em média, é inferior nas questões que exigem algum tipo de raciocínio matemático.

Na Tabela 3, está o percentual de acerto nas questões classificadas segundo a exigência de conhecimento específico. Novamente, o desempenho revela-se em média mais fraco nas questões que exigem conhecimento de física.

As respostas por alternativa nas questões de física da prova de Ciências da Natureza do ENEM 2009 estão apresentadas em detalhes na parte 1 do Anexo, e na parte 2 deste Anexo estão os percentuais de acerto em todas as questões da prova de Ciências da Natureza. Esses resultados são apresentados para todos os participantes da prova de 2009 (4,18 milhões de candidatos inscritos, e 2,56 milhões de candidatos participando da prova) e para os auto-declarados concluintes do Ensino Médio em 2009 (940 mil candidatos).

8 Discussão final

Neste trabalho, apresentou-se uma análise das características qualitativas das questões de física do ENEM, com base em categorias associadas à adequação do exame aos objetivos propostos, ao tempo de reflexão na resolução da prova, ao tipo de contextualização proposta no item e à utilização de procedimentos de raciocínio menos elementares e mais abstratos.

Fez-se também uma comparação entre os resultados do desempenho dos estudantes participantes do ENEM 2009 e o dos concluintes do Ensino Médio neste ano. Esses resultados foram obtidos a partir dos dados disponibilizados pelo INEP.

O perfil desse exame que emerge da análise é que ele se caracteriza por apresentar itens predominantemente qualitativos, extensos para o tempo disponível para resolvê-los e, de uma forma geral, bem contextualizados.

Além da extensão dos itens, dois outros pontos se destacam: o fato de que os itens podem representar mais de uma habilidade, ferindo assim o postulado da unidimensionalidade da Teoria de Resposta ao Item; e a distribuição não homogênea dos itens nos objetos específicos de conteúdo, privilegiando os temas que abordam conceitos de eletricidade e termodinâmica. Este fator, a médio e longo prazo, pode produzir sérias distorções no currículo de física do Ensino Médio no Brasil.

A avaliação aponta para a necessidade de reformulação da Matriz de Referência do ENEM, para que os objetos de conhecimento estejam mais alinhados com os apresentados no Ensino Médio, para que a distribuição de habilidades e competências se dê de forma mais homogênea, permitindo que o exame se torne um instrumento de maior utilidade para compor indicadores da qualidade da educação no Ensino Médio do país.

A partir dos resultados dos estudantes, observa-se preliminarmente que o percentual de acertos entre concluintes do Ensino Médio e candidatos em geral foi praticamente o mesmo para todas as questões da prova de Ciências da Natureza. Percebe-se diferença nas médias dos desempenhos em questões que envolvem análises quantitativas (com percentuais de acerto menores), na média dos desempenhos quando há exigência de conhecimento específico de física (mais baixos). Também, de forma um pouco inesperada, os itens de física térmica tiveram em média um percentual de acerto bastante pequeno.

Avaliações em larga escala visam fornecer dados para implementação, manutenção e reformulação de políticas públicas e que avaliações governamentais de larga escala colocam muitas vezes em cheque o professor em relação às suas práticas avaliativas. Portanto, compreender, conhecer e refletir sobre as características destas avaliações torna-se primordial para o professor.

Agradecimentos

Este trabalho foi desenvolvido com apoio da CAPES/MEC, Programa Observatório da Educação 2010, projeto "Avaliações Educacionais e o Ensino de Ciências e Matemática".

Agradecemos a Marcelo Shoey de Oliveira Massunaga e Gustavo Rubini, pelo auxílio na montagem do banco de dados e pelas discussões enriquecedoras sobre os resultados obtidos.

Recebido em 7/6/2013

Aceito em 7/8/2013

Publicado em 26/2/2014

Anexo 1 - O desempenho dos estudantes nas questões de física da prova de Ciências da Natureza do ENEM 2009.

Parte 1 - O percentual de respostas em cada uma das alternativas, para os estudantes concluintes e para todos os estudantes. O caractere entre parênteses corresponde ao gabarito do item. O número da questão corresponde à prova azul.

Parte 2 - O percentual de acertos por questão (Prova Azul, 2009) da prova de Ciências da Natureza para concluintes em 2009 (autodeclarados) e para todos os participantes.

• [1] MEC/INEP, ENEM - Documento Básico (MEC/INEP, Brasília, 1998)
• [2] E.D. Britton and S.A. Schneider, in Handbook of Research on Science Education, editado por S.K. Abell and N.G. Lederman (Lawrence Earlbaum Associates, Mahwah, 2007).
• [3] Documentação detalhada em http://www.if.ufrj.br/~marta/enem, consultada em 25/07/2013.
• [4] N. Brooke, Cadernos de Pesquisa 36, 377 (2006).
• [5] R. Klein e N. Fontanive, Em Aberto 15, 28(1995).
• [6] W.P. Gonçalves Jr, Avaliações em Larga Escala e o Professor de Física Dissertação de Mestrado, Universidade Federal do Rio de Janeiro, 2012.
• [7] MEC/INEP, Guia de Elaboração e Revisão de Itens - vol. I (MEC/INEP, Brasília, 2010).
• [8] T.M. Haladyna, Developing and Validating Multiple-Choice Test Items (Lawrence Earlbaum Associates, Mahwah, 2004), 3 ed.
• [9] MEC/INEP, Matriz de Referência para o ENEM 2009 (MEC/INEP, Brasília, 2009).
• [10] R. Hambleton, R. Swaminathan and H.J. Rogers, Fundamentals of Item Response Theory (SAGE Publications, Newbury Park, 1991).
• [11] Z. Brandão, Pesquisa em Educação: Conversas com Pós-Graduandos (Ed. Loyola & PUC, Rio de Janeiro, 2002).
• [12] W.P. Gonçalves Jr e M.F. Barroso, ENEM: Os Itens e o Desempenho dos Estudantes em 2009 Anais do XIV Encontro de Pesquisa em Ensino de Física (SBF, São Paulo, 2012).
• [13] P. Nentwig et al., Journal of Research in Science Teaching 46, 897 (2009).
• [14] D.H. Jonassen, Learning to Solve Complex Scientific Problems (Lawrence Earlbaum Associates, New Jersey, 2007).
• [15] E. Babbie, Métodos de Pesquisas de Survey (UFMG, Belo Horizonte, 1999).
• [16] L.V. Machado, Avaliação de Larga Escala e Proficiência Matemática Dissertação de Mestrado, Universidade Federal do Rio de Janeiro, 2010.

Datas de Publicação

• Publicação nesta coleção
  29 Abr 2014
• Data do Fascículo
  Mar 2014

Histórico

• Aceito
  07 Ago 2013
• Recebido
  07 Jun 2013