Alfabetização científica: o papel dos conhecimentos específicos nas Ciências da Natureza

Scientific literacy: the role of specific knowledge in the Natural Sciences

Resumo:

Exploramos as relações entre conhecimentos gerais e específicos no ensino de ciências, tendo como referência o Exame Nacional do Ensino Médio (ENEM). Foram analisados 1.050 itens de seis edições, utilizando técnicas de Processamento de Linguagem Natural (PLN) e informações de outros estudos. Segundo os indicadores utilizados, as provas de Ciências da Natureza do ENEM apresentaram, dentre todas, maior importância dos conhecimentos específicos. Isso não significa que conhecimentos específicos sejam sempre necessários na alfabetização científica, nem que sejam suficientes. Para ajudar a lidar com esse tênue equilíbrio entre a importância e a irrelevância de conhecimentos científicos específicos, o artigo articula alguns princípios encontrados na literatura. Além disso, alguns resultados também foram úteis como evidência de validade de conteúdo do ENEM, confirmando, especialmente, a qualidade das provas de Matemática, e Linguagens e Códigos.

Palavras-chave:
Ensino de ciências; Avaliação de conhecimentos; ENEM; Alfabetização científica

Abstract:

This article examines the relationship between general and specific knowledge in science education by using the Brazilian National Secondary School Examination, or ENEM. We used natural language processing techniques as well as information from other studies to analyze 1,050 questions from six editions of the exam. The findings suggest that specific knowledge is more important in natural science testing. However, this does not imply that specific knowledge is always required for scientific literacy or that it suffices. To address the delicate balance between the importance and irrelevance of specific scientific knowledge, the article outlines some principles from existing literature. Furthermore, the study provides evidence of ENEM's content validity, particularly in terms of confirming the accuracy of the mathematics and language tests.

Keywords:
Science teaching; Knowledge evaluation; ENEM; Scientific literacy

Introdução

O objetivo da alfabetização científica na Educação Básica é contribuir para a formação de todos os cidadãos, não apenas aqueles que futuramente talvez se tornem cientistas (Deboer, 2000; Sasseron; Carvalho, 2011). Nesse sentido, cabe perguntar por que estudamos tantos conteúdos específicos nas aulas de ciências, como mitocôndrias e prótons, tão distantes do dia a dia da maioria das pessoas. Evidentemente, a cultura escolar não deve se restringir a um suposto cotidiano médio, devendo inclusive ampliar os horizontes da experiência individual e coletiva. Mas o limite entre o enriquecimento cultural do aluno e o chamado conteudismo é tênue.

No ensino de ciências talvez haja uma ênfase demasiada nos conteúdos específicos em detrimento de competências gerais (Niaz, 1994; Norris; Phillips, 2003). Por outro lado, a alfabetização científica requer mais conhecimentos específicos do que a alfabetização em leitura, por exemplo (OECD, 2019). Diversos estudos apontam a interdependência entre habilidades gerais de investigação científica e conhecimentos específicos de cada domínio da ciência (Chen; Klahr, 1999; Eberbach; Crowley, 2009; Klemm et al., 2020; Kohlhauf; Rutke; Neuhaus, 2011; Niaz, 1994; Zimmerman, 2007). Há todo um debate sobre a importância de conhecimentos científicos específicos e suas relações com habilidades e conhecimentos gerais. Carecem, contudo, estudos sobre este tema tratando da realidade brasileira.

Este trabalho busca contribuir nesse sentido, analisando as provas do Exame Nacional do Ensino Médio (ENEM) com técnicas de Processamento de Linguagem Natural (PLN). A revisão da literatura se inicia com o conceito de alfabetização científica, em seguida se aprofunda no debate sobre conhecimentos gerais e específicos, pouco difundido na língua portuguesa. Na Discussão, são identificadas algumas evidências de validade de conteúdo do ENEM, um dos cinco tipos de validade (The standards [...], 2014) pouco praticado no Brasil. De forma geral, buscamos responder a três perguntas.

1. O que diz a literatura sobre o papel dos conhecimentos específicos na alfabetização científica?

2. No ENEM, a prova de Ciências da Natureza requer mais conhecimentos específicos do que as outras?

3. O conteúdo dos itens do ENEM é coerente com os construtos esperados em cada prova?

O que é alfabetização científica?

O termo foi cunhado por Paul Hurd (Hurd, 1958), referindo-se ao ensino de ciências na escola. O termo original em inglês literacy tem sido traduzido para o português ora como alfabetização, ora como letramento, não havendo uma distinção de significado entre ambos (Teixeira, 2013). Nos dois casos, trata-se de uma perspectiva amplamente difundida sobre o ensino de ciências na educação básica. Nessa perspectiva, o ensino de ciências não deve ter como objetivo principal a formação de futuros cientistas, mas sim a formação de todos como pessoas capazes de utilizar habilidades e conhecimentos científicos no seu dia a dia, seja na profissão, na vida privada ou na vida pública (Feinstein, 2011; OECD, 2019).

Tal perspectiva delimita o terreno, mas nem por isso é consensual ou isenta de debates, muito pelo contrário. Há diferentes formas de se definir alfabetização científica, algumas mais detalhadas e outras mais genéricas. Para Deboer (2000), as políticas públicas de educação devem pautar-se em definições mais genéricas e flexíveis, que permitam aos professores adaptar os objetivos gerais ao seu contexto específico. A seguir listamos algumas definições de alfabetização científica sistematizadas por Norris e Phillips (2003).

• a. Conhecimento do conteúdo científico e capacidade de distinguir ciência de não ciência;

• b. Compreender a ciência e suas aplicações;

• c. Compreender a natureza da ciência, incluindo suas relações com a cultura;

• d. Capacidade de pensar cientificamente;

• e. Capacidade de usar o conhecimento científico na resolução de problemas;

• f. Conhecimento necessário para a participação inteligente em questões sociais baseadas na ciência;

• g. Capacidade de pensar criticamente sobre a ciência e de lidar com conhecimentos científicos;

• h. Conhecimento dos riscos e benefícios da ciência;

• i. Independência no aprendizado de ciências.

Para Sasseron e Carvalho (2011), a alfabetização científica deve incluir três eixos principais:

1. compreensão básica de termos, conhecimentos e conceitos científicos fundamentais;

2. compreensão da natureza das ciências e dos fatores éticos e políticos que circundam sua prática;

3. entendimento das relações existentes entre ciência, tecnologia, sociedade e meio ambiente.

Nota-se nessas definições a importância de conhecimentos específicos da ciência, reforçando a ideia de que ser alfabetizado nas ciências não é apenas uma questão de desenvolver competências gerais, como seria o caso da alfabetização na linguagem verbal. No exame internacional do Programme for International Student Assessment (PISA), por exemplo, a alfabetização em leitura é definida a partir de três habilidades gerais (não entrando aqui no mérito da diferenciação entre habilidade e competência). Já a alfabetização científica inclui não apenas habilidades, mas também conhecimentos específicos, sendo que a maior parte dos itens (54 a 66%) avalia conhecimentos de conteúdos, enquanto os outros itens avaliam conhecimentos procedimentais e epistêmicos (OECD, 2019). A seleção dos conteúdos de alfabetização científica a serem avaliados pelo PISA é feita segundo três critérios. Os conteúdos devem:

1. ser relevantes em situações da vida cotidiana;

2. representar conceitos e teorias científicas importantes e com utilidade duradoura;

3. ser apropriados para o nível de desenvolvimento esperado aos 15 anos de idade.

Essa diferenciação entre alfabetização em leitura e alfabetização científica também aparece, de certa forma, dentro do próprio campo do ensino de ciências. Norris e Phillips (2003) definem dois sentidos diferentes que comporiam este campo. Um sentido fundamental – que se refere à capacidade de ler e escrever textos científicos e de fazer relações entre elementos do texto –, e um sentido derivado – que se refere ao conhecimento de conceitos específicos das ciências. Os autores consideram que há demasiado foco no sentido derivado e pouco foco no sentido fundamental, sem o qual o derivado é de pouca utilidade aos cidadãos.

Ao destacar a importância de conteúdos específicos na alfabetização científica, não estamos defendendo a chamada educação conteudista ou bancária (Freire, 1970) nem desmerecendo a importância de habilidades gerais. Estamos apenas ressaltando uma particularidade da alfabetização científica em relação à alfabetização em leitura, a saber, uma maior necessidade de conhecimentos específicos, que não estão amplamente difundidos na cultura de uma sociedade.

Conhecimentos gerais e específicos no ensino de ciências

Segundo a teoria das habilidades cognitivas Cattell-Horn-Carroll (CHC), o que chamamos de inteligência apresenta diferentes aspectos interconectados (Schneider; Mcgrew, 2018). De suma importância é a relação entre inteligência fluida – a grosso modo, a capacidade de resolver problemas novos, relacionada à indução e dedução – e a inteligência cristalizada – os conhecimentos que vão sendo adquiridos pelo indivíduo com o uso contínuo da inteligência fluida. A relação entre ambas pode ser compreendida na metáfora dos recifes de coral (Cattell; Butcher, 1968). O recife de coral é o resultado de muitas gerações de animais minúsculos, cada um deles com uma parte viva – que se alimenta e se reproduz – e um esqueleto externo, criado por essa parte viva para proteger-se. Quando o animal morre, seu esqueleto permanece e, sobre ele, cresce uma nova geração de animais. Assim, o coral vai crescendo em diversas direções, resultando nas imensas estruturas que vemos hoje. Em suma, a parte viva do coral cria a estrutura não viva, que por sua vez vai crescendo e possibilitando mais espaço para o desenvolvimento de novos organismos vivos. Da mesma forma ocorreria com a inteligência fluida (análoga à parte viva do coral) e a inteligência cristalizada (análoga à parte não viva).

A inteligência cristalizada – conhecimentos acumulados na memória de longo prazo – pode ser compartilhada pela maioria dos indivíduos de uma sociedade, sendo nesse caso considerada como um conjunto de conhecimentos gerais, normalmente úteis para o modo de vida dessa sociedade. Mas também há conhecimentos úteis apenas para determinados tipos de problemas, que são cristalizados apenas na mente das pessoas que lidam com tais problemas, como profissionais e especialistas. A teoria CHC, como outras, distingue esses dois tipos de conhecimento: conhecimentos gerais, ou domínio-geral – diretamente ligado à capacidade de compreensão dos discursos comuns na sociedade –, e conhecimentos domínio-específicos, que variam conforme a área, como biologia, física, história, etc. Para Tricot (2018), o conhecimento científico, bastante recente na história da humanidade, é considerado domínio-específico. Ele não é compartilhado pela maioria das pessoas de uma sociedade. Assim sendo, a alfabetização científica torna-se um grande desafio, pois tem o objetivo de ensinar saberes científicos a toda a população, não apenas aos futuros cientistas. Já a alfabetização em leitura requer apenas conhecimentos do tipo domínio-geral, sendo assim mais facilmente aplicada na educação básica – voltada para todos – embora também apresente seus desafios.

Tendo delimitado um panorama geral, podemos agora tratar do tema dentro campo científico. Sabemos que cada domínio da ciência possui seu próprio corpo de conteúdos, habilidades e procedimentos. Também sabemos que há saberes utilizados em mais do que um domínio científico. As leis de Newton são conhecimentos específicos da física, mas o controle experimental de variáveis é um procedimento utilizado em diferentes domínios da ciência. Contudo, ainda não está claro se existe um corpo coerente e minimamente consensual de saberes comuns a todos os domínios científicos. A despeito do chamado método científico (descrito a grosso modo como observação, formulação e teste de hipóteses), as evidências não são claras. Em termos de avaliação, por exemplo, estudos relatam grande dificuldade em gerar instrumentos psicometricamente válidos para avaliar o raciocínio ou atitude científica de forma geral, especialmente nos testes em larga escala (Blalock et al., 2008; Maia; Justi, 2008). De todo modo, mesmo que não haja um construto bem definido que englobe conhecimentos científicos gerais, podemos partir do pressuposto de que há conhecimentos científicos compartilhados em diversos domínios da ciência. Nesse sentido, cabe investigar o papel dos conhecimentos científicos gerais e dos conhecimentos científicos domínio-específicos.

Para Chinn e Duncan (2018), o raciocínio científico geral (mesmo que exista) por si só não proporciona às pessoas a capacidade de realizar com sucesso julgamentos sobre problemas reais. É necessário que haja também conhecimentos domínio-específico. De fato, diversos estudos evidenciam a complementariedade destes dois tipos de saber. Um estudo com alunos de diferentes idades mostrou que a capacidade de investigação científica depende fortemente de conhecimentos prévios, específicos do domínio, embora não necessariamente do interesse pelo domínio (Kohlhauf; Rutke; Neuhaus, 2011). Outro estudo sobre ensino de biologia comparou a importância do raciocínio científico e de conhecimentos específicos na capacidade de investigação científica dos alunos (observação, formulação e teste de hipóteses, interpretação dos resultados). Os resultados mostraram que ambos os tipos de saber – geral e específico – contribuem para o desenvolvimento desta capacidade nos alunos (Klemm et al., 2020). O mesmo pode ser dito a respeito do raciocínio crítico, para o qual conhecimentos específicos são necessários, embora não suficientes (Lai, 2011).

Em que sentido tais reflexões podem ser úteis para o ensino de ciências na escola? Como articular conhecimentos científicos gerais e específicos na educação básica? Schauble (2018) propõe que se adote uma estratégia 'de baixo para cima' (bottom-up), ao menos nos estágios iniciais da escola. Ou seja, que os alunos construam os conhecimentos científicos gerais a partir de conhecimentos científicos específicos de diversos domínios. Afinal, é necessário que haja um substrato a partir do qual se possa compreender os conceitos gerais que fundamentam o raciocínio científico. De pouco adianta saber que existe algo chamado controle experimental, se tal conhecimento não estiver ancorado em diferentes exemplos concretos de controle experimental e em diferentes contextos da ciência. Uma tese de doutorado analisou relações entre conhecimentos científicos gerais e específicos, focando no conhecimento (geral) sobre desenho experimental e controle de variáveis e na capacidade de mobilizar este conhecimento (Edelsbrunner, 2017). A tese mostra que o ensino não explícito deste saber em diversos contextos domínio-específicos contribui significativamente para o seu aprendizado. O mesmo parece ocorrer quando se trabalha explicitamente os conhecimentos científicos gerais em casos particulares. Um estudo mostra que a aprendizagem de princípios gerais, no caso, o controle de variáveis, é mais eficaz quando é trabalhada de maneira explícita e dentro de cada domínio, sugerindo que as atividades domínio-específicas proporcionam maior capacidade de entendimento e transferência desse princípio geral em diferentes situações (Chen; Klahr, 1999). Em suma, os princípios gerais do raciocínio científico são ensinados com maior eficácia quando atrelados a conhecimentos e situações específicas de cada domínio da ciência, seja de forma explícita ou implícita. Cabe ressaltar que, mesmo quando presentes de forma implícita para os alunos, os conhecimentos gerais precisam ser claros para o professor enquanto faz o seu planejamento.

A importância de conhecimentos específicos para a alfabetização científica não significa a defesa de uma educação conteudista ou bancária, em que o papel do professor se resume a depositar a maior quantidade possível de informações na mente dos alunos (Freire, 1970). Evidentemente existe certa necessidade de se aprender novas ideias e palavras, mas isso deve ser feito de forma planejada e gradual. A importância dos conhecimentos específicos talvez seja melhor compreendida à luz da Teoria da Mudança Conceitual (Posner et al., 1982). Segundo essa teoria, bastante difundida no ensino de ciências, há diversos conceitos presentes no senso comum que são compreendidos de forma inadequada, sendo, portanto, necessário que as aulas de ciências promovam uma mudança nesses conceitos, de forma similar ao que ocorre na própria história da ciência em uma perspectiva Kuhniana. Além disso, as evidências indicam que uma aprendizagem mais efetiva pode ser alcançada iniciando-se com atividades e problemas mais próximos do imaginário dos alunos e, só a partir do resultado das atividades, trazer o conceito como forma de organizar e sistematizar os saberes adquiridos naquela situação específica (Gellon et al., 2018). Ou seja, o conceito por si só não faz muito sentido, a não ser como solução a um problema que foi trabalhado anteriormente.

A figura 1 sintetiza parte das ideias aqui reunidas sobre conhecimentos gerais e específicos no ensino de ciências. Buscamos representar, da esquerda para a direita, o caminho mais eficaz para a aprendizagem, embora esse tipo de generalização na educação seja mais útil como guia para um planejamento intencional do que como receita a ser seguida.

Figura 1
um guia para o ensino de conhecimentos científicos gerais e específicos

Métodos

Foi realizada análise textual dos itens do ENEM com técnicas de Processamento de Linguagem Natural (PNL). Para tanto, foi utilizado o software livre R (R Core Team, 2022) e o pacote quanteda (Benoit et al., 2018). Para cada item foram calculadas as seguintes métricas:

1. Proporção de palavras incomuns (I e II): percentual de palavras não encontradas no dicionário de palavras frequentes no português do Brasil, segundo os corpora de texto I e II;

2. Número total de caracteres;

3. Informação (entropia): quantidade de informação fornecida pela mensagem, segundo a Teoria Matemática da Comunicação (Shannon, 1948);

4. Índice Flesch de Facilidade de Leitura: é maior quando as palavras são menores (em sílabas) e as frases também são menores (Flesch, 1948).

A métrica (1) baseou-se em duas tabelas de frequência de cada palavra, relativas a dois corpora de texto: o corpus I proveniente do projeto ReGra (Nunes et al., 1996) e o corpus II proveniente do projeto NILCmetrix (Leal et al., 2024). Para cada tabela de frequência (uma de cada corpus), foram selecionadas, aproximadamente, as 10 mil palavras mais frequentes, originando duas listas de palavras frequentes, ou seja, palavras muito utilizadas no português do Brasil. Depois disso, para cada item foi calculado o percentual de palavras incomuns, isto é, palavras que não estão na lista das 10 mil palavras mais frequentes. Com isso, foram produzidas duas métricas para cada item, que correspondem aos corpora I e II.

Além dessas métricas, também foram analisadas as características dos itens, fornecidas na base de dados.

Base de dados

A base de dados descrita em Silveira e Mauá (2017) inclui todos os itens do ENEM de 2010 a 2015, excluindo apenas os itens de espanhol e inglês. São 175 itens por ano, totalizando 1050 itens. Além disso, a base também contém algumas características de cada item, segundo a sistematização feita pelos autores. A tabela 1 descreve a base utilizada, mostrando a proporção de itens com cada característica em cada edição do ENEM. Nota-se que há estabilidade no perfil ao longo dos anos, evidenciando o trabalho cuidadoso do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) na elaboração do exame. A maioria dos itens (48%) requer considerável grau de compreensão textual, enquanto 22% requer conhecimentos domínio-específicos. Além disso, 38% dos itens têm uma imagem.

Tabela 1
Características dos itens e sua proporção em cada ano analisado

	2010	2011	2012	2013	2014	2015	Total
Requer conhecimento domínio-específico ou inferência complexa	24%	20%	23%	24%	23%	15%	22%
Requer conhecimento não fornecido no enunciado	30%	35%	26%	25%	32%	22%	28%
Requer compreensão da imagem associada	33%	33%	34%	38%	38%	32%	35%
Requer compreensão de equações matemáticas	28%	26%	29%	28%	27%	32%	28%
Requer compreensão textual do enunciado	48%	44%	53%	43%	50%	53%	48%
Requer compreensão de elementos e equações químicas	5%	3%	2%	2%	3%	3%	3%
Possui imagem	35%	38%	39%	42%	40%	37%	38%

• Fonte: elaborada pelo autor a partir de dados consultados do ENEM.

Resultados

A tabela 2 mostra algumas diferenças entre as provas de cada área do conhecimento. Nota-se que, praticamente, todos os itens que requerem conhecimentos domínio-específicos e inferências complexas estão nas provas de Ciências da Natureza (CN), correspondendo a 83% dos itens dessa área. Além disso, esta é a única área que apresenta itens com todas as características observadas, sugerindo considerável heterogeneidade no construto avaliado. Já a área de Linguagens e Códigos (LC) apresenta a maioria dos itens (83%) avaliando compreensão de texto e relativamente poucos itens (22%) que requerem conhecimento enciclopédico.

Tabela 2
Características dos itens e sua proporção em cada área do conhecimento

	CH	CN	LC	MT
Requer conhecimento domínio-específico ou inferência complexa	0%	83%	0%	1%
Requer conhecimento não fornecido no enunciado	55%	33%	26%	0%
Requer compreensão de equações matemáticas	0%	18%	0%	91%
Requer compreensão textual do enunciado	71%	42%	83%	1%
Requer compreensão de elementos e equações químicas	0%	11%	0%	0%
Requer compreensão da imagem associada	15%	40%	22%	57%
Possui imagem	20%	40%	28%	64%

• Legenda: MT=Matemática; LC=Linguagens e Códigos; CN=Ciências da Natureza; CH=Ciências Humanas.
• Fonte: elaborada pelo autor a partir de dados consultados do ENEM.

A figura 2 mostra que CN apresenta maior proporção de palavras incomuns, corroborando o que se observa na tabela 2 em relação à necessidade de conhecimentos específicos. Cabe notar que o mesmo não se aplica a Ciências Humanas (CH), sugerindo uma diferença entre essas duas áreas da ciência. O Teste Tukey Honestly Significant Difference (HSD) – que nesse caso compara as provas de duas em duas – revela que todas as diferenças apontadas na figura 2A são significativas (p<0,001), com exceção da diferença entre LC e CH. Em relação à figura 2B, todas as diferenças são significativas (p<0,05) com exceção da diferença entre Matemática (MT) e CH.

Figura 2
proporção de palavras incomuns nas quatro áreas do conhecimento

A quantidade de informação fornecida pelos itens foi mensurada com duas métricas: o número de caracteres e o grau de entropia. As duas são bastante correlacionadas, como mostra a figura 3. Com efeito, a comparação entre as áreas do conhecimento apresenta o mesmo padrão nas figuras 4A e 4B: os itens de MT fornecem menos informação textual ao candidato, enquanto os itens de LC fornecem mais informação. Nota-se também que em CN o ENEM fornece menos informação do que em CH, sugerindo novamente uma diferença nos construtos avaliados e, possivelmente, uma necessidade maior de conhecimentos prévios em CN.

Figura 3
relação entre número de caracteres e informação (entropia) dos itens

Figura 4
quantidade de informação nas quatro áreas do conhecimento

A Facilidade de Leitura nas quatro áreas pode ser vista na figura 5. Nota-se que as provas de Matemática são compostas de itens com palavras e frases menores, o que reduz a influência da capacidade de compreensão de textos na performance, minimizando a carga cognitiva desnecessária e tornando o construto mais focado no raciocínio matemático. As provas de CN e CH apresentam Facilidade de Leitura significativamente menor (p<0,01) do que as outras duas e semelhantes entre si. Isso pode estar relacionado a uma necessidade de palavras mais específicas (em geral maiores) e de raciocínios mais elaborados (frases maiores) nas áreas científicas, mas também pode indicar influência de fatores não associados aos construtos, hipóteses que requerem maior investigação.

Figura 5
Facilidade de Leitura nas quatro áreas do conhecimento

Discussão

Os resultados apontam diversas convergências entre o conteúdo dos itens do ENEM e os construtos almejados, especialmente em Matemática (MT) e Linguagens e Códigos (LC). Ou seja, essas duas provas apresentaram evidências de validade de conteúdo. Além disso, os resultados sugerem que há maior necessidade de conhecimentos específicos na prova de Ciência Naturais (CN), especialmente em relação a LC – remetendo à diferença entre alfabetização científica e alfabetização em leitura. Já a prova de Ciências Humanas (CH) em geral apresenta características intermediárias entre CN e LC. Para maior clareza na compreensão das diferentes áreas avaliadas pelo ENEM, vejamos os principais resultados de cada uma.

Linguagens e Códigos: em relação às outras três áreas, é a que apresenta maior quantidade de informação textual fornecida pelos itens (figura 4), embora apresente maior facilidade de leitura do que as duas ciências (figura 5), sugerindo textos grandes, mas com frases curtas e palavras pequenas. Observando-se as características dos itens (tabela 2), essa área parece ter um construto bastante homogêneo e coerente, altamente focado na compreensão de texto. Tal achado se alinha a estudo anterior que encontrou mais itens com comportamento psicométrico adequado nas provas de LC do que nas outras três áreas (Travitzki, 2017). Por outro lado, a confiabilidade (fidedignidade) de LC não parece ser maior do que das outras áreas (Gomes; Golino; Peres, 2018).

Matemática: apresenta diversas peculiaridades, como menos palavras incomuns (figura 2), menos informação textual (figura 4) e maior facilidade de leitura (figura 5). A tabela 2 também mostra peculiaridades de Matemática em relação às outras três áreas: quase todos itens (91%) requerem compreensão de equações matemáticas; é a prova com mais imagens (64% dos itens); requer menos compreensão textual do enunciado; requer menos conhecimento não fornecido no enunciado. Todas essas peculiaridades estão alinhadas com o que se esperaria de um construto focado em habilidades matemáticas, com menor carga cognitiva desnecessária (textual) e maior presença de imagens, dado que álgebra e geometria são intimamente conectadas.

Ciências da Natureza: a hipótese do conhecimento científico como domínio-específico (Tricot, 2018) foi ao menos parcialmente confirmada pois, em relação às outras áreas, CN: apresentou mais palavras incomuns (figura 2); apresentou menos informação textual (figura 4); foi responsável por praticamente todos os itens que requerem conhecimento específico ou inferência complexa (tabela 2). A tabela 2 também mostra a heterogeneidade do construto de CN avaliado pelo ENEM – que é uma referência importante no Brasil – pois é o único que apresentou todas as características observadas. Isso sugere que essa prova não avalia uma única competência (não é unidimensional em termos psicométricos), sendo assim um construto difícil de se definir. O que está relacionado ao debate sobre o que é alfabetização científica e como concretizá-la, tanto no ensino quanto na avaliação.

Ciências Humanas: nas métricas, apresentou em geral comportamento intermediário entre LC e CN. Nas características dos itens (tabela 2), requer predominantemente habilidade de leitura (com relativamente poucas imagens) e é a prova com mais itens que requerem conhecimento não fornecido no enunciado. O que não parece muito coerente com a irrelevância de conhecimentos específicos ou inferências complexas, mesmo levando em conta que esta é uma característica híbrida, pois não discrimina conhecimento de inferência.

Ciências (ambas): em relação a LC e MT, as duas ciências (CN e CH) apresentam menor facilidade de leitura (figura 5), o que poderia estar associado à necessidade de palavras mais específicas (em geral maiores) e raciocínios mais elaborados (frases em geral maiores). As duas ciências também têm mais itens que requerem informação não fornecida no enunciado (tabela 2), comparadas a LC e MT. Tais resultados confirmam a importância de se possuir conhecimentos específicos depois de uma alfabetização científica bem sucedida. Comparando as duas áreas científicas, CN apresenta: mais imagens (tabela 2); menor necessidade de conhecimentos específicos ou inferência complexa; menor necessidade de compreensão textual do enunciado; mais palavras incomuns (figura 2); menos informação textual (figura 4). Tais observações sugerem que, segundo os conceitos de Norris e Phillips (2003), a prova de CH estaria mais próxima do sentido fundamental da alfabetização científica, enquanto a CN estaria mais próxima do sentido derivado.

Conclusão

Para finalizar, voltemos às perguntas iniciais.

1. O que diz a literatura sobre o papel dos conhecimentos específicos na alfabetização científica?

A revisão não sistemática da literatura especializada aponta que conhecimentos domínio-específicos são importantes – sendo condições necessárias, mas não suficientes – para a solução de problemas reais do dia a dia, seja na esfera pessoal, pública ou profissional. Na alfabetização científica, os conhecimentos específicos são mais importantes do que na alfabetização em leitura. Isso não significa que os professores de ciências devem priorizar conteúdos em detrimento de competências, é preciso haver equilíbrio e articulação entre ambos.

Diversos autores consideram que há foco excessivo em conteúdos no ensino de ciências, o que é uma questão real e importante. Por outro lado, os conteúdos específicos de cada área (biologia, física, história, etc.) são importantes não apenas em seu próprio contexto, mas também como substrato para a construção de conhecimentos mais gerais. Evidências sugerem que conhecimentos científicos gerais são mais facilmente aprendidos quando são sistematicamente associados a conhecimentos específicos de diferentes áreas. É como se você primeiro precisasse ter experiências científicas para depois poder refletir sobre elas e perceber padrões gerais.

Como buscamos representar na figura 1, os conhecimentos científicos específicos são construídos a partir de conhecimentos gerais, amplamente difundidos na cultura, segundo a Teoria da Mudança Conceitual. Mas os conhecimentos científicos gerais só são construídos na medida em que aparecem, de forma implícita ou explícita, nas atividades que trabalham conhecimentos específicos. Assim, os conhecimentos científicos específicos são gerados a partir de conhecimentos gerais, enquanto os conhecimentos científicos gerais são gerados a partir dos específicos. Nos dois casos, o princípio é o mesmo: conhecimentos novos são construídos a partir de conhecimentos anteriores, provenientes da experiência.

2. No ENEM, a prova de Ciências da Natureza requer mais conhecimentos específicos do que as outras?

Os resultados sugerem que sim. A prova de CN apresentou o maior percentual de palavras incomuns nas duas métricas calculadas. Além disso, CN reuniu quase a totalidade dos itens que requerem conhecimento domínio-específico (ou inferência complexa), de acordo com a base de dados.

Outro ponto importante é que CN apresentou grande heterogeneidade interna, sendo a única prova a possuir todos os tipos de item. O que está relacionado à necessidade de mais tipos diferentes de conhecimentos específicos. Mais ainda, tal heterogeneidade nos leva a refletir não apenas sobre a validade da prova de CN, mas também sobre a própria natureza multifacetada do saber nas ciências naturais.

3. O conteúdo dos itens do ENEM é coerente com os construtos esperados em cada prova?

A análise das características dos itens e das métricas calculadas reuniu algumas evidências de validade de conteúdo para o ENEM, principalmente nas provas de LC e MT. Isso significa que os resultados obtidos são coerentes com o que se esperaria dessas duas provas. Maiores detalhes na Discussão.

Em relação a CN e CH, os resultados não são tão claros, até porque os construtos não são teoricamente tão bem definidos quanto em LC e MT. De maneira geral, CH apresentou comportamento intermediário entre CN e LC, sugerindo um construto mais voltado para a compreensão de textos. Por outro lado, CN apresentou menos informação textual, mais palavras incomuns e maior necessidade de conhecimento domínio-específico. É possível interpretar tais resultados à luz dos conceitos trazidos por Norris e Phillips (2003). Nesse caso, meramente especulativo, CH estaria mais próxima do sentido fundamental da alfabetização científica, enquanto CN se aproximaria do sentido derivado.

Este estudo apresenta algumas limitações, como a métrica de palavras incomuns, que podem ser aprimoradas e complementadas. O indicador dos itens que requerem conhecimento domínio-específico também é limitado, pois inclui também inferências complexas. Além disso, não foi analisada a matriz de competências do ENEM para uma avaliação mais aprofundada da coerência entre a prova e o que é esperado dela. Para tanto, seria necessário estudo adicional. Outro aspecto não abordado aqui é a possibilidade de que itens com mais palavras incomuns sejam mais excludentes, promovendo a desigualdade, o que é uma hipótese bastante plausível e importante de ser investigada.

Em suma, os conhecimentos específicos são importantes na alfabetização científica, o que se reflete nas provas do ENEM. Mas eles também podem ser um problema se trabalhados de forma excessiva e desconexa – devemos sempre evitar a chamada “educação bancária” (Freire, 1970). Note-se que conhecimento se refere tanto a conteúdos quanto a procedimentos. Os conhecimentos científicos específicos podem cumprir ao menos dois papéis: ajudar a resolver problemas reais e ajudar na construção de conhecimentos científicos gerais. Eles são construídos de forma mais significativa quando são associados à experiência, a conhecimentos prévios e a conhecimentos gerais. Tais considerações podem ser úteis no debate sobre currículo e planejamento no ensino de ciências.

Agradecimentos

Agradeço a Igor Silveira e Denis Mauá (IME/USP) pela disponibilização pública do banco de dados do ENEM, sem o qual este estudo não teria sido possível. Agradeço também a Sandra Aluísio (NILC/USP) pela disponibilidade e sugestões.

Referências

• BENOIT, K.; WATANABE, K.; WANG, H.; NULTY, P.; OBENG, A.; MÜLLER, S.; MATSUO, A. quanteda: an R package for the quantitative analysis of textual data. Journal of Open Source Software, US, v. 3, n. 30, p. 1-4, 2018. DOI: https://doi.org/10.21105/joss.00774
  » https://doi.org/10.21105/joss.00774
• BLALOCK, C. L.; LICHTENSTEIN, M. J.; OWEN, S.; PRUSKI, L.; MARSHALL, C.; TOEPPERWEIN, M. In pursuit of validity: a comprehensive review of science attitude instruments 1935-2005. International Journal of Science Education, Abingdon, UK, v. 30, n. 7, p. 961-977, 2008. DOI: https://doi.org/10.1080/09500690701344578
  » https://doi.org/10.1080/09500690701344578
• CATTELL, R. B.; BUTCHER, H. J. The prediction of achievement and creativity New York: The Bobbs-Merrils Company, 1968.
• CHEN, Z.; KLAHR, D. All other things being equal: acquisition and transfer of the control of variables strategy. Child Development, Hoboken, v. 70, n. 5, 1999. DOI: https://psycnet.apa.org/doi/10.1111/1467-8624.00081
  » https://psycnet.apa.org/doi/10.1111/1467-8624.00081
• CHINN, C. A.; DUNCAN, R. G. What is the value of general knowledge of scientific reasoning? In: FISHER, F.; CHINN, C. A.; ENGELMANN, C.; OSBORNE, J. (ed.). Scientific reasoning and argumentation: the roles of domain-specific and domain-general knowledge. New York: Routledge, 2018. p. 77-101.
• DEBOER, G. E. Scientific literacy: another look at its historical and contemporary meanings and its relationship to science education reform. Journal of Research in Science Teaching, Hoboken, v. 37, n. 6, p. 582-601, 2000.
• EBERBACH, C.; CROWLEY, K. From everyday to scientific observation: how children learn to observe the biologist’s world. Review of Educational Research, Thousand Oaks, US, v. 79, n. 1, p. 39-68, 2009. DOI: https://psycnet.apa.org/doi/10.3102/0034654308325899
  » https://psycnet.apa.org/doi/10.3102/0034654308325899
• EDELSBRUNNER, P. A. Domain-general and domain-specific scientific thinking in childhood: measurement and educational interplay. 2017. Thesis (Doctor of Sciences) – ETH, Zurich, 2017.
• FEINSTEIN, N. Salvaging science literacy. Science Education, Hoboken, v. 95, n. 1, p. 168-185, 2011. DOI: https://doi.org/10.1002/sce.20414
  » https://doi.org/10.1002/sce.20414
• FLESCH, R. A new readability yardstick. Journal of Applied Psychology, Washington, v. 32, n. 3, p. 221, 1948.
• FREIRE, P. Pedagogia do oprimido Rio de Janeiro: Paz e Terra, 1970.
• GELLON, G.; FEHER, R.; FURMAN, M.; GOLOMBEK, D. La ciencia en el aula: lo que nos dice la ciencia sobre cómo enseñarla. Buenos Aires: Siglo XXI Editores, 2018.
• GOMES, C. M. A.; GOLINO, H. F.; PERES, A. J. S. Análise da fidedignidade composta dos escores do ENEM por meio da análise fatorial de itens. European Journal of Education Studies, Bucharest, v. 5, n. 8, 2018. DOI: https://doi.org/10.5281/zenodo.2527904
  » https://doi.org/10.5281/zenodo.2527904
• HURD, P. D. Science literacy: its meaning for American schools. Educational Leadership, Alexandria, US, v. 16, n. 1, p. 13-52, 1958.
• KLEMM, J.; FLORES, P.; SODIAN, B.; NEUHAUS, B. J. Scientific reasoning in biology: the impact of domain-general and domain-specific concepts on children’s observation competency. Frontiers in Psychology, Lausanne, Switzerland v. 11, p. 1-12, 2020. Short DOI: https://doi.org/mz94
  » https://doi.org/mz94
• KOHLHAUF, L.; RUTKE, U.; NEUHAUS, B. Influence of previous knowledge, language skills and domain-specific interest on observation competency. Journal of Science Education and Technology, Dordrecht, v. 20, n. 5, p. 667-678, 2011. Short DOI: https://doi.org/c7m4gq
  » https://doi.org/c7m4gq
• LAI, E. R. Critical thinking: a literature review. [S. l.]: Pearson, 2011. Disponível em: https://www.dau.edu/sites/default/files/2023-12/CriticalThinkingReview.pdf Acesso em: 22 abr. 2024.
  » https://www.dau.edu/sites/default/files/2023-12/CriticalThinkingReview.pdf
• LEAL, S. E.; DURAN, M. S.; SCARTON, C. E.; HARTMANN, N. S.; ALUÍSIO, S. M. NILC-Metrix: assessing the complexity of written and spoken language in Brazilian Portuguese. Language Resources and Evaluation, Dordrecht, v. 58, p. 73-110, 2024. Short DOI: https://doi.org/mz95
  » https://doi.org/mz95
• MAIA, P. F.; JUSTI, R. Desenvolvimento de habilidades no ensino de ciências e o processo de avaliação: análise da coerência. Ciência & Educação, Bauru, v. 14, n. 3, p. 431-450, 2008. Short DOI: https://doi.org/b4wxnd
  » https://doi.org/b4wxnd
• NIAZ, M. Enhancing thinking skills: domain specific/ domain general strategies. Instructional Science, Dordrecht, v. 22, n. 6, p. 413-422, 1994.
• NORRIS, S. P.; PHILLIPS, L. M. How literacy in its fundamental sense is central to scientific literacy. Science Education, Hoboken, v. 87, n. 2, p. 224-240, 2003.
• NUNES, M. G. V.; VIEIRA, F. M. C.; ZAVAGLIA, C.; SOSSOLOTE, C. R. C.; HERNANDEZ, J. Construção de um léxico para o português do Brasil: lições aprendidas e perspectivas. In: ENCONTRO PARA O PROCESSAMENTO DO PORTUGUÊS ESCRITO E FALADO, 2., 1996, Curitiba. Anais [...]. Curitiba: CEFET-PR, 1996. p. 61-70.
• OECD. PISA 2018 assessment and analytical framework Paris: OECD Publishing, 2019. DOI: https://doi.org/10.1787/b25efab8-en
  » https://doi.org/10.1787/b25efab8-en
• POSNER, G. J.; STRIKE, K. A.; HEWSON, P. W.; GERTZOG, W. A. Accommodation of a scientific conception: toward a theory of conceptual change. Science Education, Hoboken, v. 66, n. 2, p. 211-227, 1982. DOI: https://doi.org/10.1002/sce.3730660207
  » https://doi.org/10.1002/sce.3730660207
• R CORE TEAM. R: a language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing, 2022. Disponível em: https://www.R-project.org/ Acesso em: 17 maio 2024.
  » https://www.R-project.org/
• SASSERON, L. H.; CARVALHO, A. M. P. Alfabetização científica: uma revisão bibliográfica. Investigações em Ensino de Ciências, Porto Alegre, v. 16, n. 1, p. 59-77, 2011.
• SCHAUBLE, L. Domain-General and domain-specific reasoning in science. In: FISCHER, F.; CHINN, C. A.; ENGELMANN, K.; OSBORNE, J. Scientific reasoning and argumentation: the roles of domain-specific and domain-general knowledge. New York: Routledge, 2018. p. 21-43.
• SCHNEIDER, W. J.; MCGREW, K. S. The Cattell-Horn-Carroll theory of cognitive abilities. In: FLANAGAN, D. P.; McDONOUGH, E. M. (ed.). Contemporary intellectual assessment: theories, tests, and issues. 4th ed. New York: Guilford Press, 2018. p. 73-163.
• SHANNON, C. E. A mathematical theory of communication. The Bell System Technical Journal, Piscataway, US, v. 27, n. 3, p. 379-423, 1948. Short DOI: https://doi.org/b39t
  » https://doi.org/b39t
• SILVEIRA, I. C.; MAUÁ, D. D. University entrance exam as a guiding test for artificial intelligence. In: BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS, BRACIS, 2017, Uberlândia. Proceedings […]. New York: IEEE, 2018. DOI: https://doi.org/10.1109/BRACIS.2017.44
  » https://doi.org/10.1109/BRACIS.2017.44
• THE STANDARDS for educational and psychological testing. Washington: American Educational Research Association, 2014.
• TEIXEIRA, F. M. Alfabetização científica: questões para reflexão. Ciência & Educação, Bauru, v. 19, n. 4, p. 795-809, 2013. Short DOI: https://doi.org/mz96
  » https://doi.org/mz96
• TRAVITZKI, R. Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 67, p. 256, 2017. Short DOI: https://doi.org/mz97
  » https://doi.org/mz97
• TRICOT, A. Scientific reasoning as domain-specific or general knowledge: a discussion. In: FISHER, F.; CHINN, C. A.; ENGELMANN, C.; OSBORNE, J. (ed.). Scientific reasoning and argumentation: the roles of domain-specific and domain-general knowledge. New York: Routledge, 2018. p. 271-277.
• ZIMMERMAN, C. The development of scientific thinking skills in elementary and middle school. Developmental Review, Maryland Heights, US, v. 27, n. 2, p. 172-223, 2007. DOI: https://doi.org/10.1016/j.dr.2006.12.001
  » https://doi.org/10.1016/j.dr.2006.12.001

Datas de Publicação

• Publicação nesta coleção
  22 Jul 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  27 Abr 2023
• Aceito
  21 Fev 2024