Resumo
Esse trabalho busca conhecer como a avaliação educacional vem sendo retratada nas produções científicas brasileiras. Por meio da análise bibliométrica e de redes, registramos, ao longo de 19 anos (1998-2017), 49 revistas, 174 artigos, 440 autores, 290 palavras-chave e 4.283 referências. Desses dados, notamos que a maioria dos debates se caracteriza pelo enfoque no nível superior, pela autoria filiada a instituições públicas, assim como por tecer abordagens mais centradas nas validações de testes do que na qualidade da Educação. Dos resultados, destacam-se a USP como a instituição com maior número de publicações; o periódico “Ensaio: Avaliação e Políticas Públicas em Educação”, por concentrar o maior número de publicações na área de Educação e o autor Wagner Andriola, da UFC, como o pesquisador mais referenciado. Essas e outras decorrências da pesquisa apontam para a necessidade de intensificarmos estudos no campo da avaliação da Educação, a fim de melhor conhecermos nossas fragilidades para, então, propormos correção de rotas e redefinirmos metas.
Avaliação Educacional; Políticas Públicas; Análise de Redes Sociais; Bibliometria; Publicações Científicas
Abstract
This work seeks to understand how the educational assessment has been portrayed in the Brazilian scientific productions. Through bibliometric and network analysis, we register, over 19 years, 49 journals, 174 articles, 440 authors, 290 keywords and 4.283 references. From these data, we realized that most debates are characterized by the focus on higher education, by the authorship affiliated to public institutions, as well as by weaving approaches more focused on the validation of tests than on the quality of education. The results conclude that USP stands out as the institution with the largest number of publications, that the journal “Ensaio: Avaliação e Políticas Públicas em Educação” concentrates the largest number of publications in the area of Education and that the author Wagner Andriola from UFC is the most referenced researcher. These and other results of the research indicate the need to intensify studies in the field of Education assessment in order to better understand our weaknesses and then propose to correct routes and redefine goals.
Educational Evaluation; Public Policies; Bibliometrics; Social Networks Analysis; Scientific Publications
Resumen
Este trabajo busca comprender cómo se ha retratado la evaluación educativa en las producciones científicas brasileñas. Mediante análisis bibliométrico y de redes, registramos más de 19 años (1998-2017), 49 revistas, 174 artículos, 440 autores, 290 palabras clave y 4.283 referencias. A partir de estos datos, notamos que la mayoría de los debates se caracterizan por un enfoque en la educación superior, por la autoría afiliada a instituciones públicas, así como por tejer enfoques que están más centrados en la validación de pruebas que en la calidad de la Educación. De los resultados, USP se destaca como la institución con el mayor número de publicaciones; la revista “Ensayo: Evaluación y Políticas Públicas en Educación” por concentrar el mayor número de publicaciones en el área de Educación y el autor Wagner Andriola, de UFC, como el investigador más referenciado. Estos y otros resultados de la investigación apuntan a la necesidad de intensificar los estudios en el campo de la evaluación de la Educación, con el fin de comprender mejor nuestras debilidades, de modo que podamos proponer correcciones de rutas y redefinir metas.
Evaluación Educativa; Políticas Públicas; Bibliometría; Análisis de Redes Sociales; Publicaciones Científicas
1 Introdução
O tema avaliação está intimamente ligado aos diversos setores da sociedade contemporânea. Os cidadãos se relacionam com esse tema de formas distintas. Desde a avaliação profissional a que estamos sujeitos, até a avaliação de aprendizagem em todos os níveis, estamos submetidos ao processo avaliativo ou somos expostos ao resultado das avaliações. Há momentos em que atuamos como objetos da avaliação – na fase de alfabetização (Avaliação Nacional de Alfabetização), no Ensino Fundamental (Prova Brasil ou Sistema de Avaliação da Educação Básica – Saeb), na conclusão do Ensino Médio e da Educação Superior (Exame Nacional do Ensino Médio – Enem e Exame Nacional de Desempenho de Estudantes – Enade) e, por fim, como alunos das pós-graduações (avaliações quadrienais da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Capes). Em outros, atuamos como atores sociais e observadores da avaliação como mensuração de competências gerais: o ranking do Enem, o ranking do Enade, o ranking do Programme of International Student Assessment (Pisa), o ranking da Pós-Graduação etc.
Apesar dessa exposição ampla, escrevem Bonamino, Bessa e Franco (2004, p. 7) que a
[...] avaliação dificilmente gera consensos em Educação. Quando o tema é avaliação da escola, professores e especialistas frequentemente divergem sobre prioridades, métodos, ou até mesmo quanto a objetivos. Se o tema é a política de avaliação de uma rede pública, as divergências não são menores e a repercussão é muito maior.
Por outro lado, há uma percepção da avaliação em Educação diferente dessa percepção popular que emerge dos especialistas em avaliação. Estrela e Nóvoa (1999ESTRELA, A.; NÓVOA, A. (orgs.). Avaliações em educação: novas perspectivas. Porto: Porto Editora, 1999. , p. 7) afirmam que, à época, a avaliação reassumiu seu lugar na primeira linha de pesquisa como um campo específico de ação e reflexão, principalmente, por conta de dois fatores:
[...] em primeiro lugar, a situação de crise que afeta a quase totalidade dos sistemas educativos. Tal como no princípio dos anos 70, a necessidade de gerir orçamentos cada vez mais exíguos traz de novo a ribalta as dinâmicas avaliativas, das quais se espera contributo efetivo para a maior eficácia do Ensino e para uma melhor rentabilidade dos recursos.
A segunda linha de explicação prende-se com a vaga reformadora dos anos 80 que concedeu à avaliação (dos alunos, das escolas e dos sistemas educativos) uma lugar-charneira na regulação interna e no controle externo dos processos de mudança. Percebe-se, aliás, que as reformas educativas não podem fazer-se “às cegas”, não podem fazer a economia de mecanismos que lhes permitam uma reorientação permanente.
A crise e a reforma constituem, assim, dois importantes elementos para compreender a “nova” atenção concedida à problemática da avaliação.
Por conta desse quadro, e confirmando a necessidade de estudos como o que apresentamos, Calderón e Borges (2016)CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2016. identificam ainda em sua pesquisa quatro momentos distintos da avaliação educacional no Brasil os quais
na década de 2000, destaca-se o surgimento de estudos centrados na produção científica divulgada nas principais revistas científicas brasileiras no campo da avaliação educacional, reflexo do acentuado volume de produção científica produzida na tentativa de compreender as experiências implantadas no Brasil a partir da década de noventa . Nesses estudos, é possível identificar claramente a polarização existente na avaliação da Educação enquanto campo científico-acadêmico do conhecimento [grifos nossos].
Parece que as visões de Calderón e Borges (2016)CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2016. , Bonamino, Bessa e Franco (2004) e de Estrela e Nóvoa (1999)ESTRELA, A.; NÓVOA, A. (orgs.). Avaliações em educação: novas perspectivas. Porto: Porto Editora, 1999. dão conta da diversidade de percepções possíveis sobre o tema, não sendo o objetivo desse trabalho exemplificar e/ou discutir as possíveis diferenças conceituais de origens diversas que promovem interpretações distintas dos mesmos fenômenos observados, mas oferecer subsídios para futuras pesquisas de cunho qualitativos a partir dos dados sistematizados.
Esse quadro, como indicam Calderón e Borges (2016)CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2016. , parece justificar a relevância de mapear a produção sobre avaliação educacional nos periódicos qualificados do Brasil, a fim de melhor conhecer os atores e as instituições envolvidos no processo de produção de conhecimento na área, os temas que estão em voga, as literaturas usadas como referencial teórico, entre outros aspectos notórios a partir desses dados. E essa é a proposta desse trabalho, na qual explicitamos o resultado de uma pesquisa bibliométrica, envolvendo como objeto de estudo diferentes periódicos da área de Educação, reproduzido a partir de software de análise de redes sociais para mapearmos as relações entre autores, palavras-chave, instituições e referências.
Por conta dessa metodologia, esse estudo diferencia-se de trabalhos como os: de Borges e Calderón (2011), que analisaram publicações sobre o tema apenas na Revista Ensaio: Avaliação e Políticas Públicas em Educação entre 1993 e 2008; de Calderón e Borges (2016)CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2016. , que estudaram a produção em quatro periódicos da área; de Minhoto (2015)MINHOTO, M. A. P. Políticas de avaliação em larga escala e institucional: perfil da produção na pós-graduação. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 294-324, maio/ago. 2015. https://doi.org/10.18222/eae266203043
https://doi.org/10.18222/eae266203043...
, que realizou pesquisa em Programas de Pós-Graduação em Educação brasileiros com foco na avaliação em larga escala e institucional; de Boldarine, Barbosa e Annibal (2017) que pesquisaram “a produção científica brasileira sobre avaliação das aprendizagens, no período de 2010 a 2014, em onze periódicos da área educacional” (p. 160); e de Chiapinoto, Gomez e Lunardi (2020), que buscaram publicações usando os descritores “gestão escolar” e “avaliação em larga escala”, no Scientific Electronic Library Online (SciELO) entre de 2000 e 2017.
Assim, para atingirmos os objetivos propostos, estruturamos esse trabalho da seguinte maneira: na seção 2 explicitamos, brevemente, a metodologia utilizada, destacando o escopo da pesquisa e como utilizamos a Análise de Redes Sociais (ARS); na seção 3 apresentamos os resultados obtidos com a análise bibliométrica, a ARS e também a síntese dos dados extraídos de nosso objeto de estudo; na seção 4 apresentamos uma pequena discussão acerca dos resultados, seguida das considerações finais na seção 5 e das referências utilizadas.
2 Metodologia
O propósito desse trabalho foi analisar a produção científica brasileira relacionada ao tema avaliação educacional. Para isso, foi realizada uma busca na rede de indexação SciELO utilizando as palavras-chave “avaliação educacional” ou “avaliação da Educação” para todos os índices (periódico, resumo, título, ano e autor). Não foram adotados recortes temporais, a fim de se obter um painel mais amplo e representativo da produção brasileira, sem restrições.
Os artigos selecionados foram submetidos a um estudo analítico sobre diferentes enfoques, como análise dos autores, termos-chave, referências e instituições envolvidos nas abordagens tecidas sobre o tema, assim como a evolução dessas produções ao longo dos anos. Em complemento, utilizamos a ARS para modelar interconexões existentes entre os diferentes tipos de dados extraídos desses trabalhos, a fim de visualizarmos como esses elementos se relacionam no cenário mapeado. A escolha dessa técnica é semelhante à utilizada para elaborar um retrato da Educação de surdos ( DIONYSIO; CHRISPINO, 2019DIONYSIO, R. B.; CHRISPINO, A. Cenário surdo e seus lugares de fala na Revista Educação Especial: uma análise por redes sociais. Revista Educação Especial, Santa Maria, v. 32, p. 1-16, 2019. https://doi.org/10.5902/1984686X
https://doi.org/10.5902/1984686X...
) e o mapeamento dos artigos publicados nos 20 anos da revista “Ensaio: Avaliação e Políticas Públicas em Educação” (CHRISPINO; ALBUQUERQUE; COUTINHO, 2015), dentre outros.
Com base nos objetivos estabelecidos, a presente pesquisa pode ser classificada como de caráter exploratório, visto que, ao delinear o perfil da produção sobre avaliação educacional, nos fora possibilitada a visão da construção desse tema nas diversas áreas do conhecimento, de acordo com a amostra definida ( GIL, 2002GIL, A. C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 2002. ).
No que tange à ARS, foi utilizado o programa NodeXL v. 1.0.1.381 ( Social Media Research Foundation ), que atua como um plug-in do programa Excel (Microsoft). Tal programa nos permite criar imagens estruturais das redes, detectar componentes conexos (conjuntos de pares de elementos em que todos estão unidos por diferentes caminhos existentes na rede) e elencar os elementos mais centrais por meio dos cálculos das medidas de centralidade. O interessante de explorarmos essas medidas é podermos, mesmo que aproximadamente, indicar o poder social de um elemento a partir do quão conectado ele está na rede ( CURRAN; CURRAN, 2014CURRAN, K.; CURRAN, N. Social networking analysis. In: BESSIS, N.; DOBRE, C. (eds.). Big data and internet of things: a roadmap for smart environments. [S.l.]: Springer, 2014. p.367–378. ).
Dentre as diferentes medidas encontradas na literatura, optamos por utilizar as centralidades de grau (determina quantas ligações diretas estão associadas a um elemento, revelando, assim, seu grau de prestígio mensurado por sua frequência de acesso na rede), de proximidade (elenca como mais centrais os elementos que estão mais próximos a todos os outros da rede) e intermediação (realça os elementos que possibilitam um maior número de interconexões entre elementos que não se conectam diretamente, ou seja, que servem como pontes na rede).
3 Resultados
3.1 Análises bibliométricas
A busca por meio do filtro pelas palavras temáticas resultou na seleção de 174 artigos, envolvendo 49 revistas. Dessas, destacam-se a “Revista Brasileira de Educação Médica”, contemplando 31 artigos, seguida da “Ensaio: Avaliação e Políticas Públicas em Educação” com 15, da “Revista do Colégio Brasileiro de Cirurgiões” com 12 e dos “Cadernos de Pesquisa”, com 11. As demais apresentaram uma média de 2,3 artigos cada. Interessante observar que as três revistas realçadas pertencem a instituições do Rio de Janeiro (Associação Brasileira de Educação Médica, Fundação Cesgranrio e Colégio Brasileiro de Cirurgiões, respectivamente), sendo que somente a Ensaio: Avaliação e Políticas Públicas em Educação é genuinamente um periódico da área de Educação e avaliação, confirmando os estudos de Boldarine, Barbosa e Annibal (2017) e Calderón e Borges (2016)CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2016. .
Sobre o idioma em que o texto foi produzido, verificamos que 14 artigos foram publicados em inglês (8,0%), dois em espanhol (1,2%) e o restante em português (90,8%), não havendo relação direta com periódico ou autor.
Quanto à análise temporal das publicações disponibilizadas em meio eletrônico, a primeira foi datada em 1998, com baixa produção nos anos seguintes, apresentando um aumento gradual considerável a partir de 2006, como podemos visualizar no Gráfico 1 .
Ao explorar o quesito instituições de vínculos dos autores dos artigos, verificamos que a Universidade de São Paulo (USP) tem a maioria das filiações dos autores, contemplando 31 artigos genuinamente associados a ela. Não obstante, sobressaem também a Universidade Federal do Ceará (UFC), com 11 artigos, Universidade de Brasília (UnB) e Universidade de Campinas (Unicamp), ambas com nove, Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio) e Universidade Federal de São Paulo (Unifesp) com oito trabalhos. Juntas, essas somam 158 dos 174 artigos mapeados e sinalizam uma importante preocupação de pesquisadores da região Centro-oeste, Nordeste e Sudeste com relação à temática investigada nesse estudo.
Uma outra abordagem tangenciando o escopo institucional é o quantitativo de autores associados a uma determinada instituição. Sob essa perspectiva, a USP novamente lidera com 86 aparições. Notamos também que algumas instituições que publicaram um número pequeno de artigos, apresentaram-se com elevados números de autores. A exemplo, temos a Universidade Federal da Bahia (UFBA) que, num total de dois artigos, dispôs de 10 autores filiadas a ela. De modo geral, ao contrastarmos esses dois dados institucionais, percebemos que, das 112 instituições de filiação, apenas 38 concentram a maioria dos trabalhos publicados.
Com relação aos autores com maior número de publicações foram salientados: Wagner Andriola, da UFC, com oito publicações; Alicia Bonamino, da PUC-Rio, com cinco; e os demais tiveram quatro ou menos publicações. Dessa forma, ao evidenciarmos que apenas 14,5% publicaram mais de uma vez no escopo mapeado, ilustramos tamanha polaridade entre os pesquisadores que têm produzido trabalhos sobre o enfoque “avaliação educacional”.
Interessados em conhecer o campo de formação dos autores que publicaram, ao menos, dois trabalhos nesse contexto, no intuito de evidenciarmos quais são as áreas de conhecimento envolvidas nos estudos sobre a temática em questão, nos fora revelado que apenas 14,0% dos 64 autores não possuem Doutorado, 4,6% não possuem Mestrado e dois dos autores não foram encontrados na Plataforma Lattes. Nesse cenário, constatamos que a maioria dos autores possui Graduação em medicina (29,5%), enfermagem, fonoaudiologia, psicologia e pedagogia (aproximadamente 9,0% cada). Tamanho destaque da área de saúde também se sobressaiu nos títulos de doutoramento acerca desses autores, correspondendo a 31,2% doutores em medicina, em contraste a 20,3% doutores em Educação.
Por sua vez, ao analisarmos as palavras-chave e a frequência com que elas são abordadas como elementos de indexação nos trabalhos mapeados, listamos no Gráfico 2 os termos que possuem, no mínimo, cinco aparições, para podermos observar a pluralidade de temáticas envolvidas nesses estudos.
Por fim, ao elencarmos os resultados quantitativos também das referências bibliográficas citadas pelos artigos assinalados como objeto de nossa pesquisa, constatamos um total de 4.283 obras referenciadas, com uma média de 24,6 citações por artigo, apesar de haver trabalhos com mais de 70 citações e outros com apenas três.
Dessas obras, vale destacar que 6,6% foram citadas mais de uma vez no escopo de trabalhos catalogados, sendo apenas 3,5% referenciadas com uma frequência mínima igual a 4. Outra peculiaridade a observarmos é o quantitativo de obras estrangeiras (34,3% em inglês, 2,9% em espanhol e 1,1% em francês) que apareceram sendo referenciadas neste escopo, visto que 90,8% dos artigos analisados foram redigidos em português.
No Quadro 1 apresentamos as obras com número de citações expressivos em nossa análise. Destes, é interessante observar que, de um universo de 4.283 citações, os livros se destacam com relação aos artigos mais referenciados.
Buscando aclarar não só as obras, como também os autores mais citados, demos enfoque apenas ao primeiro autor de cada referência. Documentos oficiais referenciados, associados às instituições governamentais (Capes, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep, Ministérios da Saúde e da Educação, conselhos e secretarias estaduais) e organizações internacionais (Organização Pan-Americana da Saúde – Opas, Organização das Nações Unidas – ONU, Organização das Nações Unidas para a Educação, a Ciência e a Cultura – Unesco) foram agrupados em uma única categoria, totalizando 344 citações, o que representa 8,0% de todas as referências citadas. Essa categoria e os autores com ao menos 10 citações estão listados no Quadro 2 .
Uma vez anunciado esse estudo bibliométrico ao analisarmos os artigos que compõem nosso objeto de pesquisa, apresentamos nas subseções abaixo algumas modelagens utilizando ARS, que nos possibilitaram melhor visualizar e discutir esses resultados.
3.2 Análise de Redes Sociais
Com o propósito de ilustrarmos o panorama evidenciado pelos atributos que nos auxiliam caracterizar os trabalhos publicados sobre a temática “Avaliação educacional”, aplicamos a Análise de Redes Sociais para modelar redes de coautoria e de palavras-chave, inspirados em pesquisas que, similarmente, se utilizam dessa metodologia, como Dionysio e Chrispino (2019)DIONYSIO, R. B.; CHRISPINO, A. Cenário surdo e seus lugares de fala na Revista Educação Especial: uma análise por redes sociais. Revista Educação Especial, Santa Maria, v. 32, p. 1-16, 2019. https://doi.org/10.5902/1984686X
https://doi.org/10.5902/1984686X...
e Chrispino, Albuquerque e Coutinho (2015).
3.2.1 Redes de coautoria
Quando analisamos redes de coautoria nesse estudo, nos propomos a modelar como pesquisadores e instituições se relacionam entre si. Assim, na Figura 1 , elucidamos uma rede na qual os elementos representam os autores e a ligação entre um par de autores representa que eles publicaram conjuntamente, pelo menos, 1 artigo dos quais mapeamos.
Ao analisarmos essa rede, podemos notar que: os 23 círculos (contendo apenas um elemento) representam os autores que, no escopo mapeado, publicaram pesquisas apenas de forma independente; as linhas unindo exclusivamente dois elementos ilustram os autores que compartilham, no mínimo, um trabalho em dupla; e, assim, sucessivamente. Desse modo, ao notarmos o elevado número de subconjuntos que compõem essa rede, podemos inferir que o termo “Avaliação educacional” vem sendo discutido por uma rede diversificada de pesquisadores.
Contudo, nesse universo de autores, podemos notar alguns que foram aclarados com certa ênfase na rede, sendo esses os que sobressaíram com relação às medidas de centralidade que aplicamos. Na Tabela 1 , podemos analisar esses cálculos e os autores que mais se destacaram.
Medidas de centralidade calculadas para autores com centralidade de intermediação diferente de zero
Com base nesses dados, podemos observar que, embora Wagner Andriola tenha sido o autor com maior número de publicações no tema, Andriola apenas possui maior realce com relação à centralidade de proximidade, ou seja, o mesmo está mais próximo de outros autores que, nesse caso, vista tamanha dispersão da rede, são seus coautores e também os coautores de seus coautores. Em contrapartida, a pesquisadora Alicia Bonamino, autora de cinco das publicações analisadas, apresenta-se como um elemento proeminente no subconjunto conexo do qual faz parte, tanto pela quantidade de relacionamento com outros autores (centralidade de grau) quanto por propiciar a comunicação entre pesquisadores que não possuem coautoria nessa rede (intermediação). Outro resultado interessante, adjacente a esse subconjunto ao qual Alicia Bonamino pertence, é que ele contém outros pesquisadores que se destacam por promoverem o elo entre diferentes autores conforme explicitado pelas medidas de centralidade analisadas. Ademais, vale destacarmos a relevância do pesquisador Joaquim Edson Vieira, realçado como o que mais serve de ponte para estabelecer a comunicação entre os demais autores ilustrados na rede.
Buscando analisar o impacto estabelecido por essas interconexões entre coautores sobre suas instituições de vínculo, modelamos uma outra rede de coautoria, cujos elementos dessa vez são representados pelas instituições às quais os autores estão filiados. Desse modo, o relacionamento entre um par de instituições simboliza que, pelo menos, um autor filiado à cada uma delas publicaram juntos ao menos um trabalho. Essa modelagem pode ser observada por meio da Figura 2 .
Dessa rede composta por 112 instituições distintas, apesar de também aparecerem círculos com apenas um elemento isolado, totalizando 16 instituições cuja relação de coautoria permaneceu internamente entre autores dessa mesma instituição, podemos notar em evidência uma grande componente conexa composta por um conjunto elevado de instituições. Para melhor analisarmos essa peculiaridade, também realizamos o cálculo das medidas de centralidade sobre essa rede ( Tabela 2 ).
Medidas de centralidade calculadas para instituições com centralidade de intermediação diferente de zero
Agrupando esses dados, é possível observar que a USP é a instituição que mais publicou sobre a temática investigada em coautoria com membros de outras instituições, assim como a Unicamp, a UFRJ, a Unifesp, a UnB e a UFBA também se destacaram nesse quesito. Outra observação relevante é notarmos que algumas instituições, embora tenham muitas ligações com outras instituições, não constituem elos fortes ao analisarmos a centralidade de intermediação e de proximidade, como o caso da Universidade Estadual de Londrina (UEL). O contrário também é aclarado nesse estudo, como o caso das instituições UFPR e UP que propiciam o compartilhamento de pesquisas entre instituições que não possuem a relação de coautoria (alta intermediação), por meio de poucos relacionamentos diretos na rede (baixa centralidade de grau).
Por fim, ao contrastarmos essas redes de coautoria, vale dissertarmos que a maioria das colaborações entre instituições estão concentradas na rede pública e, nesse cenário, destaca-se mais uma vez a USP, visto que os 10 autores realçados pela centralidade de intermediação estão filiados a essa instituição, de acordo com os artigos analisados.
3.2.2 Redes de palavras-chave
A partir dos resumos de todos os trabalhos que compõem nosso objeto de pesquisa, foram extraídas 290 palavras-chave. Após filtrar os termos duplicados ou com similaridades conceituais, detectamos 270 focos temáticos distintos. No Quadro 3 apresentamos as correspondências semânticas que foram utilizadas.
Feito isso, a modelagem em redes das palavras-chave apresenta-se ao relacionarmos pares de termos que são utilizados conjuntamente como descritores de, pelo menos, um dos trabalhos catalogados. Nesse contexto, a Tabela 3 dispõe dos 15 termos mais centrais com relação à centralidade de intermediação da rede composta por 270 palavras-chave.
Medidas de centralidade calculadas para palavras-chave com centralidade de intermediação maiores que 15
Já era de se esperar que o termo “avaliação educacional” apresentasse resultados elevados para todas as medidas de centralidade, visto que foi o filtro utilizado para nossa catalogação. Entretanto, podemos elucidar através desses dados que as temáticas “Educação médica”, “aprendizagem”, “Educação Superior” e “Ensino” são as que mais se aproximam das discussões acerca da temática principal em questão.
Apesar de não nos aprofundarmos sobre as abordagens de cada obra catalogada para as devidas caracterizações e categorizações, esses resultados nos sugerem refletirmos sobre os temas que vêm sendo abordados de forma consistente no contexto da avaliação educacional, visto que muitos termos da área de saúde são aclarados em contraste à área de Educação.
3.3 Análise dos artigos
É incontestável que apenas observações quantitativas não são capazes de responder com clareza à pergunta inicial desse trabalho. É preciso não apenas conhecer quem se dedica ao tema, mas também inteirar-se a respeito do assunto relacionado e como ele está sendo abordado. Para isso, é necessária a análise dos artigos selecionados.
Nesse viés, tratamos, na presente seção, sobre o “que” e “como” a questão avaliação educacional está sendo abordada nesses artigos. Todavia, devido ao grande número de trabalhos selecionados, optamos em criar categorias que agrupam e abrangem os principais aspectos desses estudos.
3.3.1 Nível do Ensino
É explícita, nessa amostragem, a preocupação com o nível Graduação, uma vez que 64 artigos o retratam, abordando temas que incluem: o impacto positivo da interiorização das universidades, embora a distribuição regional ainda seja desequilibrada; a utilidade do Ensino a Distância (EaD); metodologias pedagógicas; modelo de avaliação dos alunos; diferentes análises sobre o Enade.
Já os cursos de Pós-Graduação foram foco de discussão de 22 dos artigos catalogados, com interpelações aos indicadores e/ou determinações oriundas da Capes.
Por outro lado, a Educação Básica como um todo foi tema de apenas sete trabalhos (4%), enquanto o Ensino Fundamental foi tema de 21 trabalhos (12%). Nesses, foram estudadas variáveis que podem influenciar o desempenho, tais como: repetência, nivelamento por idade, trabalho de casa, contexto socioeconômico e cultural dos alunos, infraestrutura da escola, acuidade visual dos alunos, diferenças entre turmas e entre escolas, composição social da escola, aspectos religiosos e raciais.
Ainda com menos incidência, o Ensino Médio e a Educação Profissional (Ensino Técnico) foram objeto de estudo de dois trabalhos cada, com abordagens à temática desempenho e avaliação por competência como caminho para emancipação do ensinar e do aprender, respectivamente.
Com relação à Educação Pré-Escolar e à Educação de Jovens e Adultos (EJA), identificamos uma pesquisa associada a cada nível. O primeiro foi um estudo norte-americano direcionado a mensurar a qualidade da Educação e a orientar políticas públicas de Educação Infantil. Quanto ao EJA, foi dissertado sobre o perfil dos concluintes nas diferentes regiões brasileiras.
3.3.2 Temática
Com relação aos temas abordados pelos artigos, percebemos que 124 deles tratam de assuntos gerais, como impacto social, validação de testes, avaliações cognitivas. Devido a essa fragmentação, dispendemos maior atenção àqueles que versam sobre avaliação do Ensino com repercussões sobre políticas públicas, o que resultou num recorte de 50 trabalhos. Desses, 17 artigos analisam a qualidade do Ensino por meio de avaliações em larga escala, sendo oito dessas pesquisas acerca da Educação Superior e alguns de seus sistemas de avaliação, como o Sistema Nacional de Avaliação da Educação Superior (Sinaes) – dois artigos; o Exame Nacional de Cursos – três artigos; e o Enade – três artigos, sendo dois relacionados à área de saúde. No que tange ao processo de seleção para o Ensino Superior, identificamos apenas dois trabalhos tecendo ponderações acerca do Enem e o Sistema de Seleção Unificada (Sisu/MEC).
Com relação aos estudos direcionados à Educação Básica, identificamos abordagens polarizadas sobre a Avaliação Nacional de Rendimento Escolar (conhecida como Prova Brasil), o Programa de Avaliação da Rede Pública de Educação Básica (Proeb) e o Saeb. Ainda no Ensino Fundamental, trabalhos sobre perspectivas de avaliações regionais entram em cena, como a pesquisa que analisou o Sistema Mineiro de Avaliação da Educação Pública (Simave) para buscar associações entre rendimento escolar, características técnico-pedagógicas das escolas e perfil socioeconômico de alunos da 4ª série. Outro artigo relevante cita o levantamento da produção científica em torno do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) no período de 1996 a 2011. Assim como o que aborda a Prova Rio, avaliação para acompanhamento longitudinal em matemática e português dos alunos das escolas municipais da cidade do Rio de Janeiro, ao utilizá-la como fonte de dados para sugerir a aceitação da teoria do “efeito mistura” no desempenho dos alunos, confirmando a hipótese de que, pelo menos, parte do que hoje é entendido como “efeito escola” poderia ser explicado pela composição social das escolas.
Ainda sobre avaliação em larga escala, observamos quatro artigos que tratam do tema de maneira bastante ampla. Um analisa três gerações deste modelo de avaliação (Saeb, depois Prova Brasil e por fim modelos estaduais, como o Saresp e o Sistema de Avaliação Educacional de Pernambuco – Saepe). Outro trabalho questiona o uso das avaliações de larga escala na ancoragem de políticas públicas, problematizando a influência dos fatores externos na composição do desempenho, a utilização do Índice de Desenvolvimento da Educação Básica (Ideb) como sintetizador da qualidade das instituições e o conceito de eficácia escolar. O Ideb foi criticado em outro artigo, destacando que esse índice foca resultados finalísticos, sem considerar as condições que propiciam a obtenção de tais resultados. E o último se refere ao Exame Nacional de Cursos com enfoque na Educação Superior.
A categoria de trabalhos que mais teceram considerações a respeito das avaliações foram os artigos, totalizando 16 trabalhos. Desses, quatro tinha como objetivo avaliar processos de avaliação particulares. Um se propõe a analisar o processo de avaliação da aprendizagem realizado em treinamentos ministrados à equipe de enfermagem. Outros dois examinam a importância da prova prática presencial no concurso de seleção de médicos residentes. O 4º trabalho realizou um estudo de caso com um aluno com necessidades especiais. Os demais artigos versaram sobre a apreciação das avaliações como políticas públicas, discutindo os processos de avaliação seriada, questionamentos à metodologia do Sisu, processos de avaliação em Saúde Pública na Argentina e no Brasil, comparações a respeito da avaliação educacional no âmbito internacional, envolvendo países como Brasil, Itália, Irlanda, Finlândia, Portugal e Inglaterra, entre outras reflexões.
Outros artigos trabalham com as políticas educacionais que tratam do trabalho pedagógico desenvolvido nas escolas, a “gestão por resultados”, os Sistemas Municipais de Ensino (SME) e a avaliação do rendimento escolar do Ensino Fundamental e a discussão sobre avalição na/da Educação Infantil.
4 Discussão
Ao evocar a pergunta que norteou todo esse trabalho: “quem produz sobre avaliação educacional no Brasil?” e ousar respondê-la, a partir dos dados obtidos, preliminarmente, em um universo de pesquisa restrito, dificilmente manifestaremos entusiasmo. O assunto pareceu provocar pouco interesse por parte dos pesquisadores, como revela o baixo número de artigos para o período analisado, ou seja, 174 artigos publicados em 19 anos, uma média de 9 artigos por ano. Em contraste, é relevante considerarmos o fato de que tais produções são relativamente recentes, sendo o 1º artigo identificado no ano de 1998, o que eleva a média de publicações a partir de 2009 para 13 anuais. Com relação ao notório pico de publicações em 2015 ( Gráfico 1 ), ao analisarmos que 11 desses trabalhos foram publicados na “Revista do Colégio Brasileiro de Cirurgiões”, identificamos que naquele ano ocorreu o XXXI Congresso Brasileiro de Cirurgia, com o tema “Um olhar sobre a Educação”, o que possivelmente corroborou para o desenvolvimento de tais pesquisas.
Os estudos bibliométricos e a ARS demostraram que a USP foi a instituição com maior número de publicações e colaborações sobre o enfoque “avaliação educacional”, relacionando-se ainda com outras 27 instituições em coautoria.
Ao verificarmos os 440 autores por meio da ARS, foi possível observar a existência de apenas 12 subconjuntos de coautoria. Isso é justificado pela polaridade de publicações, visto que apenas 64 autores publicaram mais de uma vez, aparentando ser um assunto casual que não, necessariamente, faz parte de suas linhas de pesquisa. Além disso, notamos que o compartilhamento de pesquisas entre diferentes autores envolve poucas instituições, na sua maioria públicas. Essa constatação também foi feita por Hilu e Gisi (2011)HILU, L.; GISI, M. L. Produção científica no Brasil: um comparativo entre as universidades públicas e privadas. In: CONGRESSO NACIONAL DE EDUCAÇÃO, 10., 2011, Curitiba. Anais[...]. Curitiba: Pontifícia Universidade Católica do Paraná, 2011. p. 5664-5672. , num contexto mais amplo, no qual observaram que a produção científica brasileira está concentrada em poucas instituições, sendo as públicas geradoras de mais de 90% das publicações indexadas.
Ainda sobre os autores, é interessante observar que a maioria deles têm formação em medicina, justificando a predominância dessa área nas publicações no SciELO. Ao que tudo indica, não existe relação entre o interesse da área médica nas avaliações e a Avaliação Nacional Seriada dos Estudantes de Medicina (Anasem), uma vez que ela só foi implementada em 2016 e muito dos trabalhos são anteriores a essa data, sugerindo que tal interesse é anterior à Anasem.
Com relação aos nomes aclarados nessas análises, destacamos Wagner Andriola, da UFC, e Alicia Bonamino, da PUC-Rio, com números elevados de publicações em nossa amostragem. Entretanto, a partir da ARS, foi possível notar que Andriola se destaca em publicações de cunho individual ou envolvendo um círculo menor de outros pesquisadores. Já Bonamino, ao dispor de valores altos nas medidas de centralidade estudadas, possibilita de modo mais fluido na rede, a troca de informações entre demais pesquisadores. O mesmo acontece com o autor Joaquim Edson Vieira, detentor da maior centralidade de intermediação na rede de coautoria. Por outro lado, ao analisarmos suas publicações, identificamos que tais relações são, essencialmente, com pesquisadores da instituição ao qual é filiado, a USP.
Quanto ao estudo das palavras-chave, o fato do termo “avaliação educacional” ter sido o mais citado, não surpreende, visto que esse foi utilizado na busca ao repositório SciELO. O que causa estranheza é que ela aparece como primeira opção em apenas 53 trabalhos do total de 174. Quando as palavras-chave são elaboradas, espera-se que sejam hierarquizadas de acordo com a relevância dentro da lógica de quem está classificando. Esse, usualmente, é um processo espontâneo em que o autor identifica objetivamente aquele como o termo que melhor traduz seu trabalho, dando visibilidade orgânica do tema nos mecanismos de busca. Sendo assim, ao que parece, a avaliação na Educação não é o principal escopo desses trabalhos. De fato, o domínio da área da saúde nesse estudo explica uma menor atenção ao campo da Educação. Por outro lado, ao analisarmos as palavras-chave por meio das redes, verificamos que a temática aprendizagem e Ensino são abordadas de forma consistente no contexto da avaliação.
Um ponto de realce em nossas análises reside na observação de que nossos pesquisadores bebem, consideravelmente, de fontes estrangeiras além das nacionais, uma vez que 38,3% das referências citadas foram escritas em outras línguas. Isto é um fator importante para uma sociedade globalizada, como afirma Vasconcelos (2008)VASCONCELOS, S. M. R. Ciência no Brasil: uma abordagem cienciométrica e linguística. Tese (Doutorado em Química Biológica) – Instituto de Bioquímica Médica, Universidade Federal do Rio de Janeiro, 2008. em sua tese de Doutorado, constatando que existe uma correlação entre produtividade e proficiência na língua inglesa. Nessa investigação, apenas 33% dos pesquisadores brasileiros se declararam proficientes no inglês, o que dificulta não apenas a redação como a compreensão dos trabalhos produzidos no exterior, isolando-nos dos conhecimentos produzidos em outros países.
Ainda no quesito referências, ao desconsiderarmos os documentos oficiais, destaca-se novamente o pesquisador Wagner Andriola. Essa informação posiciona tal autor como um dos mais relevantes na área de avaliação educacional no Brasil, tanto em produtividade quanto em citação. Vale ainda destacar que autores como Wagner Andriola e Dias Sobrinho sobressaíram-se em citações, inclusive, do autor Phillipe Perrenoud ( Quadro 1 ), referência mundial para educadores devido ao pioneirismo nos estudos da avaliação por meio da Teoria das Competências.
No que tange aos tipos de obras mencionadas nos trabalhos, percebemos que, individualmente, títulos de livros foram mais citados que artigos. Isso é natural, pois conceitos clássicos e parâmetros estão contidos nessas publicações. Em nosso estudo, “Análise de Conteúdo”, de Bardin, foi o trabalho mais referenciado, seguido da Constituição Federal do Brasil. Essa observação converge para a ocorrência de que questionários e entrevistas, seguidos de análise de conteúdo, foram as metodologias mais utilizada nos artigos.
Por fim, aclaramos que a vasta maioria dos trabalhos catalogados nesse estudo tiveram como foco os níveis Graduação e Pós-Graduação. Os poucos trabalhos voltados para a Educação Básica restringiram-se a discutir o papel do Estado nas avaliações e a medir o desempenho dos alunos em avaliações. Esse resultado talvez se explique pelos recursos dirigidos a cada nível de Ensino. O relatório da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), intitulado “Um olhar sobre a Educação”, divulgado em 2017 ( OECD, 2017OECD Education at a Glance 2016; OECD indicators, OECD publishing. Paris; 2017. ), informa que o Brasil gasta US$ 3,8 mil anual por aluno matriculado no primeiro ciclo do Ensino Fundamental. Esse valor representa menos que a metade do gasto pelos países da OCDE, que é de US$ 8,7 mil. Por outro lado, o Brasil gasta US$ 11,7 mil com estudantes da Educação Superior, se igualando a países europeus, como Portugal, Espanha e Itália. Então, ao que parece pelos nossos resultados, pode haver uma relação entre o prestígio dos níveis de Ensino por conta dos recursos financeiros que lhes são dirigidos e o interesse de pesquisas e ações sobre avaliação educacional.
5 Considerações finais
Ao realizarmos uma busca no repositório SciELO a respeito do tema “Avaliação Educacional”, é importante frisar que os resultados são um recorte da área de Educação no Brasil. Certamente, considerando os critérios de exclusão, muitos trabalhos sobre o assunto ficaram de fora porque são publicados em periódicos qualificados não hospedados no SciELO, como mídias impressas, teses, dissertações, capítulos de livros, livros completos ou trabalhos publicados em Anais de eventos científicos. Portanto, nosso trabalho decerto não esgota a questão sobre o quê e quem trabalha com avaliação educacional no Brasil. Nossa contribuição se dá pela recomendação da necessidade de mais estudos no assunto, ao oferecer um levantamento inicial da produção brasileira, utilizando uma ferramenta de análise capaz de apresentar relações entre muitos dados.
Nesse sentido, verificamos na amostra que a pesquisa sobre avaliação educacional no Brasil é focada na Educação Superior, em especial, na área de saúde. A pouca produção nos 19 anos estudados aborda uma temática geral dispersa, mais preocupada com validações de testes específicos do que com qualidade da Educação. Nossa pesquisa reafirma o lugar comum da ciência brasileira: as três instituições que mais produziram no assunto são públicas e localizadas na região sudeste do país, centradas em poucos pesquisadores.
Assim, esse trabalho corrobora a atual situação de Educação brasileira, como apresentado na introdução. Há 11 anos, Charlot (2008CHARLOT, B. O professor na sociedade contemporânea: um trabalhador da contradição. Revista da FAEEBA – Educação e Contemporaneidade, Salvador, v. 17, n. 30, p.17-31, jul;/dez. 2008. p.20) já apontava que
O professor ganhou uma autonomia profissional mais ampla, mas, agora, é responsabilizado pelos resultados, em particular pelo fracasso dos alunos. Vigia-se menos a conformidade da atuação do professor com as normas oficiais, mas avaliam-se cada vez mais os alunos, sendo a avaliação o contrapeso lógico da autonomia profissional do docente. Essa mudança de política implica uma transformação identitária do professor.
No mundo globalizado, a qualidade da Educação é fator relevante para a competitividade e o melhor aproveitamento das oportunidades. Nossa posição no cenário mundial nesse quesito é, no mínimo, desproporcional à importância que o país tem ocupado em outras áreas. Se temos a intenção de aperfeiçoar o sistema educacional brasileiro, é preciso contar com a contribuição de avaliações constantes da estrutura como um todo para, produzindo evidências, corrigir rotas e redefinir metas. Parafraseando Gomes (1999GOMES, C. A. Sucesso e fracasso no ensino médio. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 7, n. 24, p. 259-280, 1999. , p. 267), a qualidade da Educação certamente não se reduz ao desempenho nas avaliações, “mas incontestavelmente [a] inclui”. Porém, para que isso aconteça de maneira eficiente, pesquisas no campo da avaliação e da meta-avaliação são vitais para a oferta de evidências que favoreçam políticas públicas que diminuam as desigualdades e a maior autonomia das escolas e dos estudantes. Na amostra de pesquisa apresentada, o número e o perfil das pesquisas são restritos e isso é preocupante visto que, como escrevem Estrela e Nóvoa (1999)ESTRELA, A.; NÓVOA, A. (orgs.). Avaliações em educação: novas perspectivas. Porto: Porto Editora, 1999. , a avaliação cresceu a partir de dois elementos: a crise e a reforma e, como todos sabemos, o Brasil vive hoje ondas de crises e de reformas.
Referências
- BONAMINO, A.; BESSA, N.; FRANCO, C. (orgs.). Avaliação da educação básica: pesquisa e gestão. Rio de Janeiro: PUC-Rio; São Paulo: Loyola, 2004.
- BORGES, R. M; CALDERON, A. I. Avaliação educacional: o estado do conhecimento da Revista Ensaio: Avaliação e Políticas Públicas em Educação (1993-2008). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.19, n.70, p. 43-56, jan./mar. 2011. https://doi.org/10.1590/S0104-40362011000100004
» https://doi.org/10.1590/S0104-40362011000100004 - BOLDARINE, R. F.; BARBOSA, R. L. L.; ANNIBAL, S. F. Tendências da produção de conhecimento em avaliação das aprendizagens no Brasil (2010-2014). Estudos em Avaliação Educacional, São Paulo, v.28, n.67, p.160-189, jan./abr. 2017. https://doi.org/10.18222/eae.v28i67.4244
» https://doi.org/10.18222/eae.v28i67.4244 - CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2016.
- CHARLOT, B. O professor na sociedade contemporânea: um trabalhador da contradição. Revista da FAEEBA – Educação e Contemporaneidade, Salvador, v. 17, n. 30, p.17-31, jul;/dez. 2008.
- CHIAPINOTO, F. V.; GOMEZ, S. R. M.; LUNARDI, E. M. Estado do conhecimento sobre avaliação em larga escala e gestão educacional. Atos de Pesquisa em Educação, Blumenau, v.15, n. 1, p. 120-142, 2020. https://doi.org/10.7867/1809-0354.2020v15n1p120-142
» https://doi.org/10.7867/1809-0354.2020v15n1p120-142 - CHRISPINO, A.; ALBUQUERQUE, M. B.; COUTINHO, P. B. Os vinte anos da revista Ensaio analisados por meio de Redes Sociais. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 86, p. 13-35, jan./fev. 2015. https://doi.org/10.1590/S0104-40362015000100001
» https://doi.org/10.1590/S0104-40362015000100001 - CURRAN, K.; CURRAN, N. Social networking analysis. In: BESSIS, N.; DOBRE, C. (eds.). Big data and internet of things: a roadmap for smart environments. [S.l.]: Springer, 2014. p.367–378.
- DIONYSIO, R. B.; CHRISPINO, A. Cenário surdo e seus lugares de fala na Revista Educação Especial: uma análise por redes sociais. Revista Educação Especial, Santa Maria, v. 32, p. 1-16, 2019. https://doi.org/10.5902/1984686X
» https://doi.org/10.5902/1984686X - ESTRELA, A.; NÓVOA, A. (orgs.). Avaliações em educação: novas perspectivas. Porto: Porto Editora, 1999.
- GIL, A. C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 2002.
- GOMES, C. A. Sucesso e fracasso no ensino médio. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 7, n. 24, p. 259-280, 1999.
- HILU, L.; GISI, M. L. Produção científica no Brasil: um comparativo entre as universidades públicas e privadas. In: CONGRESSO NACIONAL DE EDUCAÇÃO, 10., 2011, Curitiba. Anais[...]. Curitiba: Pontifícia Universidade Católica do Paraná, 2011. p. 5664-5672.
- MINHOTO, M. A. P. Políticas de avaliação em larga escala e institucional: perfil da produção na pós-graduação. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 294-324, maio/ago. 2015. https://doi.org/10.18222/eae266203043
» https://doi.org/10.18222/eae266203043 - OECD Education at a Glance 2016; OECD indicators, OECD publishing. Paris; 2017.
- VASCONCELOS, S. M. R. Ciência no Brasil: uma abordagem cienciométrica e linguística. Tese (Doutorado em Química Biológica) – Instituto de Bioquímica Médica, Universidade Federal do Rio de Janeiro, 2008.
Datas de Publicação
-
Publicação nesta coleção
23 Jul 2021 -
Data do Fascículo
Apr-Jun 2022
Histórico
-
Recebido
18 Maio 2019 -
Aceito
15 Jun 2021
Fonte: Elaboração dos autores (2021)
Fonte: Elaboração dos autores (2021)
Fonte: Elaboração dos autores (2021)
Fonte: Elaboração dos autores (2021)