Processos de invisibilização na avaliação em larga escala

Invisibility processes in large scale evaluation

Procesos de invisibilización en la evaluación a gran escala

Resumo

Resultados das avaliações em larga escala da Educação Básica são divulgados intensamente na mídia. Há, entretanto, desconhecimento quanto a temas como metodologia dessas avaliações, critérios de cálculo, de agregação dos resultados dos dados, dentre outros. O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), responsável por essa avaliação, emite muitas notas técnicas, portarias, notas informativas, pareceres que formatam e estabelecem normas para a mesma. Este artigo analisa regulamentações do Inep referentes a processos de avaliação em larga escala da Educação Básica. Destacamos trechos de documentos que normatizam tais avaliações, concluindo que muitos estudantes são por ela invisibilizados, o que permite questionar os indicadores alcançados e divulgados relativos ao nível de qualidade e de desenvolvimento da Educação Básica brasileira.

Qualidade; Indicadores; Documentos Legais

Abstract

The results of the large-scale evaluations of Basic Education are disseminated intensively in the media. However, there is lack of knowledge regarding topics such as the methodology of these evaluations, criteria for calculation and aggregation of these data, among others. National Institute of Educational Studies and Research Anísio Teixeira (Inep), which is responsible for this evaluation, issues a large amount of technical notes, administrative rulings, informative notes, expert opinions (reports) which format and establish standards for it. This article analyzes Inep regulations referring to large-scale evaluation processes of basic education. We highlight the documents that regulate these evaluations, concluding that many students are rendered invisible in the evaluation process, which allows questioning the indicators attained and divulged regarding the level of quality and development of Brazilian basic education.

Quality; Indicators; Legal Documents

Resumen

Los resultados de las evaluaciones a gran escala de la Educación Básica se difunden ampliamente en los medios de comunicación. Sin embargo, existe un desconocimiento sobre temas como la metodología de estas evaluaciones, criterios de cálculo, de agregación de resultados de datos, entre otros. El Instituto Nacional de Estudios e Investigaciones Educativas Anísio Teixeira (Inep), responsable de esta evaluación, emite numerosas notas técnicas, ordenanzas, notas informativas, dictámenes que la formatean y establecen normas para la misma. Este artículo analiza la normativa del Inep sobre procesos de evaluación a gran escala de la Educación Básica. Destacamos extractos de documentos que estandarizan dichas evaluaciones, concluyendo que muchos estudiantes se vuelven invisibles por ello, lo que permite cuestionar los indicadores alcanzados y difundidos relacionados con el nivel de calidad y desarrollo de la Educación Básica brasileña.

Calidad; Indicadores; Documentos Legales

1 Introdução

Indicar processos de invisibilização na legislação educacional brasileira parece, num primeiro momento, algo imponderável. Ocorre que essa legislação normatiza processos, invisibilizando aqueles cujos resultados, ou realidade institucional, situam-se abaixo da linha de corte, conforme os critérios e a metodologia quantitativa empregados.

O objetivo desse artigo¹ é sinalizar essas marcas de invisibilidade dentro das legislações que promulgam a avaliação em larga escala em diálogo com a abordagem teórico-metodológica do ciclo de políticas (BALL, 1994, 2001, 2014; BALL; BOWE, 1992; MAINARDES, 2006). A pesquisa apresentada insere-se no debate sobre a avaliação em larga escala (KLEIN, 2019; OLIVEIRA; WALDHELM, 2016) ao reconhecer a análise da gestão escolar e da qualidade da Educação nas escolas, a partir dos resultados de seus processos de ensino-aprendizagem, identificando fatores intraescolares, associados aos melhores desempenhos (FERREIRA; BERKENBROCK-ROSITO; ALMEIDA, 2018; GOBBI et al., 2020). O conceito de qualidade é complexo e, na cultura avaliativa atual, é compreendido de forma restrita².

Os processos de invisibilização envolvem a regulamentação das avaliações em larga escala de diversas formas, em notas técnicas, portarias, notas informativas e pareceres internos do Inep. Ou seja, na lei, na norma e na regulamentação estão prescritas como a avaliação em larga escala deverá distinguir certos atores e certas instituições, o que, por outro lado, poderá invisibilizar pessoas e particularidades de algumas escolas. Por isso, é necessário deter o olhar nesse aspecto, uma vez que ele, para além dos pressupostos históricos da avaliação em larga escala, conjuga as redes discursivas, registradas e simbólicas, que forjam um lugar de ser estudante no contexto dessa avaliação.

Inicialmente, identificamos regras e normas da avaliação em larga escala dentro das legislações nacionais – macropolíticas –, que regulamentam a Educação Básica, explicitadas na Constituição Federal (BRASIL, 1988), na Lei de Diretrizes e Bases da Educação – LDB (BRASIL, 1996), no Plano Nacional de Educação (PNE) 2014-2024 (BRASIL, 2014), nas Diretrizes Curriculares Nacionais da Educação Básica - DCNEB (BRASIL, 2013) e na Base Nacional Comum Curricular – BNCC (BRASIL, 2017). Seguimos referenciando as micropolíticas publicadas em Portaria do Inep, apontando a estruturação e o uso dos dados compilados no processo de avaliação. Por fim, analisamos macro e micropolíticas, a partir do ciclo de políticas proposto por Ball (1994)³, frente ao que sinalizamos trechos de normatizações nos quais é possível identificar que muitos estudantes são invisibilizados no processo avaliativo em larga escala.

2 Invisíveis nas políticas educacionais: prescrição nas macropolíticas

A temática da avaliação em larga escala ganhou espaço nos discursos de quem faz Educação em nosso país a partir de sua regulação nas legislações atuais. Essa análise da prescrição da avaliação em larga escala nas macropolíticas está alicerçada no contexto de Produção do Texto proposto por Ball (1994). Além disso, as contribuições analíticas de teóricos como Cury (2005) e Werle (2010, 2012) são válidas nesse contexto.

O objetivo principal da avaliação em larga escola é promover um acompanhamento da efetivação das políticas para a Educação Básica através de provas realizadas com os estudantes, tendo em vista a produção de conhecimento e a sistematização de ações educacionais que resultem em mudanças qualitativas. Considerando o corpo das avaliações em larga escala, a partir de seus pressupostos e de seus fatos históricos, políticos, éticos e filosóficos identifica-se o rompimento da aparente objetividade e neutralidade da avaliação.

O contexto de criação dessas políticas pode ser aprofundado em Bonamino (2002, 2013) e Bonamino e Sousa (2012), quando historicizam a sua criação e retomam os 25 anos das avaliações externas no país. Sinalizam que as políticas de avaliação em larga escala iniciaram, no Brasil, a partir da década de 1980, nos debates da redemocratização política, na emergência de discussões acerca da melhoria do ensino.

Para subsidiar o debate sobre o contexto de Produção do Texto dentro da análise da avaliação em larga escala, partimos da concepção de que crianças, jovens e adultos são portadores do direito ao pleno desenvolvimento humano e à Educação de qualidade. A referência a essa Educação de qualidade encontra-se no artigo 205 da Constituição Federal – CF/88 (BRASIL, 1988), que preconiza o desenvolvimento pleno da pessoa como o objetivo maior da Educação. Cury (2005) reforça que a busca pela qualidade na Educação passa pelo reconhecimento de si e do outro, com o pleno desenvolvimento de suas capacidades, e pelo diálogo com o outro, reconhecido como igual. Essa indicação do autor, remete à norma constitucional que impõe a Educação de qualidade como um direito social próprio da cidadania. Dessa forma, alerta que é papel da sociedade brasileira, especialmente dos educadores, a interpretação dos documentos legais e sua qualificação dentro dos sistemas de ensino.

A avaliação é reafirmada como política pública para monitorar a qualidade da Educação oferecida na Educação Básica no texto da LDB (BRASIL, 1996), quando refere, no artigo 9º, que cabe à União assegurar o processo nacional de avaliação do rendimento escolar no Ensino Fundamental. Essa legislação, ao instituir a década da Educação, em seu artigo 87, parágrafo 3º e inciso IV, aponta a necessidade de integração de todos os “estabelecimentos de Ensino Fundamental do seu território ao sistema nacional de avaliação do rendimento escolar”. Ou seja, a regulação impregnada nas propostas avaliativas integra, conforme Ball, citado por Mainardes (2006), o contexto de Produção do Texto⁴. Os discursos produzidos naquele período formam valores e ideias que se dirigem aos públicos escolares e são implementados por meio de textos legais, fundamentando a possibilidade de regulação dos processos educacionais mediante avaliação em larga escala.

Além do direito à Educação, outros textos legais como o PNE (BRASIL, 2001) referenciam a priorização da Educação de qualidade a todos. Encontramos nesse texto uma afirmação sobre instituir mecanismos de avaliação interna e externa da qualidade da Educação oferecida no Sistema Nacional de Educação, de forma participativa “através de dinâmica democrática, legítima e transparente” (BRASIL, 2001, p. 33).

No início do século XXI, os anseios de “dinâmica democrática” sofrem um esmaecimento em práticas e textos de políticas educacionais. Houve arrefecimento frente aos principais anseios da sociedade no que se refere à instauração de um sistema de avaliação que contribuísse, de fato, com a aprendizagem e que, democrática e transparentemente, oferecesse resultados que fossem priorizados para o acompanhamento da qualidade da Educação. Com o PNE 2001-2010 (BRASIL, 2001) a avaliação é regulada para gerar eficiência e igualdade no sistema escolar, favorecendo práticas de gestão empresarial no contexto escolar, a partir do ranqueamento dos resultados.

O PNE decênio 2014-2024 (BRASIL, 2014), prevê, fomentar a qualidade da Educação brasileira, a partir da elevação do Índice de Desenvolvimento da Educação Básica - Ideb⁵, em todo o país. A previsão do PNE é chegarmos, em 2021, com as médias 6,0; 5,5 e 5,2, para anos iniciais e anos finais do Ensino Fundamental e do Ensino Médio, respectivamente.

Além dos planos nacionais de Educação, as Diretrizes Curriculares Nacionais da Educação Básica - DCNEB (BRASIL, 2013) sinalizam o uso das avaliações externas, a saber: Sistema de Avaliação da Educação Básica (Saeb), Prova Brasil e Exame Nacional do Ensino Médio (Enem), relacionadas à qualidade da Educação, embora sem indicação de como essa oferta seria avaliada. O conceito de qualidade faz parte de uma publicação de 2004, na qual é apresentada o Custo Aluno Qualidade inicial – CAQi, indicando uma série de insumos para efetivar um ensino de qualidade, embora a relação desses insumos, ali, não ficasse evidente⁶.

Por fim, ao analisar o discurso político sobre as avaliações de larga escala, destacamos que a sociedade brasileira foi desafiada a construir a BNCC (BRASIL, 2017), com foco na elaboração de objetivos de aprendizagem, colocada à consulta pública no segundo semestre de 2015. Nesse contexto, são constantes as críticas de especialistas da área e de organizações da sociedade civil, como as expostas pela Associação Nacional de Pós-Graduação e Pesquisa em Educação (Anped), que sugerem estar a BNCC centrada na produção de objetivos de aprendizagem, como aporte para a elaboração de testes censitários. Esses instrumentos, aliados à meritocracia, desconsideram as possibilidades específicas de ensino e de aprendizagem nos diferentes contextos. A versão final da BNCC foi publicada, em 2017, pelo Conselho Nacional de Educação (BRASIL, 2017) sob duras críticas de favorecimento de políticas avaliativas.

No diálogo com tantas contradições, Ball (2001) nos auxilia a ler a realidade, desde o nível macro das políticas educacionais até o nível micro. Nesse sentido, Ball (2001) lembra que o espaço de atuação é híbrido, apresentando uma espécie de “bricolagem”, entendido como um “processo constante de empréstimo e de cópia de fragmentos e partes de ideias de outros contextos, de uso e de melhoria das abordagens locais” (BALL, 2001, p. 102). A intenção é investir numa Educação que funcione na lógica da interconexão numa troca constante entre o global e o local.

A seguir, investimos na reflexão para compreender as variáveis que são apresentadas no contexto da Produção do Texto, como as políticas são, conforme Ball (2001, p. 103), sempre “aditivas, multifacetadas e filtradas”. Existem variações de intensidade entre as políticas, embora elas partam de uma mesma vertente ideológica:

A primeira é que no nível micro, em diferentes Estados Nação, novas tecnologias de políticas têm produzido novas formas de disciplina, novas práticas de trabalho e novas subjetividades de trabalhadores. A segunda é que, no nível macro, em diferentes Estados Nação, estas disciplinas geram uma base para um novo ‘pacto’ entre o Estado e o capital e para novos modos de regulação social que operam no Estado e em organizações privadas (BALL, 2001, p.103).

A afirmação de Ball (2001) permite olharmos para as orientações prescritas no nível de micropolíticas para compreender como as escolhas são marcadas em legislações internas do Inep que reestruturam processos de avaliação em larga escala e eliminam os espaços de diálogo. Santiago, Akkari e Marques (2013) afirmam que há dificuldades de valorização da diversidade cultural nas políticas educacionais e nas escolas que estejam capturadas pelas demandas de uniformidade:

O aumento da popularidade das políticas educativas com base nos testes padronizados fragiliza a atenção para a diversidade cultural dos alunos. As razões para o surgimento de testes padronizados devem ser conectadas à crescente importância da prestação de contas nas políticas públicas, à crença cada vez mais elevada sobre a importância de uma força de trabalho altamente qualificada em uma economia globalizada e ao desejo de certos grupos manterem seus privilégios (SANTIAGO; AKKARI; MARQUES, 2013, p. 84).

Santiago, Akkari e Marques (2013) não se referem a “invisíveis”, mas convergem com o sentido que atribuímos a este termo, quando falam de grupos desfavorecidos, de estudantes deixados à sua sorte e da diversidade cultural dos alunos aos quais as escolas deveriam estar atentas.

Os invisíveis na Prova Brasil compõem a parcela da população que vive nas regiões rurais, frequentam turmas com menos de 20 alunos ou são filhos das camadas sociais itinerantes no país. Esses achados da pesquisa (WELTER, 2019) sugerem que tal parcela da população são os mesmos seres humanos invisibilizados em nossa sociedade e nos resultados publicizados na avaliação em larga escala. Ela está nas realidades sociais, educacionais e culturais dos grupos de pessoas que não são contabilizados nos dados oficiais sobre a qualidade da Educação brasileira. Assim, optamos por tratá-los como invisíveis da avaliação em larga escala porque entendemos que essa terminologia englobaria os não vistos, os vistos em parte, os descartados, os excluídos da avaliação e dos resultados da análise dos questionários de contexto.

Outros autores, como Sposati (2001), chamam esses invisíveis da sociedade de “apartados”, vinculados às estratégias de desenvolvimento que repartem grupos em classes. Buarque (2002) apresenta o conceito de “instrangeiros”, compreendidos como estrangeiros em seu próprio espaço de vida, desvinculados da comunidade à qual estavam, ou deveriam estar originalmente vinculados, ou seja, dessemelhantes em seu próprio país, excluídos dos benefícios da modernidade. Encontramos também em Brandão (2002) e Castel (2015), o termo “desfiliados”, sinalizando a ausência de inscrição do sujeito em estruturas portadoras de sentido, devido aos processos econômicos de consumo e de produção muito precários, vulnerabilidade social e a precarização em diferentes dimensões (perda do lugar de trabalhador, desemprego, temporários, déficit de lugares na estrutura social). O desfiliado está distante do centro de coesão da sociedade. Bassani (2013, f. 12) utiliza o termo “inclassificáveis” para mostrar a produção da avaliação que coloca os alunos que não são classificados, que não recebem um rótulo, que são sem rótulo “porque não terão valor no mercado, provavelmente não farão parte dele”.

3 Invisíveis: prescrições nas micropolíticas do Inep

O gerenciamento do processo, coordenação da criação e da aplicação das provas, a institucionalização de ferramentas tecnológicas para registro de dados, a disponibilização de relatórios, entre outros elementos, compete ao Inep. Para que isso ocorra dentro das potencialidades sinalizadas nas macropolíticas, é fundamental ao órgão criar regulamentações que direcionam as ações e os trabalhos de todos os seus colaboradores. Essas regulamentações são instituídas, em sua maioria, por Portarias que estão publicizadas⁷ no próprio site do Instituto, de forma a garantir a transparência das regras estabelecidas.

A grande dificuldade não é explicitar a função do Inep no contexto contemporâneo, pois está clara a marca da avaliação em larga escala como função do Estado. Ao mesmo tempo, há sinalizações de que essa função está associada a uma competência técnica que não prioriza a transparência de dados. A questão está na disponibilização ou didatização de dados técnicos, divulgados no site do Inep, e inacessíveis para grande parte do público, que não é especialista no trato de dados estatísticos.

Sabendo-se dessa problemática de compreensão dos dados estatísticos e de sua composição, percebe-se uma prática do Inep, a partir de 2010, que foi intensificada em 2013: disponibilizar Notas Técnicas e Portarias Internas. Tais documentos de políticas explicitam a metodologia adotada na construção dos dados estatísticos, a fórmula utilizada na estruturação do indicador e a fundamentação legal e, por vezes, teórica que respalda a análise dos dados e dos resultados apresentados.

A primeira Nota Técnica sobre o Ideb (Nota Explicativa Resultados SAEB/Prova Brasil (INEP, 2011a), disponibilizada no site do Inep (menu Informações Estatísticas/Consulta Ideb) contempla explicações importantes para a compreensão dos dados utilizados no cálculo do Ideb. Dentre elas, é possível destacar: conceito do Ideb como um indicador de qualidade educacional; sinalização de que o Ideb é um indicador sistematizador de informações de desempenho de estudantes, aliadas ao rendimento escolar; confirmação da importância do Ideb para monitoramento do sistema de ensino no Brasil; interpretação do cálculo do Ideb através de um exemplo; apresentação da fórmula de cálculo do Ideb; explicitação do conceito de cada símbolo utilizado na fórmula; confirmação da utilização de média de desvios padrão das proficiências dos alunos e a utilização de limites inferiores e superiores das proficiências de Matemática e de língua portuguesa para calcular o Ideb, desde 1997, e as médias da Prova Brasil, desde 2005.

Num primeiro momento, a explicitação da fórmula e do cálculo do Ideb permite compreender que existe uma média e um desvio padrão, que é considerado no cálculo, mas esses elementos não teriam uma interferência no resultado individual de cada estudante. Num segundo momento, a análise para o desvio padrão é de que é feito um “ajuste” dentro do cálculo para aqueles estudantes que ficaram numa faixa numérica e serão escalonados em um número fixo. Ainda assim, não há um impacto direto no resultado do aluno ou em seus dados de contexto, mas, sim, na média da escola, do município e do país.

Uma última sinalização sobre essa primeira Nota Técnica do Inep, diz respeito a um registro em rodapé. A informação contida nesse local do documento aponta para o uso performativo do Ideb: a afirmação de que o monitoramento da evolução temporal do desempenho dos estudantes permite o estabelecimento de políticas de financiamento por parte de autoridades locais visando a melhorar as redes de ensino em que os alunos apresentam baixo desempenho. Assim, monitorar as redes financiadas, para verificar se elas apresentam uma melhoria de desempenho, é fundamental.

Retomando a análise no contexto da Produção do Texto Legal, identificamos na Portaria Inep nº 149, a sinalização de que o número de alunos matriculados utilizados como base para a aplicação da Prova Brasil seria o disponibilizado pelas escolas através do Censo Escolar, preenchido até 19 de agosto de 2011 (INEP, 2011b). Esse é um aspecto que pode passar despercebido, mas que sinalizamos como uma linha de corte entre os que poderão, ou não, participar do processo. Dessa forma, as normativas internas do Inep regulamentam o campo de práticas escolares e modificam a participação de estudantes no processo avaliativo. Um exemplo desse caso específico são os estudantes que trocam de escolas após a data de corte do Censo Escolar, não serão contabilizados na sua escola atual e não realizarão a prova na escola de origem. Isso significa dizer que ficam no “limbo”, excluídos dos processos de avaliação e, com isso, invisibilizados. O nível de aprendizagem alcançado por estes estudantes não é avaliado, o que os torna invisíveis e não contam na Educação brasileira e nem nos índices constituídos a partir dos testes e das avaliações. A Portaria sinaliza também a necessidade de participação de, pelo menos, 50% dos estudantes matriculados no dia da prova, para que o resultado da escola seja contabilizado no cálculo do Ideb do Município, da Unidade Federativa e do Brasil.

A mesma Portaria Inep nº 149, de 16 de junho de 2011, explicita a necessidade de manutenção da série histórica dos dados publicizados pelo Inep e, por isso, divulga os critérios para as redes municipais de ensino e para as escolas que, apesar de terem realizado a Prova Brasil de 2011, não teriam a inclusão de seus resultados no cálculo da média do Ideb do Município, da Unidade Federativa e do país (INEP, 2011b). Enfim, os dados foram publicados no site do Inep, ainda em 2012, e, para essas situações, somente foram mantidos os cálculos das médias por escola.

A Nota Informativa do Ideb (INEP, 2011c), também disponibilizada no site do Inep, no espaço destinado a legislações que regulamentam o Ideb, descreve os critérios para as escolas que não receberam Ideb em 2011 e para as quais o cálculo não foi realizado:

1. escolas da Rede Privada;

2. escolas exclusivamente de Educação Profissional;

3. escolas exclusivamente de Educação de Jovens e Adultos;

4. escolas exclusivamente de Educação Especial;

5. escolas públicas que oferecem Ensino Fundamental regular e que não realizaram a Prova Brasil/Saeb por terem menos de 20 alunos matriculados nas séries avaliadas (4ª série/5 º ano e 8ª série/9º ano), conforme declaração prestada ao Censo Escolar 2011;

6. escolas pertencentes às redes municipais que não aderiram à Prova Brasil 2011;

7. escolas que realizaram a Prova Brasil/Saeb 2011, mas não prestaram informação ao Censo Escolar sobre os alunos aprovados e, por isso, não tiveram a taxa de aprovação calculada;

8. escolas em que o número de alunos participantes da Prova Brasil 2011 foi inferior a 10 ou não alcançaram 50% dos alunos matriculados na série avaliada, posto que, do ponto de vista metodológico, tal contingente não refletiria o resultado de toda a escola;

9. escolas que, segundo Portaria Inep nº 410, de 03 de novembro de 2011, implantaram o Ensino Fundamental de nove anos em 2008 e solicitaram ao Inep a não divulgação de seus resultados.

A Nota Informativa do Ideb 2013 (INEP, 2013a), também disponibilizada no site do Inep, exclui do cálculo do Ideb as escolas que solicitaram a não divulgação de seus resultados da Prova Brasil 2011. E a Portaria Inep nº 304, de 21 de junho de 2013 (INEP, 2013b), exclui do cálculo do Ideb as secretarias que solicitaram a não divulgação de seus resultados por situações adversas no momento da aplicação da Prova Brasil 2013.

É possível perceber, pela análise dos documentos de micropolíticas do Inep, que esses critérios são marcas fortes de uma avaliação que é parcial. Quantos estudantes estão fora da avaliação, se considerarmos as informações analisadas nos documentos do Inep? – Muitos! Por isso, na relação abaixo, destacamos quem são os estudantes que são desconsiderados da avaliação em larga escala pelas normativas do Inep apresentadas, até o momento, neste texto:

1. estudantes de escolas públicas rurais que possuem os seus resultados calculados e dissociados da média do seu município;

2. estudantes de escolas particulares urbanas ou rurais, pois a função do Inep é avaliar a qualidade do ensino público. A inclusão desses estudantes poderia gerar distorções ou maquiar a qualidade do ensino público oferecido. Não é foco deste estudo analisar as escolas particulares, mas cabe informar que esses estudantes estão fora da avaliação realizada;

3. todos os estudantes matriculados nas turmas de Educação de Jovens e Adultos, Educação Especial ou demais modalidades dentro do Ensino Fundamental não possuem valor para o cálculo do Ideb;

4. todos os estudantes que trocaram de escola após o período de fechamento do Censo Escolar, uma vez que a data é no final do mês de agosto. Além disso, todos os estudantes matriculados em turmas com menos de 20 alunos. É possível imaginar onde essas escolas estão localizadas? Se acessarmos as informações disponibilizadas no Censo Escolar, através do site do Inep, encontraremos, a cada ano, o número de alunos vinculados a essas instituições, em sua maioria localizadas em regiões rurais do país;

5. todos os estudantes matriculados em instituições que não permitiram a participação pelos motivos elencados nos critérios “f”, “g” e “i”. Aqui, cabe sinalizar um desconhecimento geral por parte de gestores escolares sobre a possibilidade de não participação no processo de avaliação em larga escala;

6. estudantes de escolas que participaram do processo de avaliação em larga escala, porém, ao realizarem-na, sua turma não continha 50% de presença no dia da prova. Pois, segundo critério divulgado, não representa a totalidade da turma. Então, numa turma de 40 alunos, se, somente 19 alunos compareceram no dia prova, as médias desses estudantes não serão contabilizadas para o cálculo. Além disso, estudantes de escolas que contaram com menos de 10 alunos em sala de aula no dia da prova, também foram excluídos do cálculo.

É possível contabilizar o número de estudantes que participaram de cada edição da Prova Brasil. Mas ao fazê-lo, percebe-se que muitos são os estudantes invisibilizados dentro do processo avaliativo.

Procurando respostas a essas invisibilidades, identificamos duas Notas Técnicas do Inep, que estabelecem metas a serem alcançadas pelo Brasil frente à comunidade estrangeira e financiadora. A primeira, Nota Técnica (INEP, 2015a), “Metodologia utilizada para o estabelecimento das metas intermediárias para a trajetória do Ideb no Brasil, Estados, Municípios e Escolas”, estabelece a comparação entre a média dos países membros da Organização para a Cooperação e Desenvolvimento Econômico - OCDE e a média nacional do Ideb (6,0) a ser atingida pelo Brasil em 2021. Ou seja, em uma nota técnica são estabelecidas metas de desempenho médio para o Brasil nas avaliações de 2021, de forma a compor a taxa de aprovação sugerida de 96%.

A segunda Nota Técnica (INEP, 2015b), “Nota metodológica sobre a compatibilização de desempenhos do Pisa (Programme for International Student Assessment) com a escala do Saeb” sinaliza o estabelecimento de metas do Saeb que permitam a comparação do desempenho de estudantes brasileiros dentro dos níveis de referência do Pisa. Ao longo da caracterização da compatibilização de desempenho entre as duas avaliações em larga escala, são explicitadas limitações como a idade dos estudantes que realizam essas avaliações e as diferenças encontradas nas matrizes de referência. São estabelecidos, nesse aspecto, procedimentos internos que permitam ao estabelecimento de uma dada nota de corte do Pisa para então serem realizadas comparações com os resultados do Saeb. Marcamos o uso dos dados estatísticos para comparar matrizes de referências que se parecem somente quando estabelecem como áreas de conhecimento passíveis de avaliação - Português e Matemática. Os demais elementos são diversos e pouco aplicáveis.

Retomando o contexto de Produção do Texto (Ball, 1994), reafirma-se a tônica dos documentos produzidos dentro do Inep e seu impacto na produção de um processo que considera a parcialidade de dados mostrar a qualidade da Educação na avaliação em larga escala. Além disso, ao olhar os processos internos da escola guiados pelos resultados da avaliação em larga escala, somos persuadidos a acreditar que os investimentos financeiros, pedagógicos e humanos estejam direcionados a ampliar e a ultrapassar os patamares de qualidade atingidos na Educação contemporânea. São processos de indução e de performatividade da ação pedagógica, que não podem ser desconsiderados no uso da avaliação em larga escala.

4 Considerações Finais

É necessário esse exercício de aprofundamento teórico de todas as interferências de macro e das micropolíticas, aqui referidas às normatizações do Inep, no cenário da Educação atual que convive com a intensificação dos processos de avaliação em larga escala. Com isso, fazer o diagnóstico de quais são as intencionalidades, é examinar as relações que se estabelecem entre esses processos nos contextos de influências, de Produção do Texto, da prática e dos resultados. Afirmamos que os invisíveis da avaliação em larga escala são estudantes cuja participação é desconsiderada, invisibilizada nos dados e nos resultados da avaliação em larga escala, confirmada na análise do contexto de Produção do Texto da política apresentada nos argumentos deste artigo. Entendendo que os resultados das avaliações em larga escala incluem processos de invisibilidade de estudantes e de escolas, e que, assim, os dados produzidos não consideram todos, propõe-se que a avaliação em larga escala seja constituída diferentemente, assentada nos pressupostos da avaliação de 4ª geração (GUBA; LINCOLN, 2011) e em quatro pilares – cuidado, compartilhamento, atenção, subjetividade. O cuidado, envolve desvincular-se de modelos baseados somente em métricas e nos resultados da avaliação em larga escala. O compartilhamento exige ações, no sentido de continuarmos lutando pelo direito à condição de plena humanidade para todos, e deflagra a urgência de uma reflexão crítica que desmonte discursos e práticas que apoiam a permanência de uma categoria de “sub-humanos” na sociedade. A atenção mantém a necessidade de reflexão crítica frente a critérios e a privilégios estabelecidos nas normativas de macro e micropolíticas, as quais poderão validar a participação e os dados de alguns atores do processo, em detrimento de outros. A subjetividade reafirma a importância do olhar à realidade familiar, educacional, socioeconômica e cultural dos estudantes. Este conjunto de ideias permite maior conhecimento da realidade para proposição de novas políticas e práticas na Educação Básica (WELTER, 2019).

Sinalizamos as marcas da invisibilidade na avaliação em larga escala como ação do Estado, fundamentadas em Ball (2001), tendo em vista: (a) os movimentos entre os discursos teóricos e acadêmicos sobre a avaliação em larga escala e (b) as marcas nos textos legais. No contexto da Produção do Texto, observamos que a legislação atual conforma a opinião pública para a necessidade da avaliação em larga escala e o aprofundamento de suas performances⁸. As inconformidades verificadas na “Produção do Texto” legal acarretam a invisibilização de sujeitos, e de seus rendimentos escolares. Ou seja, está presente, na Produção do Texto da política, um processo de invisibilização de alguns estudantes da Educação Básica, o qual permanece desconhecido para a sociedade. A análise do Contexto de Produção do Texto que realizamos nesse artigo permitiu pensar nos limitadores e na construção de verdades que se disseminam nos sistemas de ensino e por toda a sociedade.

Concluímos que a racionalidade e a rigidez dos critérios estabelecidos em normativas do Inep, acerca das avaliações em larga escala, não apagam a existência de uma grande parte da população em idade escolar cujos dados e médias não são valorados pelo processo de avaliação em larga escala hoje vigente.

É importante referirmos que esse tipo de “maquiagem” nos dados pelo uso de critérios de exclusão de alguns estudantes manipula os resultados da avaliação em larga escala, podendo ser a confirmação daquilo que Ball (2013, p. 188) chama de novas “arquiteturas de regulação”.

Analisar o texto de macro e de micropolíticas educacionais relativas à avaliação em larga escala possibilita perceber que a regulação induz à redução da atuação dos atores sociais às áreas de conhecimento priorizadas pela avaliação. Além disso, o olhar para os processos internos da escola, guiado pelos resultados da avaliação, acaba por persuadir que os investimentos financeiros, pedagógicos e humanos estejam direcionados a ampliar e a ultrapassar os patamares atingidos na avaliação externa. São processos de indução e de performatividade da ação pedagógica que não podem ser desconsiderados quando estudamos a avaliação em larga escala.

O objetivo deste artigo foi analisar documentos legais que balizam o processo avaliativo para registrar as marcas do processo de invisibilização de sujeitos. Os dispositivos legais, que institucionalizam o processo de avaliação em larga escala, permitiram compreender que muitos estudantes não participam do processo de avaliação, pois são por ela invisibilizados, o que constitui uma limitação da avaliação em larga escala.

Valemo-nos mais uma vez da discussão de Santiago, Akkari e Marques (2013, p. 86) para reafirmar que os grupos minoritários não podem ser invisibilizados e descartados nas avaliações em larga escala dos sistemas escolares pois tais procedimentos “mascaram a passividade das políticas educativas na redução da desigualdade e [favorecem a] permanência de um sentimento de superioridade do grupo dominante”.

Referências

• BALL, S. J. Diretrizes políticas globais e relações políticas locais em Educação. Currículo sem Fronteiras, [s. l.], v. 1, n. 2, p. 99-116, jul./dez. 2001.
• BALL, S. J. Educação global S.A.: novas redes políticas e o imaginário neoliberal. Ponta Grossa: UEPG, 2014.
• BALL, S. J. Education reform: a critical and post-structural approach. Buckingham: Open University Press. 1994.
• BALL, S. J. Novos Estados, nova governança e nova política educacional. In: APPLE, M. W.; BALL, S. J.; GANDIN, L. A. (org.). Sociologia da educação: análise internacional. Porto Alegre: Penso, 2013. p. 177-189.
• BALL, S. J.; BOWE, R. Subject departments and the “implementation” of National Curriculum policy: an overview of the issues. Journal of Curriculum Studies, London, v. 24, n. 2, p. 97-115, Mar. 1992. https://doi.org10.1080/0022027920240201
  » https://doi.org10.1080/0022027920240201
• BASSANI, E. As políticas quantificadoras da Educação e as “novas” formas de exclusão: os “inclassificáveis”. Tese (Doutorado em Educação) – Programa de Pós-Graduação em Educação, Universidade Federal do Espírito Santo, Vitória, 2013.
• BONAMINO, A. C. Avaliação educacional no Brasil 25 anos depois. In: BAUER, A.; GATTI, B. A. (org.). Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores. Florianópolis: Insular, 2013. v. 2, p. 43-60.
• BONAMINO, A. C. Tempos de avaliação educacional: o SAEB, seus agentes, referências e tendências. Rio de Janeiro: Quartet, 2002.
• BONAMINO, A. C.; SOUSA, S. Z. Três gerações de avaliação da Educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012. https://doi.org/10.1590/S1517-97022012005000006
  » https://doi.org/10.1590/S1517-97022012005000006
• BRANDÃO, A. A. Conceitos e coisas: Robert Castel, a “desfiliação” e a pobreza urbana. Revista Emancipação, Ponta Grossa, v. 2, n. 1, p. 141-157, 2002.
• BRASIL. Câmara dos Deputados. Plano Nacional de Educação: 2014-2024: Lei nº. 13.005 Aprova o Plano Nacional de Educação (PNE) e dá outras providências: atualizada em 1/12/2014. Brasília, DF, 2014. (Legislação, n. 125). Disponível em: http://www.proec.ufpr.br/download/extensao/2016/creditacao/PNE%202014-2024.pdf Acesso em: 3 jun. 2020.
  » http://www.proec.ufpr.br/download/extensao/2016/creditacao/PNE%202014-2024.pdf
• BRASIL. Constituição (1988). Constituição da República Federativa do Brasil de 1988. Diário Oficial da União, Brasília, DF, 5 out. 1988.
• BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 23 dez. 1996.
• BRASIL. Lei nº 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação e dá outras providências. Diário Oficial da União, Brasília, DF, 10 jan. 2001a.
• BRASIL. Ministério da Educação. Conselho Nacional de Educação. Resolução CNE/CP nº 2, de 22 de dezembro de 2017. Institui e orienta a implantação da Base Nacional Comum Curricular, a ser respeitada obrigatoriamente ao longo das etapas e respectivas modalidades no âmbito da Educação Básica. Brasília, DF, 2017. Disponível em: http://basenacionalcomum.mec.gov.br/images/historico/RESOLUCAOCNE_CP222DEDEZEMBRODE2017.pdf Acesso em: 3 jun. 2020.
  » http://basenacionalcomum.mec.gov.br/images/historico/RESOLUCAOCNE_CP222DEDEZEMBRODE2017.pdf
• BRASIL. Ministério da Educação. Secretária de Educação Básica. Diretrizes curriculares nacionais gerais da Educação básica. Brasília, DF, 2013. Disponível em: http://portal.mec.gov.br/docman/julho-2013-pdf/13677-diretrizes-educacao-basica-2013-pdf/file Acesso em: 10 jun. 2015.
  » http://portal.mec.gov.br/docman/julho-2013-pdf/13677-diretrizes-educacao-basica-2013-pdf/file
• BUARQUE, C. Os instrangeiros: a aventura da opinião na fronteira dos séculos. Rio de Janeiro: Garamond, 2002.
• CASTEL, R. As metamorfoses da questão social: uma crônica do salário. Petrópolis: Vozes, 2015.
• CURY, C. R. J. A Educação nas constituições brasileiras. In: STEPHANOU, M.; BASTOS, M. H. C. (org.). Histórias e memórias da Educação no Brasil. Rio de Janeiro: Vozes, 2005. v. 3, p. 19-29.
• CURY, C. R. J. Conselhos de Educação: fundamentos e funções. Revista Brasileira de Política e Administração da Educação, Goiânia, v. 22, n. 1, p. 41-67, jan./jun. 2006. https://doi.org/10.21573/vol22n12006.18721
  » https://doi.org/10.21573/vol22n12006.18721
• FERNANDES, R. Nota técnica: Índice de Desenvolvimento da Educação Básica – IDEB. Brasília, DF: INEP, 2008. Disponível em: http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_concepcaoIDEB.pdf Acesso em: 31 mar. 2020.
  » http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_concepcaoIDEB.pdf
• FERREIRA, S. L.; BERKENBROCK-ROSITO, M. M.; ALMEIDA, J. G. Teaching and researching quality indicators: a partnership with middle school students. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 101, p. 1240-1261, out./dez. 2018. https://doi.org/10.1590/s0104-40362018002601570
  » https://doi.org/10.1590/s0104-40362018002601570
• GOBBI, B. C. et al. Uma boa gestão melhora o desempenho da escola, mas o que sabemos acerca do efeito da complexidade da gestão nessa relação? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 28, n. 106, p. 198-220, jan./mar. 2020. https://doi.org/10.1590/s0104-40362019002701786
  » https://doi.org/10.1590/s0104-40362019002701786
• GUBA, E. G.; LINCOLN, Y. S. Avaliação de quarta geração. Campinas: Ed. Unicamp, 2011.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Nota explicativa resultados SAEB/Prova Brasil. Brasília, DF, 2011a.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Nota informativa do IDEB 2013. Brasília, DF, 2013a.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Nota informativa do IDEB 2011. Brasília, DF, 2011c. Disponível em: http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/nota_informativa_ideb_2011.pdf Acesso em: 30 ago. 2020.
  » http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/nota_informativa_ideb_2011.pdf
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Nota metodológica sobre a compatibilização de desempenhos do PISA com a escala do SAEB. Brasília, DF, 2015b.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Nota técnica metodologia utilizada para o estabelecimento das metas intermediárias para a trajetória do IDEB no Brasil, Estados, Municípios e Escolas. Brasília, DF, 2015a. Era 2015b
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Portaria nº 149, de 16 de junho de 2011b. Diário Oficial da União, Brasília, DF, 17 jun. 2011.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Portaria nº 304, de 21 de junho de 2013b. Diário Oficial da União, Brasília, DF, 24 jun. 2013.
• KLEIN, R. Uma solução para a divergência de diferentes padrões no SAEB. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 27, n. 103, p. 229-249, abr./jun. 2019. https://doi.org/10.1590/s0104-40362019002702060
  » https://doi.org/10.1590/s0104-40362019002702060
• MAINARDES, J. Abordagem do ciclo de políticas: uma contribuição para a análise de políticas educacionais. Educação e Sociedade, Campinas, v. 27, n. 94, p. 47-69, jan./abr. 2006. https://doi.org/10.1590/S0101-73302006000100003
  » https://doi.org/10.1590/S0101-73302006000100003
• MAINARDES, J.; MARCONDES, M. I. Entrevista com Stephen J. Ball: um diálogo sobre justiça social, pesquisa e política educacional. Educação e Sociedade, Campinas, v. 30, n. 106, p. 303-318, jan./abr. 2009. https://doi.org/10.1590/S0101-73302009000100015
  » https://doi.org/10.1590/S0101-73302009000100015
• OLIVEIRA, A. C. P.; WALDHELM, A. P. S. Liderança do diretor, clima escolar e desempenho dos alunos: qual a relação? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 24, n. 93, p. 824-844, out./dez. 2016. https://doi.org/10.1590/S0104-40362016000400003
  » https://doi.org/10.1590/S0104-40362016000400003
• SANTIAGO, M. C.; AKKARI, A.; MARQUES, L. P. Educação intercultural: desafios e possibilidades. Petrópolis: Vozes, 2013.
• SANTOS, A. A.; HORTA NETO, J. L.; JUNQUEIRA, R. D. Sistema Nacional de Avaliação de Educação Básica (SINAEB): proposta para atender ao disposto no Plano Nacional de Educação. Brasília, DF: INEP, 2017. Disponível em: https://anped.org.br/sites/default/files/images/sistema_nacional_de_avaliacao_da_educacao_basica_sinaeb_-_proposta_para_atender_ao_disposto_no_plano_nacional_de_educacao_1.pdf Acesso em: 16 mar. 2020.
  » https://anped.org.br/sites/default/files/images/sistema_nacional_de_avaliacao_da_educacao_basica_sinaeb_-_proposta_para_atender_ao_disposto_no_plano_nacional_de_educacao_1.pdf
• SPOSATI, A. Cidade em pedaços. São Paulo: Brasiliense, 2001.
• WELTER, C. B. Os invisíveis da Prova Brasil. Curitiba: Appris, 2019.
• WERLE, F. O. C. (Org.) Avaliação em larga escala: foco na escola. São Leopoldo: OIKOS; Brasília, DF: Liber Livro, 2010.
• WERLE, F. O. C. Avaliação em larga escala: questões polêmicas. Brasília, DF: Liber Livro, 2012.

• 2
  Uma possibilidade que se abre, aos gestores, é recorrer à avaliação de quarta geração (GUBA; LINCOLN, 2011) com um novo olhar para a autoavaliação, cruzada com a avaliação em larga escala.
• 3
  Em entrevista para Mainardes e Marcondes (2009), Stephen J. Ball afirma que a abordagem do ciclo de políticas foi formulada na década de 1990 (1992;1994) e deve ser compreendido como um método, ou seja, uma maneira de pesquisar e teorizar as políticas. Portanto, para fins desse trabalho, optamos por utilizar como referência para a abordagem do ciclo de políticas educacionais, o texto produzido por Ball em 1994, quando apresenta os cinco contextos: (1) influências, (2) produção de textos, (3) práticas, (4) resultados ou efeitos e (5) estratégia política.
• 4
  Cury também auxilia na discussão dos contextos das políticas educacionais, em especial ao entendimento do contexto de produção do texto em artigo no qual se refere aos conselhos de Educação do Brasil. Diz Cury (2006, p. 51) “nenhuma lei é suficientemente capaz de, antecipadamente, regular todos os aspectos situacionais, contextuais específicos a serem adotados [Assim,] os Pareceres e Resoluções, por cumprirem um regramento que não poderia estar pontuado para todos os casos e circunstâncias, interpretam a lei diante de casos concretos e arbitram um encaminhamento possível diante de vários possíveis”.
• 5
  Fernandes (2008) cria o Ideb que é o produto da taxa de aprovação no segmento e de uma padronização das proficiências do Saeb, em Leitura e em Matemática, no final do segmento. Klein (2019) afirma a importância do Ideb na Educação Básica no Brasil por reunir “em um único índice, para cada segmento da Educação Básica, Anos Iniciais, Anos Finais e Ensino Médio, uma medida de movimentação escolar e da qualidade da Educação. O Ideb é o produto da taxa de aprovação no segmento e de uma padronização das proficiências do Saeb, em Leitura e em Matemática, no final do segmento em uma escala de 0 a 10”.
• 6
  Houve a tentativa de criação do Sistema Nacional de Avaliação da Educação Básica (Sinaeb), e os silenciamentos ou invisibilidades dessa proposta podem ampliar os argumentos sobre a parcialidade da avaliação em larga escala atual (SANTOS; HORTA NETO; JUNQUEIRA, 2017).
• 7
  Utiliza-se o termo “publicizar”, pois a intenção ultrapassa a garantia de transparência. Ball (2001, p. 103) afirma que é possível percebermos que as normativas estão aliadas a um “conjunto de tecnologias de políticas que ‘produzem’ ou promovem novos valores, novas relações e novas subjetividades nas arenas da prática”.
• 8
  O significado de performance diz respeito exatamente à dissociação entre os processos e os seus fins, passando a importar mais o resultado alcançado nos testes (que só contemplam Português e Matemática) do que se os sujeitos recebem Educação amplamente entendida, nos termos da Constituição Federal.

• 1
  Pesquisa financiada pelo Observatório de Educação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior.

Datas de Publicação

• Publicação nesta coleção
  07 Dez 2020
• Data do Fascículo
  Apr-Jun 2021

Histórico

• Recebido
  04 Out 2019
• Aceito
  26 Set 2020