A “realidade” de cada escola e a recepção de políticas educacionais

The “reality” of each school and the reception of education policie

La realidad de la escuela y la recepción de las políticas educacionales

Resumo

A investigação tem como objetivo compreender a recepção de uma política educacional nacional em contexto local, levando em consideração a perspectiva de gestores de uma Secretaria Municipal de Educação, gestores de escolas e de representantes sindicais. A proposta é analisar as leituras, as interpretações e as reinterpretações de políticas nacionais nos municípios. Nosso foco é a recepção da Prova Brasil, e dos dados por ela produzidos. Descreveremos um cenário em que a Prova Brasil não é compreendida integralmente em seus aspectos técnicos, o que gera um duplo movimento: por um lado, gestores e sindicalistas entendem que é necessário realizar avaliações em larga escala, por outro criticam a padronização das avaliações. Suas críticas são sustentadas por referências às “realidades escolares”. A valorização das “realidades escolares” tem um duplo sentido: enfatiza as especificidades das escolas e produz interpretações alternativas e divergentes em relação à política pública.

Política educacional; Avaliação em larga escala; Prova Brasil

Abstract

This investigation aims at comprehending the reception of national educational policies in a municipal context. The bases of analysis are the perspectives of municipal managers, schools principals and educational unions. We analyze their interpretations and (re)interpretations of national educational policies. Our focus is the Prova Brasil (Brazilian National Examination) and the data produced on its basis. We describe a context where the Prova Brasil is not fully understood in its technical aspects. This circumstance generates ambivalent positions: on one hand principals and trade unionists acknowledge the necessity of external evaluation, but on the other hand they criticize its standardization. The justification of these criticisms is “school reality”. The meaning of “school reality” is twofold: it points to the specificities of each school inside the educational system and generates interpretations that are alternatives and divergent from the public policy.

Educational policies; Large scale evaluation; Brazilian National Examination

Resumen

La investigación tiene como objetivo comprender la recepción de una política nacional de educación en contexto local, teniendo en cuenta la perspectiva de los gestores de una Secretaría Municipal de Educación, los directores de escuelas y los representantes del sindicato docente. El objetivo es analizar las interpretaciones y reinterpretaciones de las políticas nacionales en los municipios. El foco es la recepción de la Prova Brasil y los datos producidos por esta evaluación. Se describe un contexto de desconocimiento de los aspectos técnicos de la Prova Brasil, creando un doble movimiento: por un lado, los directivos y sindicalistas entienden que es necesario realizar la evaluación, pero por otro critican su estandarización. Sus críticas son apoyadas por referencias a “realidades escolares” y la valoración de las “realidades escolares” tiene un doble significado: enfatiza aspectos específicos de las escuelas y produce interpretaciones alternativas y divergentes de la política pública.

Política educativa; Evaluación en gran escala; Prova Brasil

1 Introdução

A consolidação dos sistemas de avaliação em larga escala no Brasil provocou mudanças significativas no campo educacional (BONAMINO, 2002; BONAMINO; SOUSA, 2012; BAUER; ALAVARSE; OLIVEIRA, 2015; COELHO, 2008; CASTRO, 2009; BAUER; PIMENTA; HORTA NETO; SOUZA, 2015). É possível dizer que a avaliação educacional passou a ser identificada a partir de duas vertentes: uma interna, avaliação da aprendizagem realizada pelo professor como parte do seu trabalho docente; e outra externa, que é a avaliação do desempenho escolar, de natureza sistêmica, em larga escala e realizada por agente externo à escola.

Em função dos embates políticos envolvidos nesta questão educacional, é importante mapear os argumentos apresentados nesta arena de debates porque revelam as dinâmicas do campo educacional brasileiro. Rosistolato e Viana (2014) afirmam que os discursos são estruturados a partir das posições sociais dos indivíduos e de suas percepções sobre as temáticas que estão em debate. No caso específico desse trabalho, cabe analisar as visões dos agentes escolares diretamente envolvidos no processo de recepção das políticas de avaliação em larga escala. Autores como Bonaminoe Sousa (2012), Coelho (2008) e Castro (2009) demonstram que a ausência de consensos nesta arena não impediu a consolidação dos sistemas nacionais de avaliação, como também a criação de novos sistemas de avaliação, municipais e estaduais (CASTRO, 2009; BROOKE; CUNHA, 2011). O objetivo desses estados e municípios seria, a partir da instituição de sistemas locais de avaliação, gerar informações e índices próprios que possam dialogar com aqueles produzidos em âmbito nacional e, assim, orientar políticas educacionais (SOUSA; OLIVEIRA, 2010).

Nesse cenário, é possível afirmar que a legislação educacional posterior à década de 1990, ao mesmo tempo em que contribuiu para a consolidação do federalismo no campo da política educacional, induziu a criação de sistemas de avaliação educacional em estados e municípios. Esses sistemas têm dois objetivos fundamentais. O primeiro deles é mapear dados que permitam que as unidades federadas acompanhem o desenvolvimento de seus sistemas educacionais. Ao mesmo tempo, elas terão a possibilidade de dialogar com a federação demonstrando as potencialidades e as fragilidades dos sistemas estaduais e municipais de educação. Esse diálogo pode ocorrer com base nos dados produzidos pelas avaliações do próprio município e/ou pelos dados oriundos da participação dos municípios nas avaliações nacionais.

A pesquisa que deu origem a esse artigo foi realizada no âmbito do projeto Observatório Educação e Cidade, financiado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)¹. Um dos objetivos do Observatório é analisar a recepção das políticas relacionadas às avaliações em larga escala em contextos municipais. Aqui, apresentaremos análises iniciais dos dados mapeados em um dos municípios analisados, localizado na baixada fluminense do Estado do Rio de Janeiro. A escolha se deve ao fato de ele ter uma das maiores redes municipais de educação da baixada fluminense e desenvolver políticas municipais em diálogo direto com as políticas nacionais. Iniciaremos com a apresentação da perspectiva teórica. Na sequência, descreveremos a política analisada para passarmos à descrição dos processos de recepção das avaliações em larga escala no cotidiano da rede municipal. É importante indicar que, nesse município, incluímos o ponto de vista do sindicato local por ser a instituição mais refratária à política educacional analisada. O sindicato chegou a organizar boicotes e orientar os militantes para que não permitissem que os estudantes realizassem as provas. Nosso foco está direcionado para a recepção de uma avaliação nacional – a Prova Brasil – no município analisado.

Nosso principal argumento é que a recepção e o diálogo com políticas educacionais no município analisado não dependem diretamente do entendimento dos aspectos técnicos relacionados à política educacional. Encontramos visões e ações relacionadas às avaliações em larga escala que contradiziam radicalmente os aspectos mais pontuais do desenho da política. É possível dizer, inclusive, que parte do dissenso relacionado à pertinência das avaliações em larga escala se deve ao desconhecimento de alguns de seus aspectos técnicos mais elementares.

2 O ponto de vista teórico

Os sistemas educacionais modernos foram construídos com base na expectativa de distribuição igualitária e equânime de conhecimento escolar para a população. No primeiro momento, acreditava-se que o principal desafio seria garantir o acesso universal à escola porque partia-se do pressuposto de que a entrada na escola faria com que crianças e adolescentes tivessem sua educação escolar garantida. Algumas nações europeias – França e Inglaterra são os principais exemplos – e os Estados Unidos da América, por conta dessa crença inicial, investiram os recursos necessários para universalizar a oferta de vagas. Por isso, foram pioneiros por terem conseguido construir sistemas educacionais capazes de receber a totalidade de estudantes em idade escolar ainda na primeira metade do século passado.

A partir da segunda metade do século XX, a temática da universalização perdeu sentido nos países que universalizaram o acesso. Houve, nesse momento, um deslocamento das preocupações políticas relacionadas aos sistemas educacionais: era necessário saber se eles teriam cumprido a promessa de combater a desigualdade e a estratificação social, igualando os cidadãos com relação ao conhecimento escolar adquirido.

Nos Estados Unidos da América, em 1964, o acesso estava garantido, mas existiam algumas diferenças quando as escolas eram comparadas com base em sua infraestrutura. Havia, inclusive, um debate sobre as diferenças entre as escolas de maioria branca ou negra. Por conta dessa discussão, a seção 402 da Lei de Direitos Civis (1964), propôs que, no prazo máximo de dois anos, fosse realizado um survey representativo da população americana em idade escolar, que indicasse o nível de equidade na distribuição de conhecimento escolar considerando as variáveis raça/cor, religião e origem nacional. Essa proposta era orientada por uma ideia e uma expectativa política. Acreditava-se que as diferenças de desempenho eram devidas às diferenças infraestruturais entre as escolas e que, por isso, seria necessário investir mais nas escolas de menor desempenho.

O sociólogo James Coleman foi o responsável pelo desenho e pela execução dessa pesquisa. Ele reuniu uma equipe de pesquisadores e conseguiu apresentar um retrato da população escolar americana. Ao final da pesquisa, ele pôde afirmar que, embora o acesso à escola estivesse garantido, ainda havia desigualdades significativas na distribuição de conhecimento escolar nos Estados Unidos. Esse resultado era relativamente previsível e não causou nenhum espanto. No entanto, outra descoberta apresentada pelo Coleman’s Equality of Educational Opportunity (1966) trouxe um problema que não tinha sido previsto.

A principal descoberta de Coleman foi objeto de conversa entre Seymour Martin Lipset e o Senador Daniel Patrick Moynihan, que foi quem convidou James Coleman para a coordenação do survey. Lipset indagou: “Guess what Coleman’s found? Schools make no difference; families make the difference” (GAMORAN; LONG, 2006, p. 3). Tal afirmação caiu como um balde de gelo nas expectativas políticas e sociais relacionadas à escola. Se as escolas não fazem diferença, o que fazer com as escolas? O relatório Coleman frustrou algumas das principais expectativas relacionadas às escolas porque afirmou que a crença de que havia grandes diferenças infraestruturais entre as escolas estava equivocada. As diferenças estavam entre as famílias e, a princípio, não seria possível equalizar as famílias; logo, não seria possível produzir um sistema educacional equânime.

O desânimo provocado pelos achados de James Coleman não ficou restrito aos Estados Unidos. O equivalente britânico ao Coleman Report é Plowden Report (PLOWDEN, 1967), que chegou a conclusões equivalentes considerando o Reino Unido como objeto de análise. Além dele, as pesquisas realizadas pelo Institut National D`Études Dèmographics (INED) também apontavam que a origem familiar tendia a delimitar as trajetórias educacionais das crianças. Crianças de origem popular tenderiam a ter menor desempenho escolar em comparação com aquelas nascidas nas classes médias e/ou mais abastadas.

Na França, especificamente, esse debate torna-se cada vez mais legitimado no campo acadêmico a partir do momento em que Pierre Bourdieu (2001; 2003; 2004) inicia a publicação de seus estudos sobre o sistema educacional francês. Em síntese², a tese bourdiesiana indica que há uma correlação direta entre a reprodução social e a reprodução cultural. A escola, ao contrário das perspectivas otimistas, tende a supervalorizar a cultura das classes portadoras de “cultura legítima” e, consequentemente, estigmatizar os indivíduos que não dominam esses códigos culturais. Dessa forma, as crianças oriundas das classes populares seriam progressivamente afastadas da escola. Ao final, haveria a manutenção da reprodução social com a contribuição direta da escola, que faria seu papel de reproduzir a “cultura legítima”.

As teses reprodutivistas – aliadas ao debate produzido pelos relatórios Coleman e Plowden – foram disseminadas por toda Europa, pelos Estados Unidos e também pelo Brasil³. Houve, a partir da segunda metade do século XX, um significativo desânimo com relação aos sistemas educacionais e o que eles poderiam oferecer para o combate às desigualdades e à estratificação social. Simultaneamente, o campo de debate sobre desigualdade de oportunidades educacionais reconfigurou-se progressivamente, considerando as teses reprodutivistas e inserindo questões relacionadas aos desafios apontados pelas diferenças de desempenho entre as escolas.

É possível dizer que a principal contribuição dos relatórios Coleman e Plowden para o debate educacional foi a ênfase na produção de dados empíricos sobre os sistemas educacionais e seus resultados. É claro que ambos não prescindiram de substantivas reflexões teóricas e filosóficas, mas seu principal alicerce é a empiria e o que ela pode oferecer, inclusive, para problematizar a teoria e/ou pressupostos filosóficos. Ambos os relatórios podem ser considerados marcos divisores na pesquisa educacional por conta das mudanças trazidas por eles.

Resumidamente, após o desânimo proporcionado pelos relatórios, houve uma bifurcação no debate acadêmico sobre educação. Por um lado, as teses reprodutivistas e suas derivações ganharam força e, por outro, especificamente a partir dos anos 1980, consolidam-se as pesquisas chamadas genericamente de pesquisas sobre escolas eficazes e/ou eficácia escolar. O principal argumento do debate sobre eficácia escolar é que, ao analisar um sistema educacional, é possível encontrar escolas que atendem público com nível socioeconômico equivalente, mas têm resultados diferentes. É possível que, na mesma rede de ensino, existam escolas com diferentes desempenhos. Logo, cabe analisar os fatores que contribuem para que as escolas tenham maior ou menor desempenho.

Sammons (2008) lista um conjunto de 11 fatores relacionados à eficácia escolar: Liderança Profissional; Objetivos e visões compartilhados; Um ambiente de aprendizagem; Concentração no ensino e na aprendizagem; Ensino e objetivos claros; Altas expectativas; Incentivo positivo; Monitoramento do progresso; Direitos e responsabilidades do aluno; Parceria casa-escola; Uma organização orientada à aprendizagem – que devem ser considerados nesse tipo de análise. A autora afirma que o principal objetivo desse tipo de pesquisa é identificar o nível de sucesso de cada item e, simultaneamente, as relações entre todos os itens. Por exemplo, as expectativas positivas, com relação aos alunos, precisam estar articuladas aos objetivos compartilhados por todos os agentes envolvidos nas escolas – professores, gestores, funcionários e famílias⁴.

Há algumas disputas acadêmicas quando comparamos as teses reprodutivistas e as da eficácia escolar. As teorias da reprodução são vistas como mais inspiradas em pressupostos marxistas – ou, mais genericamente, como teses de esquerda. O debate sobre eficácia escolar, por outro lado, teria uma base gerencialista e seria, por isso, mais associado às teses liberais, logo, de direita. Ambas, no entanto, tocam em um ponto que está diretamente relacionado à abordagem teórica e metodológica proposta por esse trabalho, qual seja: há uma correlação direta entre as expectativas dos profissionais da educação sobre os alunos por eles atendidos e o desempenho efetivo dos estudantes em sala de aula.

Considerando esse axioma, decidimos propor uma investigação sobre a visão dos profissionais da escola, com relação às políticas educacionais, especificamente às avaliações em larga escala. Se as expectativas dos profissionais da escola influenciam diretamente o desempenho dos alunos, é possível trabalhar com a hipótese de que as visões dos mesmos profissionais sobre uma política pública tendem a influenciar sua implementação e seu desempenho. Considerando essa hipótese, fomos ao campo para mapear as visões de gestores sobre uma política educacional. É importante salientar que além dos gestores decidimos incluir a perspectiva de outra instituição diretamente envolvida com o debate sobre política educacional: o sindicato dos professores. Nas próximas seções apresentaremos a política analisada e a visão de gestores e sindicalistas, considerando os pontos de encontro e distanciamento presentes em suas reflexões.

3 A política analisada

Existe um conjunto de avaliações que compõem o Sistema Nacional de Avaliação da Educação Básica (SAEB) e podem ser vistas como uma das principais novidades da política educacional brasileira. A partir delas é possível acompanhar o desenvolvimento de escolas e redes de ensino, e comparar o desempenho entre estados e municípios⁵.

O principal foco de nossa pesquisa está nas possibilidades trazidas pela consolidação da Prova Brasil e nos possíveis usos dos indicadores por ela produzidos, incluindo o IDEB⁶. Essa política educacional trouxe, pela primeira vez, a possibilidade de professores e gestores observarem o desempenho de seus alunos em uma avaliação externa à escola. Dessa forma, ao mesmo tempo em que cada escola obtém um retrato da proficiência de seu corpo discente, também é convocada a explicar o próprio desempenho para as famílias de seus alunos, para o governo e para a sociedade civil. Ocorre que todas essas possibilidades dependem diretamente das leituras e das interpretações realizadas pela comunidade escolar. Por isso, cabe indagar sobre a recepção das avaliações e dos indicadores nas secretarias municipais de educação e nas escolas.

4 Avaliação em larga escala: visões dos gestores

Nossa investigação buscou o olhar de dois tipos de gestores: os gestores que atuam em unidades escolares, que chamaremos genericamente de “gestores de escolas” e os gestores que compõem o quadro burocrático da Secretaria Municipal de Educação⁷, que chamaremos de “gestores centrais”. Inicialmente acreditávamos que haveria diferenças significativas quando comparássemos a visão dos dois grupos de profissionais, mas não foi exatamente o que aconteceu.

Os “gestores de escola” apresentaram suas percepções sobre as avaliações em larga escala em dois grupos focais. O primeiro deles com nove gestores de escolas de alto desempenho e o outro com 6 gestores de escolas de baixo desempenho. Os “gestores centrais” foram entrevistados individualmente. Realizamos sete entrevistas em profundidade com profissionais que estão e/ou estiveram à frente da formulação e execução de políticas educacionais no município. Todos descreveram detalhes de sua atuação à frente das políticas educacionais, além de apresentarem suas visões sobre as avaliações em larga escala.

Durante os grupos focais e as entrevistas em profundidade, a primeira questão que procurávamos desenvolver estava relacionada à visão dos profissionais sobre as avaliações em larga escala. Logo de início, percebemos que os entrevistados não apresentavam opiniões radicais relacionadas a esse tipo de política. Não havia críticos radicais, nem tampouco defensores aguerridos das avaliações. Algumas falas sintetizam essas visões:

Eu considero que é positiva no sentido que já prepara este aluno para as outras avaliações que ele vai ter na vida. Porque todos têm perspectivas do vestibular, todos têm expectativas de concurso público... (Secretário 1).

A vida é feita de avaliações. Quando você sai da escola, você é avaliado em qualquer concurso que você tente fazer. Para ingresso em uma empresa, no mercado de trabalho, sua qualificação profissional, então a avaliação é uma constante em sua vida, porque a avaliação é uma porta de acesso para qualquer momento da sua vida (Secretário 2).

Eu acho válido. É uma maneira de você estar vendo o desenvolvimento do seu trabalho (Gestora escolar alto desempenho 1).

Ao mesmo tempo em que indicaram aspectos positivos, os entrevistados também citaram pontos que consideram negativos. São questões relativas ao uso dos resultados, ao déficit de aporte técnico dos profissionais da educação, críticas ao formato padronizado das questões da Prova Brasil, à comparação de resultados e a orientação do trabalho com vistas unicamente ao crescimento de resultados.

A divulgação pública e os usos dos resultados das avaliações em larga escala foram alvo de críticas. Acredita-se que a imprensa, ao apresentar rankings com os resultados das escolas e das redes, contribui para a desvalorização do indicador pelos profissionais da educação e para um reducionismo do trabalho escolar.

A avaliação tem sempre um lado positivo, como é que ela é usada é que é o problema. Se ela for usada para constatar e para marcar, até negativamente, aí eu acho péssimo, usar isso politicamente também eu acho péssimo, tem muita gente com interesse (Diretora de departamento).

Aquele tratamento, por exemplo, que a imprensa, que a mídia hoje dá para isso, [resultado das escolas e alunos] é que ficou saturada. Eu acho que o IDEB tinha que ser algo que cada escola de alguma maneira pudesse controlar, pudesse olhar para ele e dizer: estou me vendo aqui, né... (Subsecretária).

E aí, a gente fica nessa questão do ranking, fica essa disputa, e nessa disputa o que acontece é que a aprendizagem fica na verdade, o processo em si, fica muito deturpado (Gestora escolar alto desempenho 2).

Os “gestores centrais” apontam a falta de um trabalho de esclarecimento, por parte do governo federal, aos professores e gestores das escolas, dos conceitos técnicos relacionados à utilização dos resultados em suas práticas pedagógicas. A concepção de escola como expectadora do processo de avaliação parece orientar essas reflexões. Para além delas, os gestores também entendem que o ideal seria que os sujeitos envolvidos no processo educacional percebessem a avaliação como instrumento a ser utilizado pela escola no sentido de melhoria da qualidade.

Mas o problema é que não se trabalha, no nível de Brasil, com o professor. As formações continuadas, na maioria das vezes, elas não abordam esse tipo de apropriação de dados... Então os dados ficam lá com o gestor do INEP. E acredito que o gestor, até mesmo da própria Secretaria, acredita que nenhum professor tenha tempo de sentar, buscar esses dados e interpretá-los. Por que não é uma interpretação tão simples assim, demanda tempo, demanda leitura, demanda entender o processo (Coordenador de projetos).

Os gestores centrais criticam o Governo federal, depois culpam as escolas e, ao final, assumem que não conseguem interpretar os dados e, por conseguinte, orientar as escolas. Nessa perspectiva podemos considerar que há um desconhecimento técnico por parte dos profissionais da gestão central, fenômeno já apontado no debate sobre a recepção das avaliações em larga escala (ROSISTOLATO; PRADO; FERNÁNDEZ, 2015; ROSISTOLATO; VIANA, 2014;). O mais curioso é que em nenhum momento os “gestores centrais” discutem suas próprias responsabilidades com relação à divulgação/formação dos “gestores das escolas” e dos professores. De certa forma, é possível dizer que a gestão central também se apresenta como expectadora passiva das avaliações.

Outro ponto apontado é uma consideração sobre a padronização. Os gestores centrais acreditam que a padronização das questões da Prova Brasil prejudica algumas escolas, enquanto supervaloriza outras. Da mesma forma, enfatizam que as avaliações priorizam alguns conteúdos em detrimento de outros.

Agora, por exemplo, os descritores eles vão me dizer onde é que eu deixei e onde é que eu não deixei de ensinar, mas isso é a partir de uma seleção de quem monta a prova, que diz o que a criança deve saber. Então, também tem uma série de outros conhecimentos que a prova não avalia. Nem a provinha, nem a Prova Brasil. Então, ela desconsidera uma série de outros conhecimentos. Então é uma questão muito subjetiva. [...] Se eu levar em consideração que tudo funcionou perfeitamente, ainda assim eu tenho um dado que eu já sei, que não me diz pra onde caminhar, e mesmo que me diga, ele desconsidera que quando a gente faz uma avaliação pensando que é para todos, e aí eu tenho que levar em consideração que é um país muito grande, mas mesmo assim quando eu faço uma avaliação e eu faço uma seleção do que a criança deveria saber, eu desconsidero o que ela sabe (Subsecretária).

Percebe-se que os gestores centrais criticam um dos aspectos que fazem com que a avaliação seja externa e em larga escala: a padronização das provas e conteúdos. Se fosse local, feita pelos professores da escola, não seria uma avaliação externa em larga escala. Este é outro apontamento que corrobora a percepção de uma visão truncada por parte dos gestores centrais sobre os aspectos relativos às avaliações em larga escala.

Ainda é importante indicar que houve entrevistados que disseram desconsiderar um trabalho com foco na melhoria dos índices nacionais. Eles não acreditam que os índices sejam boas bússolas para as escolas. Um dos entrevistados condenou a comparação de resultados entre os sistemas educacionais de estados, municípios e mesmo entre unidades escolares.

Eu discordo é dessa comparabilidade de IDEB. Discordo plenamente, não tem como se comparar, por exemplo, a rede do Município, o IDEB de Município com o IDEB de Niterói. Vou te explicar por que: como o IDEB é o produto de dois números: a proficiência da Prova Brasil e o índice da aprovação, entre aspas, a gente sabe que essa aprovação está amarrada em muitas outras coisas. [...]. Não tem parâmetro e não há comparabilidade. Deixo claro que o INEP não preza esse tipo de comparabilidade. Esse tipo de comparabilidade [entre escolas e redes] é feito por um tipo de comunicação que o governo faz. Isso então, essa é a minha crítica em cima dessa comparabilidade [...] (Coordenador de projetos).

É interessante observar que, mesmo entre os profissionais responsáveis pelo sistema municipal de ensino, não há um pensamento único quanto à utilização ou não das avaliações em larga escala. Os gestores, no primeiro momento, apresentam opiniões favoráveis às avaliações porque entendem que o sistema precisa ter clareza sobre seu desempenho. Logo, na sequência, criticam um dos aspectos mais fundamentais das avaliações em larga escala: a padronização das provas. Eles parecem não compreender que as avaliações são externas porque são padronizadas. Depois, criticam as possíveis comparações entre as redes. Nesse momento, só consideram o IDEB como índice possível para comparação e não indicam outras possibilidades.

Os gestores de ambos os grupos, tanto aqueles que eram favoráveis quanto aqueles que eram contrários, tendiam a dizer que consideravam a avaliação um elemento importante, mas que faltava algo a essa política. Os argumentos principais podem ser sintetizados em três ideias. São elas: (i) as avaliações não refletem a realidade da escola, (ii) como os professores não participam da formulação, as avaliações não contemplam a pluralidade das salas de aula e são uma afronta à autonomia docente e (iii) a realidade extraescolar dos estudantes não permite um desempenho melhor do que o apresentado nas avaliações.

[...] não tem como se comparar uma escola que é um CIEP que tem 30, 40 turmas com uma escola que tem duas turmas que atende só o ciclo ou que atende só o 4º, 5º ano. Não tem comparabilidade, é outra realidade e não tem como comparar. [...] (Coordenador de projetos).

Essa avaliação Prova Brasil, na verdade é uma avaliação que é a mesma para todos os municípios e para todas as regiões. E você sabe que dentro do país há muita diversidade e existem municípios que vão ter uma nota muito alta, um IDEB bom, devido a toda estrutura que ele tem e existem municípios que não vão ter (Gestora escolar com alto desempenho 2).

Ao iniciarmos as análises percebemos que havia uma mistura entre avaliação interna e avaliação em larga escala, principalmente nas falas dos gestores das escolas. O desenho técnico das avaliações em larga escala não permite que elas sejam elaboradas pelos professores das escolas. Isso ocorre porque as provas são padronizadas e devem ser aplicadas a todos os alunos em um determinado ano de escolarização – no caso – quinto e nono anos. Quando os gestores reclamavam da ausência de participação por parte dos professores, deixavam de considerar esse item. Por isso, vimos que havia um desencontro entre a proposta presente na política nacional e a interpretação realizada pelos gestores das escolas. As avaliações em larga escala não substituem as avaliações internas, realizadas pelos professores, e os objetivos são radicalmente diferentes. As avaliações internas avaliam os alunos de uma turma, enquanto as avaliações em larga escala avaliam escolas e redes de ensino. Na visão dos pesquisados, ambas eram vistas da mesma forma, como um único tipo de avaliação.

Essa interpretação da política educacional fazia com que os gestores criticassem as avaliações em larga escala argumentando que elas deveriam levar em consideração a realidade das escolas. Nessas falas percebemos que os gestores eram orientados por princípios não republicamos quando pensavam nas unidades escolares e em seus alunos. Quando defendiam a necessidade de valorizar a realidade das escolas, indicando que o público atendido não poderia ser avaliado com os mesmos critérios utilizados em outros municípios ou estados, assumiam, de certa forma, a mesma lógica proposta pelas teses reprodutivistas e não consideravam a escola como uma instituição capaz de equacionar e/ou equilibrar as desigualdades de origem.

Agora, por exemplo, os descritores eles vão me dizer onde é que eu deixei e onde é que eu não deixei de ensinar, mas isso é a partir de uma seleção de quem monta a prova, que diz o que a criança deve saber. [...] Então é uma questão muito subjetiva (Subsecretária).

Eu acho que a avaliação tem que existir, mas não da forma que é feita. Porque é muito fácil você chegar numa escola pra fazer uma avaliação pra você medir, mensurar o nível de aprendizagem das crianças [...] (Gestora escolar com alto desempenho 3).

É possível perceber que a valorização da “realidade das escolas”, embora tenha uma conotação positiva quando pensamos no reconhecimento das diferenças e da estratificação inerente ao sistema educacional, acaba por sentenciar os estudantes a uma educação reduzida porque “adequada” à sua realidade. Desnecessário dizer que os estudantes que supostamente necessitam de uma educação “mais adequada à sua realidade” são os mais pobres. A principal justificativa é de que os alunos são vítimas de “sua realidade” e de seu background familiar.

Eu estou dizendo que para mim o resultado do IDEB não expressa o que verdadeiramente acontece na escola. Além da Prova Brasil há uma série de situações sociais que ninguém colocou. Se o indicador dado também utilizar esse tipo de critério... tem criança que fica 4 anos no 3º ano. [...] Tem muita criança que a vida dela é superdesarticulada com o que acontece dentro da escola. O conhecimento desse aluno não pode ser medido assim por conta da questão social. E a escola acaba punida por conta da questão social. O pai, a mãe, a família... para avaliar isso junto como um trabalho pedagógico deveria ter outros critérios (Gestora escolar com alto desempenho 4).

Esse ponto de vista é compartilhado pelo grupo de “gestores centrais”. Eles indicam que a rede é plural, que há escolas de todos os tipos, em todos os lugares, e que as avaliações em larga escala seriam inviáveis por conta dessa diversidade. Em nenhum momento fizeram menção à necessidade de um sistema municipal de educação equilibrar essas diferenças por meio de políticas específicas para as escolas. De certa forma, analisavam as diferenças de desempenho entre as escolas utilizando as diferenças de nível socioeconômico como única variável explicativa.

Eu lembro de uma vez que eu vi uma provinha que tinha uma questão que era uma figura de uma história em quadrinhos. [...]. Aqui a gente não tem nem banca de jornais nos distritos, as pessoas não leem jornal. Você acha que a criança tem acesso, que ele sabe fazer uma leitura daquele material e não faz. Ela não faz uma leitura nem do material próprio, porque você não dá uma revistinha na mão da criança você cria uma questão sobre o material que ela nunca viu na vida! Sabe, isso é sério (Subsecretária).

A lógica apresentada pelos gestores pode ser sintetizada da seguinte forma: considerando que os estudantes são filhos de famílias pobres, não terão como incorporar os conhecimentos escolares como o fariam caso tivessem nascido em famílias com melhor nível socioeconômico. Com base nesse pressuposto, os gestores partem do princípio de que a escola deve ensinar aquilo que for adequado “à realidade dos alunos”, o que já configura uma redução do conhecimento oferecido pela escola. Se o conhecimento oferecido é reduzido, não seria justo que os alunos fossem avaliados com base naquilo que deveria ter sido oferecido e não o foi.

Trata-se de uma lógica perversa porque faz com que os alunos mais pobres aprendam menos e sejam culpabilizados por terem aprendido menos. Afinal, é o nível socioeconômico de suas famílias e, consequentemente, seu background cultural que causam essas diferenças de aprendizado. Como argumentamos, a base dessas explicações também se encontra nas teorias da reprodução. A questão é que, no contexto analisado, temos a lógica da reprodução em ação por duas vias. Ela faz com que os gestores percebam os estudantes como menos capazes. Por isso, entendem que precisam organizar a escola para esses estudantes. Ao mesmo tempo, essa redução é justificada pela origem social dos alunos. De certa forma, os alunos e suas famílias são apresentados como vítimas e algozes de si mesmos.

Esse tipo de representação sobre a escola, os alunos e as famílias também aparece no discurso Sindical. Da mesma forma que os gestores, os sindicalistas entendem que pode haver avaliação, mas que ela não deve ser padronizada por conta das realidades locais.

5 O (contra)ponto dos sindicatos

Realizamos sete entrevistas em profundidade com integrantes da direção do sindicato local. Todos foram convidados a apresentar suas visões sobre as avaliações em larga escala de aprendizagem. Um dos entrevistados perguntou se queríamos saber a opinião dele, a do Sindicato ou as duas. Entendemos que seria importante mapear ambas as visões e compreender suas interseções, aproximações e distanciamentos.

Durante as entrevistas, os sindicalistas demonstraram que o posicionamento institucional do Sindicato é percebido como superior a qualquer manifestação de opinião individual. Mesmo aqueles que não concordam com as deliberações das assembleias defendem ativamente o que foi decidido pela maioria. Por isso, foram cuidadosos ao demarcar suas visões pessoais e seu posicionamento sindical. A análise de suas falas revela as contradições, os consensos e os conflitos que configuram os diálogos proporcionados pela inserção de avaliações em larga escala no cotidiano escolar.

Todos os entrevistados entendem que a educação oferecida pelos sistemas públicos de ensino deve ser avaliada. Contudo, acreditam que as políticas de avaliação em larga escala não cumprem o papel de avaliar os sistemas educacionais. Seus argumentos são convergentes com os que foram apresentados pelos gestores centrais e pelos gestores das escolas: concordam com a necessidade de avaliação, mas reprovam as avaliações em larga escala porque elas prescindem da participação dos professores.

Então, penso que todo sistema, [...] ele deve ter algum instrumento de avaliação... para mim isso faz parte, como faz parte da escola, né, da nossa função enquanto educador [...]. A questão que eu vejo, é que o intrumento, ele é hoje utilizado, e a que serviço? Para que serve essa avaliação hoje, entendeu? Então assim... eu defendo que tenha que ter uma avaliação... mas não defendo a avaliação que hoje é aplicada (Sindicalista 7).

A nível nacional o governo federal lançou, ele introduziu as avaliações externas para ter uma visão a nível nacional da educação. [...] A nível nacional eu acho que o governo federal fez o papel dele que é saber como é que tá a educação a nível nacional. [...]. Entretanto, eu acho que esse instrumento, por si só, aplicado como ele é aplicado, não dá conta de fazer uma avaliação mesmo da situação da educação (Sindicalista 2).

Ao mesmo tempo, os entrevistados criticam a padronização das avaliações. O fato de todas as crianças realizarem as mesmas provas é percebido como algo negativo porque entendem que cada escola deveria ter a possibilidade de propor e/ou avaliar seus alunos e suas turmas. Em discurso convergente com o apresentado pelos gestores, os sindicalistas consideram que a realidade de cada escola deve ser valorizada. Por isso, cada escola deveria realizar sua própria prova.

Quando o Estado elabora uma prova, uma prova padronizada com todo aquele conteúdo que ele indicou para as escolas, ele parte do pressuposto que você trabalhou todo aquele conteúdo, isso pra mim é uma tragédia. É o professor que trabalhou com o aluno e que sabe o que ele trabalhou, e até a metodologia que usou pra ministrar aquele conteúdo, então assim, nesse sentido, eu não vejo quem poderia avaliar senão o professor, entendeu? (Sindicalista 4).

Também é possível perceber visões contrárias aos ideais da escola republicana⁸. Um dos entrevistados diz que quem tem de avaliar os alunos é ele porque os alunos são dele. O desconhecimento técnico também ficou evidente quando perguntamos se os entrevistados conheciam a Prova Brasil e pedimos que falassem sobre ela. Eles disseram que não a conheciam e não poderiam falar sobre ela, mas, mesmo assim, eram contra.

Os sindicalistas defenderam o posicionamento institucional do Sindicato, radicalmente contrário à implementação de avaliações em larga escala. Entretanto, também reconhecem que tanto as opiniões dos professores nas escolas, como no próprio sindicato, não são homogêneas quanto a fazer ou não as provas e sobre a utilizar ou não os resultados dessas avaliações.

Aqui no núcleo [do município], particularmente, temos divergências entre nós, mas são posicionamentos pessoais. Alguns acham que não tem que ter avaliação externa nenhuma, que a escola tem que ter total autonomia para poder estar pensando a sua avaliação. E tem outros diretores que acham que não tem problema nenhum ter algum tipo de avaliação externa, desde que o resultado não seja usado para poder deixar as escolas presas a um modelo, alcançar metas estipuladas pela secretaria de educação, ferindo a autonomia da escola de se organizar e se planejar, e de buscar os seus resultados conforme a sua própria realidade (Sindicalista 5).

É importante salientar que todos os entrevistados defenderam a posição do Sindicato com relação às avaliações. Ao mesmo tempo, dois dos sete dirigentes entrevistados, afirmaram que defendem o posicionamento institucional, mas que suas opiniões pessoais são divergentes ao que foi estabelecido pelo Sindicato. Nesse sentido, ambos apontam aspectos positivos da implementação de políticas de avaliação externa em larga escala, quais sejam: sistematização e apropriação dos dados obtidos e possibilidade de usos dos resultados pelo poder público.

Os dois entrevistados favoráveis argumentam que as escolas podem beneficiar-se dos dados gerados pelas avaliações em larga escala. Acreditam que a sistematização dos dados disponibilizados pode promover reconhecimento tanto do trabalho docente como da gestão escolar. Outro aspecto positivo apontado diz respeito à possibilidade do poder público, identificar as escolas que apresentam maiores dificuldades e orientar seus investimentos conforme os dados evidenciados nessas avaliações. Consideram ainda que os gestores centrais dos sistemas educacionais, seja em nível nacional ou municipal de ensino, podem avaliar as redes que dirigem com vistas à melhoria do próprio sistema, e que isto se daria por um acompanhamento dos resultados no sentido de reavaliar o trabalho escolar. Ao mesmo tempo, reafirmam posição radicalmente contrária quando discutem sobre as avaliações em larga escala com professores e gestores escolares.

6 Considerações finais

A análise da recepção de políticas educacionais no município pesquisado revela alguns aspectos que merecem ser destacados. Conforme demonstramos, a construção de visões e opiniões sobre uma política pública independe do entendimento dos aspectos mais técnicos relacionados à própria política. Esse cenário coloca alguns desafios que não são uma peculiaridade brasileira. A literatura internacional sobre uso de dados educacionais aponta que uma das principais dificuldades enfrentadas durante a implementação de avaliações em larga escala é a formação de gestores para a compreensão e o uso de dados.

É importante destacar que, mesmo com essas dificuldades de entendimento, a política passa por leituras, interpretações e reinterpretações, além de criar situações em que vigora dissenso sobre sua implementação. O lugar em que esse dissenso é mais evidente é o Sindicato. Nele, alguns dirigentes se dizem favoráveis à política, mas manifestam opiniões contrárias porque seguem as deliberações que foram determinadas nas assembleias sindicais.

No cenário analisado percebemos que o principal argumento contrário às avaliações em larga escala é o suposto desrespeito às “realidades escolares”. Tanto gestores quanto sindicalistas criticam as avaliações, afirmando que elas não respeitam a realidade em que as escolas estão inseridas e, por isso, não representam a escola. Essa crítica à padronização das avaliações aponta questões relevantes como a pluralidade e a estratificação presentes nos sistemas educacionais. Porém, é importante salientar que uma avaliação em larga escala é externa porque é padronizada. Caso privilegiasse o contexto de cada escola, ela deixaria de ser externa e passaria a ser interna. Além disso, as avaliações em larga escala não pretendem substituir as avaliações internas e não classificam as escolas com base em critérios únicos. Exatamente por isso, existem os questionários contextuais e as faixas de desempenho. Porém, como demonstramos, esse entendimento não está presente no cenário analisado.

Referências

• BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. de. Avaliações em larga escala: uma sistematização do debate. Educação e Pesquisa, São Paulo, v. 41, p. 1367-1384, dez. 2015. Número especial.
• BAUER, A.; PIMENTA, C. O.; HORTA NETO, J. L.; SOUZA, S. Z. L. Avaliação em larga escala em municípios brasileiros: o que dizem os números? Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 326–352, 2015. doi: http://dx.doi.org/10.18222/eae266203207
  » http://dx.doi.org/10.18222/eae266203207
• BONAMINO, A. M. C de. Tempos de avaliação educacional: o SAEB, seus agentes, referências e tendências. Rio de Janeiro: Quartet, 2002.
• BONAMINO, A. M. C de; SOUSA, S. Z. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012.
• BOURDIEU, P. Escritos de Educação Petrópolis: Vozes, 2001.
• BOURDIEU, P. A economia das trocas simbólicas São Paulo: Perspectiva, 2003.
• BOURDIEU, P. O poder simbólico Rio de Janeiro: Bertrand Brasil, 2004.
• BOURDIEU, P.; PASSERON, J.-C. A reprodução: elementos para uma teoria do sistema de ensino. Rio de Janeiro: Francisco Alves, 1992.
• BROOKE N.; CUNHA, M. A. A. A avaliação em larga escala como instrumento de gestão educacional nos estados. In: FUNDAÇÃO VICTOR CIVITA. Estudos & Pesquisas Educacionais São Paulo: FVC, 2011. p. 3-64.
• BROOKE, N. Controvérsias sobre políticas de alto impacto. Cadernos de Pesquisa, São Paulo, v. 43, n. 148, p. 336-347, jan./jun. 2013.
• CASTRO, M. H. G. A Consolidação da Política de Avaliação da Educação Básica no Brasil. Meta: Avaliação, Rio de Janeiro, v. 1, n. 3, p. 271-296, set./dez. 2009.
• COELHO, M. I. M. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 16, n. 59, p. 229–258, abr./jun. 2008.
• COLEMAN, J. S., CAMPBELL, E. Q., HOBSON, C. J., McPARTLAND, F., MOOD, A. M., WEINFELD, F. D., et al. Equality of educational opportunity Washington, DC: U.S. Government, Printing Office, 1966.
• CRAHAY, M.; BAYE, A. Existem escolas justas e eficazes? Cadernos de Pesquisa, São Paulo, v. 43, n. 150, p. 858-883, set./dez. 2013.
• DUBET, F. O que é uma escola justa? Cadernos de Pesquisa, São Paulo, v. 34, n. 123, p. 539-555, set./dez. 2004.
• FREITAS, L. C. de. Políticas de responsabilização: entre a falta de evidência e a ética. Cadernos de Pesquisa, São Paulo, v. 43, n. 148, p. 348-365, ja./abr. 2013.
• GAMORAN, A.; LONG, D. A. Equality of educational opportunity: A 40-year retrospective (WCER Working Paper No. 2006-9). Madison: University of Wisconsin–Madison, Wisconsin Center for Education Research, 2006. Disponível em: <http://www.wcer.wisc.edu/publications/workingpapers/working_paper_no_2006_09.pdf> Aceso em: 02 jun. 2016.
  » http://www.wcer.wisc.edu/publications/workingpapers/working_paper_no_2006_09.pdf>
• GRAMANI, M. C. Análise dos determinantes de eficiência educacional do Estado do Ceará. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 25, n. 95, p. 507–526, abr./jun. 2017.
• NOGUEIRA, C. M. M.; NOGUEIRA, M. A. A Sociologia da educação de Pierre Bourdieu: Limites e contribuições. Educação & Sociedade, Campinas, v. 23, n. 78, p. 15–36, abr. 2002.
• PLOWDEN, B. H. et al. Children and their Primary Schools: A Report of the Central Advisory Council for Education (England). London: Her Majesty`s Stationery Office, 1967.
• ROSISTOLATO, R.; PRADO, A. P. do; FERNÁNDEZ, S. J. Cobranças, estratégias e "jeitinhos": avaliações em larga escala no Rio de Janeiro. Estudos em Avaliação Educacional, São Paulo, v. 25, p. 78-107, set./dez. 2015.
• ROSISTOLATO, R.; VIANA, G. Os gestores educacionais e a recepção dos sistemas externos de avaliação no cotidiano escolar. Educação e Pesquisa, São Paulo, v. 40, n. 1, p. 13-28, 2014.
• SAMMONS, P. As características-chave das escolas eficazes. In: BROOKE, N.; SOARES, J. F. (Org.). Pesquisa em eficácia escolar: origem e trajetórias Belo Horizonte: Editora UFMG, 2008. p. 335–382.
• SOARES, J. F.; XAVIER, F. P. Pressupostos educacionais e estatísticos do Ideb. Educação e Sociedade, Campinas, v. 34, n. 124, p. 903–923, jul./set. 2013.
• SOUSA, S. Z.; OLIVEIRA, R. P. Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, v. 40, n. 141, p.793-822, dez. 2010.
• UNITED STATES OF AMERICA - USA. Civil Rights Act Washington, DC: USA, 1964.

• 1
  O Observatório Educação e Cidade teve financiamento promovido pela Capes. Teve início em 2010 e concluiu suas atividades em 2015.
• 2
  Os argumentos de Bourdieu podem ser vistos com maiores detalhes nos livros: “A reprodução: elementos para uma teoria do sistema de ensino” (1992), “Escritos de educação” (2001) e “A economia das trocas simbólicas” (2003).
• 3
  Para esse debate no Brasil, ver: Nogueira e Nogueira (2002).
• 4
  O estudo realizado por Gramani (2017) no estado do Ceará utiliza variáveis relacionadas aos sistemas educacionais (distribuição de matrículas no Estado, desempenho dos alunos e taxas de evasão) e também insere variáveis socioeconômicas com o objetivo de medir o impacto de questões socioeconômicas na eficiência dos sistemas educacionais. Trata-se de uma análise inovadora que visa, de certa forma, articular os debates promovidos pelas teorias da reprodução e as críticas apresentadas pelo debate sobre eficácia escolar.
• 5
  Não há consenso sobre a pertinência e a eficácia das avaliações em larga escala como elementos constitutivos da política educacional brasileira. No campo educacional, essa tensão aparece em artigos como os de Soares e Xavier (2013), Bonamino e Souza (2012), Brooke (2013), Freitas (2013), Sousa e Oliveira (2010), Bauer, Alavarse e Oliveira (2015), entre outros. Por conta dos limites desse artigo, não faremos uma revisão exaustiva dos argumentos presentes nesse debate.
• 6
  Índice de Desenvolvimento da Educação Básica.
• 7
  O município em que realizamos o trabalho de campo está localizado na Baixada Fluminense, no Estado do Rio de Janeiro.
• 8
  Dentre os ideais do modelo republicano de escola está a necessidade de garantir que todos os alunos adquiram o mínimo de conhecimentos escolares considerados necessários para a vida em uma sociedade democrática e moderna. Nesse sentido, os alunos não são propriedade de nenhum professor e nem tampouco da escola em que estudam. Para maiores reflexões sobre a temática da escola republicana, ver: Dubet (2004), Crahay e Baye (2013).

Datas de Publicação

• Publicação nesta coleção
  Jan-Mar 2018

Histórico

• Recebido
  14 Jul 2016
• Aceito
  19 Set 2017