A avaliação em larga escala no Sistema Municipal de Ensino de Porto Alegre: aproximações e diferenças entre grupos implicados

Large scale evaluation in the Municipal Education System of Porto Alegre: similarities and differences between groups involved

RESUMO

O artigo apresenta uma análise de aproximações e diferenças das percepções sobre a avaliação em larga escala encontradas no Sistema Municipal de Ensino de Porto Alegre. O texto apoia-se nas premissas de avaliação como construção e de recontextualização, bem como nos conceitos de globalização, reforma política, regulação e qualidade. Em termos metodológicos, foi feita a opção por um estudo de casos múltiplos que opera a vinculação das premissas e dos conceitos trabalhados com os principais elementos trazidos pelas entrevistas realizadas. Ao final, evidencia-se a avaliação em larga escala em uma posição de protagonismo, garantido principalmente pelo órgão executivo central do Sistema - a qual se reflete nos posicionamentos dos demais grupos entrevistados - e a eleva à condição de política estruturante da gestão e da prática pedagógica em geral.

Palavras-chave: Avaliação; Avaliação em larga escala; Sistema Municipal de Ensino de Porto Alegre.

ABSTRACT

This article presents an analysis of similarities and differences of the perceptions on large scale evaluation within the Porto Alegre’s municipal system of education. The text is based on the premise of evaluation as construction and recontextualization, as well as the concepts of globalization, political reform, regulation and quality. In terms of methodology, the choice was made for a multiple cases study in order to operate the link between premise and concepts with the main elements brought by interviews. At the end, the large scale evaluation becomes the highlight in a protagonist position mainly sponsored by the municipal education system’s central administration bureau - which is reflected in the other interviewed bureaus’ positions - and elevated to the condition of structural policy for management and pedagogical practice in general.

Keywords: Evaluation; Large scale evaluation; Porto Alegre Municipal System of Education.

Por meio de um estudo sobre políticas de avaliação educacional que focaliza como foram instituídos os dispositivos da avaliação em larga escala no Sistema Municipal de Ensino (SME), de Porto Alegre, no período compreendido entre 2005 e 2013, o percurso da pesquisa foi traçado a partir de uma historicização dos movimentos avaliativos internacionais, nacionais e locais. Na sequência, foram buscados suportes teóricos e conceituais capazes de elucidar a noção de avaliação como construção, a inserção da avaliação em modelos globalizados e os aspectos reformadores, regulatórios e de qualidade para que os dados coletados dos grupos do Conselho Municipal de Educação (CME), da Secretaria Municipal de Educação (SMED), dos gestores e dos professores das escolas pesquisadas pudessem ser organizados e analisados. À trajetória analítica, agregou-se o N-Vivo 10 como uma ferramenta de análise quantitativa que organizou as entrevistas realizadas em 12 códigos e auxiliou na quantificação das palavras mais expressadas por esses grupos, revelando as ênfases garantidas a cada um deles. Como guia de todo esse processo e do conjunto desses procedimentos, permanece a busca por aproximações e diferenças de compreensão sobre o tema entre os grupos implicados, como apontado no título deste trabalho.

Pistas teóricas e metodológicas

A centralidade analítica da pesquisa, desenvolvida para a tese de doutoramento, do qual procede este artigo, consistiu em aproximar relatórios quantitativos e qualitativos com um conjunto de elementos conceituais. Tal construção foi cotejada com os movimentos apontados pelos grupos pesquisados e pela revisão bibliográfica, e também com os elementos encontrados nos documentos analisados.

O arranjo metodológico possibilitou perceber os efeitos da avaliação em larga escala em cada grupo, referendando um estudo de casos múltiplos. A escolha deste desenho baseia-se na consideração às especificidades das instituições (CME, SMED e escolas) aqui analisadas, raciocínio esse sempre respaldado pela opção contextualizadora feita por esta pesquisa. Os casos múltiplos, além disso, revelam-se interessantes, visto que oferecem um desenho metodológico que reforça o cuidado com a preservação dos nomes e cargos dos entrevistados. Dessa forma, o estudo de casos múltiplos, segundo os ditames de Yin (2001), aplica-se nesta pesquisa como uma variante de um projeto de estudo de caso, não como uma metodologia distinta, pelo que possibilita, diante de um número reduzido de entrevistados, a previsão de resultados semelhantes e a produção de resultados contrastantes por razões previsíveis (YIN, 2001).

Cabe aqui o resgate da reflexão de Dias Sobrinho (1996) sobre a perspectiva da avaliação como construção. O autor faz menção ao caráter estratégico que as perguntas assumem no plano da avaliação, tendo de ser entendidas como inquietações relacionais e contextuais e não apenas como instrumentos fidedignos de aferição do desempenho. Quando isso não ocorre, a avaliação transforma-se tão somente em uma ferramenta que possibilita e encaminha as transformações consideradas necessárias para sanar fragilidades demonstradas, em uma perspectiva que tende a ser restritiva. A reversão desse cenário, conforme Dias Sobrinho (2008), reside no esforço em compreender a avaliação em suas implicações e não somente em suas explicações.

As ideias de Bernstein com relação à recontextualização também precisam ser retomadas no que concerne aos discursos oficial e pedagógico e aos elementos que estabelecem disputas nesses dois campos. Influenciados pela economia e pelo controle simbólico, ambos os campos migraram de um modelo de competência para um modelo de desempenho (BERNSTEIN, 2003), recontextualizando o conhecimento de um campo sociológico para um campo de resultados, configurando as relações de disputa que se naturalizam no campo da educação oficial.

Ao tratar dos percursos teóricos, conceituais e de produção, as premissas da avaliação como construção e da recontextualização respaldam os conceitos que perpassam as análises realizadas. O conceito de globalização aparece vinculado a riscos e a possibilidades, funcionando não como uma transposição direta de lógicas avaliativas (AFONSO, 2013), mas como processos que se recontextualizam mediante fatores próprios das trajetórias locais. Não obstante as adequações, Dale (2004) nos lembra dos efeitos dessa inserção em modelos avaliativos globalizados, que correspondem às necessidades de reforma política, de regulação e de qualidade que precisam se adaptar a um modelo voltado para a obtenção de resultados quantificáveis.

É em função dessas necessidades que os conceitos também foram explorados. A reforma política é compreendida aqui como uma estratégia para a busca de soluções na área educacional, a partir dos problemas apontados pelos resultados das avaliações em larga escala. Essa estratégia, como também nos lembra Afonso (2009), transforma os problemas educacionais em crises que pertencem somente à área da educação, desvinculando-as de outras esferas políticas, sociais e econômicas. Tal recorte transfere os problemas e as soluções para os gestores dos sistemas e para as escolas, transformando a melhoria dos desempenhos em respostas diretas às situações de crise.

A regulação é um conceito que surge na esteira da reforma política, pois ela acaba por configurar a atuação do Estado frente às demandas por processos mais qualificados em várias áreas, inclusive na educação. A avaliação em larga escala, nesse cenário, ocupa posição destacada por oferecer mecanismos capazes de encaminhar, de maneira considerada satisfatória, as diretrizes e os retornos necessários a um processo de qualificação educacional. Os mecanismos, no mais das vezes, consistem em recursos sistemáticos a referências externas (BARROSO, 2004).

Ainda, segundo Barroso (2004), a regulação do Estado passou a constituir-se como um “sistema de regulações”. Isso significa dizer que, além de mecanismos de controle, passam a ser estabelecidos parâmetros de comparação e de confrontação que mantêm a legitimidade da aplicação dos instrumentos. No misto entre regulação governamental e forças de mercado em que atua o sistema econômico, as demandas por bons desempenhos assumem centralidade. É esta a função ocupada pelas avaliações em larga escala no cenário educacional: resguardar os ditames econômicos no âmbito das práticas educacionais e operar essas diretrizes.

O conceito de qualidade, aliás, também assume relevância no aporte conceitual e analítico da pesquisa. A forma como o conceito foi se adequando a diferentes formatos econômicos e a diferentes opções de condução política do processo educacional é interessante de ser observada: de uma fase de investimentos em insumos e qualificação docente para uma fase de eficiência na aplicação dos recursos e de resultados quantificáveis dessa aplicação. A ênfase na “cultura da performatividade” (BALL, 2004) reforça a crença de que “a avaliação gera competição e a competição gera qualidade” (SOUSA, 2003). A compreensão relacional sobre a atuação das escolas e as políticas educacionais que percebam e contemplem as questões contextuais na equação que dimensiona aspectos qualitativos é de fundamental importância. Para que isso se configure, o conceito político de qualidade tem de estar vinculado a essas premissas.

Após essa breve retomada do suporte teórico e conceitual da pesquisa, parte-se agora para o cotejamento entre os aspectos e as análises advindas dos dados coletados, a partir da apresentação dos relatórios descritivos submetidos à análise quantitativa. O desafio é trabalhar numa perspectiva macroanalítica, como já referenciado no escopo teórico desta pesquisa, com uma estruturação conceitual que reconheça aspectos sociohistóricos e político-econômicos como condicionantes das relações estabelecidas nas esferas institucionais.

Os grupos e as suas considerações

No que tange aos posicionamentos expressos pelos entrevistados do Conselho Municipal de Educação, a partir das codificações realizadas, pode-se inferir que as suas ênfases residem nos aspectos históricos iniciais do processo de avaliação em larga escala no Sistema Municipal de Porto Alegre. Essas são seguidas de um progressivo afastamento do tratamento dispensado ao tema, aliado tanto à crítica aos posicionamentos políticos e pedagógicos das gestões mais recentes da SMED quanto ao reconhecimento de determinados aspectos presentes no processo avaliativo como importantes para a revisão de determinadas práticas e conduções.

As perspectivas dos conceitos fundamentadores desta pesquisa - globalização, reforma política, regulação e qualidade - adquirem notoriedade nas manifestações advindas dos representantes do CME. Os movimentos vinculados ao histórico da aproximação e posterior implantação da avaliação em larga escala no SME, as configurações que a avaliação foi assumindo dentro da SMED e o repasse feito às escolas, assim como as críticas à necessidade de uma atuação mais clara e significativa da SMED na condução da política educacional e a preocupação manifestada com relação aos princípios educacionais e educativos que efetivamente estão sendo buscados e construídos, evidenciam a ligação. Chama a atenção, no entanto, o afastamento do grupo com relação à posição que a SMED tem assumido sobre a avaliação em larga escala, que se configura num afastamento das discussões mais atuais e práticas que têm sido preconizadas ou mais criticadas sobre o tema.

Os elementos coletados nas entrevistas com os integrantes da Secretaria Municipal de Educação demonstram a centralidade obtida pela temática da avaliação em larga escala naquele ambiente. Todos os entrevistados revelam forte atenção aos indicadores de desempenho por escola na avaliação e enfatizam a importância do assessoramento pedagógico específico para as provas, em uma transposição direta das exigências avaliativas à expressão político-pedagógica da SMED. A transposição direta manifesta-se pela estrutura curricular e de assessoria pedagógica que garante maior destaque e espaço às disciplinas de Língua Portuguesa e Matemática e às orientações passadas, mais diretamente, às equipes gestoras das escolas quanto às exigências a serem feitas nas escolas com relação aos resultados dos estudantes nas provas.

É perceptível, por parte da SMED, a preocupação com o nível de aprendizagem dos alunos, porém, concentrada quase exclusivamente no seu desempenho nas provas de larga escala. Ademais, não apresentaram os entrevistados uma manifestação clara sobre a base conceptual em que se assentam, sendo que é expressa de forma precária ou, até mesmo, conflitante. Houve também menção elogiosa às práticas de algumas escolas que estão mais ligadas à preocupação com a avaliação em larga escala, no sentido de que poderiam e pretenderiam estendê-las como exemplares às demais. Ainda, de forma bastante enfática, referiram-se à preocupação e ao compromisso com a criação de um sistema próprio de avaliação que expresse os desempenhos e os resultados das instituições do Sistema Municipal de Porto Alegre - ou, apenas, da rede de escolas municipais.

As ênfases dos integrantes do grupo da SMED apontam para a recontextualização pela qual a mantenedora está passando em função da preocupação com a avaliação em larga escala. Tal fenômeno pode ser percebido tanto, internamente, na reestruturação administrativa e nos discursos enunciados por seus representantes, quanto no encaminhamento dado à formação continuada de gestores e professores e às demandas repassadas às escolas, principalmente por meio de seus gestores.

Esta preocupação corresponde ao conceito de reforma política trabalhado teoricamente por esta pesquisa, visto que buscam na avaliação um modelo para solucionar uma situação de crise. Crise, aliás, que, pelos pronunciamentos, simplesmente pertenceria às escolas, aos professores e às situações históricas que são próprias das escolas, sem se vincular a questões do governo municipal ou ao contexto mais amplo.

A vinculação a modelos de qualidade que se confundem tão somente com o desempenho nas provas e uma regulação restrita, por esse viés, reforçam uma transposição a modelos avaliativos que desconsideram a construção histórica de todo o SME. Tal posição reforça tanto contraposições, por parte das escolas, quanto um sentimento de perda de identidade e de orientação pedagógica. O modelo de qualidade perseguido pela SMED aproxima-se fortemente da cultura da performatividade referenciada por Ball (2004), colocando os resultados numa posição superior às premissas pedagógicas que deveriam orientar o Sistema, que se encontram, como pôde ser depreendido do conteúdo das entrevistas, atualmente subsumidas.

As entrevistas, obtidas no grupo denominado gestor das escolas, compreenderam tanto professores que estiveram na gestão e hoje estão em sala de aula, quanto professores que atualmente estão em funções de direção. As manifestações desse grupo versaram sobre uma dupla preocupação: a da responsabilidade, como grupo gestor, frente à condução dos processos de avaliação em larga escala, associada ao excesso de demandas em meio às quais tal preocupação precisa encontrar espaço. Essas manifestações definem um quadro que mescla preocupações administrativas (como coordenar a multiplicidade de funções) e pedagógicas (como conciliar a lógica de uma avaliação processual e as especificidades da escola pública com as exigências da SMED), como definem uma condução cotidiana que se concretiza em incidências específicas junto aos professores das áreas de Língua Portuguesa e Matemática para a obtenção de resultados quando da realização das provas.

O grupo de gestão das escolas, também formado por professores, expressa fortemente a sua preocupação com o desempenho que pode ser obtido pelos alunos nas provas, articulando-a com o trabalho realizado em sala de aula. Contudo, este desempenho aparece vinculado a causas externas que estariam, pela compreensão dos entrevistados, fora da responsabilidade direta da escola, como o perfil dos alunos que são recebidos, conteúdos que não foram suficientemente abordados em anos anteriores, falta de professores e progressão continuada. É nesse contexto que os elementos vinculados aos conceitos de regulação e de qualidade assumem ainda maior notoriedade, nas entrevistas obtidas nos dois últimos grupos.

As falas dos integrantes do grupo de professores demonstraram proximidade com as do grupo de gestão das escolas. Isso se expressou por meio da compreensão do papel central que as diretoras assumem junto à SMED (em detrimento da noção de equipe diretiva) e à escola, como portadoras dos encaminhamentos da mantenedora. Junto com isso, foram percebidas críticas em relação à condução político-pedagógica da mantenedora no que tange às condições de trabalho e à falta de clareza nas orientações passadas às escolas. Nesse ínterim, o conceito de regulação parece assumir centralidade, visto que esse é o grupo eleito pela SMED para o repasse das informações e para a realização da cobrança diante do desempenho da escola; e é também nessa relação que o conceito de qualidade é trabalhado com o formato de resultados positivos nas avaliações.

Na maior parte das escolas pesquisadas, tanto no grupo da gestão quanto no grupo dos professores, fica a percepção de que, não fosse a centralidade garantida pela SMED, a avaliação em larga escala não teria encontrado protagonismo dentro da organização escolar. Como ela é fortemente pautada pela SMED, a avaliação acaba tendo o efeito de orientar a intensidade de certos componentes curriculares e determinadas práticas pedagógicas. A partir disso, o efeito pode se potencializar ou não, com diferentes compreensões e encaminhamentos dentro da escola. Somente em duas escolas pesquisadas foram encontrados encaminhamentos específicos para a avaliação. E apenas em uma delas, é importante assinalar, foi dito que estes encaminhamentos tiveram efeitos significativos no cotidiano escolar, operando, durante certo tempo, mudanças expressivas na gestão e na prática pedagógica.

A ênfase nos conhecimentos específicos de Língua Portuguesa e Matemática assume notoriedade nos depoimentos coletados. Da parte dos professores, a maior preocupação reside em uma suposta carência de conhecimentos dos alunos das escolas municipais quando comparados com alunos de outras redes. A preocupação, no entanto, parece se direcionar mais para o fato de como o aluno sai da escola do que efetivamente para como o aluno está na escola, durante o ensino fundamental.

Codificando os dados coletados

No que diz respeito aos códigos, nos levantamentos e cruzamentos realizados, pode-se perceber preocupações diferenciadas - como era de se esperar, devido às diferenças de funções, demandas e expectativas - entre os diferentes grupos pesquisados. Na hierarquização dos códigos apresentada, pode ser percebida a preocupação com os limitadores existentes na avaliação em larga escala. Tais limitadores se vinculam às questões como dificuldades de atuação profissional (vinculadas à falta de professores e ao excesso de atribuições), ao formato das provas e às especificidades da política educacional de Porto Alegre, como a inclusão de alunos com deficiência e supostas defasagens de conhecimento por parte dos alunos (não obstante o código conhecimento ocupar a quinta posição no quadro-resumo). A posição inicial, assumida pelos códigos limitadores, pode denotar tanto as insuficiências do processo quanto as eventuais resistências ou pouco conhecimento sobre o tema.

No que tange ao código formação dos professores, é possível perceber uma repercussão sobre as insuficiências ou a falta de clareza da formação proporcionada pela SMED, apontadas por todos, nos depoimentos do CME, dos professores, da gestão da escola e da própria mantenedora. A SMED, ao comentar a tônica da formação continuada que oferece, assume um posicionamento de caráter fragmentado e baseado tão somente na compreensão dos resultados obtidos nas avaliações anteriores. Os professores e o grupo gestão da escola, por sua vez, apresentam a necessidade da formação ser revisitada a fim de dar conta de novos temas e novas atuações. Chama a atenção o fato de, não obstante a centralidade da temática da avaliação em larga escala, não serem referidas formações sobre o tema de maneira consistente e quantitativamente significativa. Tampouco atribuem as dificuldades à sua formação inicial, nas diversas licenciaturas.

No código caracterização político-pedagógica da mantenedora, as manifestações salientadas pertencem aos grupos gestão da mantenedora e gestão de escola (nos quais também se localizam professores que atualmente atuam em sala de aula). As manifestações sobre o assunto retornam, de forma mais próxima da escola, no código encaminhamento dos professores e gestão da escola, que passam a contar com manifestação dos professores, já que se referem às orientações repassadas pela própria escola, a partir das orientações da SMED, e não a uma informação clara da mantenedora quanto ao seu entendimento e orientação.

Ainda no código caracterização político-pedagógica, observa-se, por parte da SMED, a absorção dos descritores e dos conteúdos trabalhados nas provas como orientadores pedagógicos e curriculares do trabalho realizado nas escolas, por meio do encaminhamento feito pelas assessorias pedagógicas. O código gestão da escola reafirma essa orientação, porém, expressa a distância que tal indicação assume do trabalho realizado na escola pelos professores e pela coordenação pedagógica de forma mais extensiva, concentrando-se tão somente no período anterior à realização das provas.

Outra posição que chama a atenção diz respeito ao código sistema de avaliação municipal, que assume posição anterior à do código encaminhamentos considerados possíveis ou possibilidades, o que pode sugerir uma leitura de privilegiamento da criação de um sistema próprio em busca de alternativas, diante dos dados obtidos nos instrumentos e avaliações já existentes, configurando-se como uma resposta pontual e vista como definitiva a uma solução de crise, baseada em experiências externas simplesmente transpostas para a situação local.

No que tange ao código evasão e manutenção, o distanciamento entre as falas da SMED e dos professores é evidente. A Secretaria manifesta a sua preocupação com os indicadores, já que influenciam fortemente o cálculo do IDEB, e é clara, nas diretrizes encaminhadas às escolas, sobre como atuar frente a esses números. Uma das estratégias anunciadas foi a da matrícula presencial em detrimento da automática, que obriga à manifestação dos responsáveis na permanência do aluno naquela escola. Outra estratégia diz respeito à progressão automática, o que evita a permanência do aluno no mesmo ano-ciclo, ainda que com defasagem de conhecimento.

Interessante observar as tônicas assumidas por esse argumento, de parte a parte. A SMED vincula-se ao princípio dos ciclos para evitar a retenção. Os professores, por sua vez, questionam o princípio, baseados na contradição existente entre a busca de alunos melhor preparados para as provas e alunos que, via de regra, progridem a despeito das dificuldades observadas, para incrementar - por outro fator - o cálculo do IDEB. Tal debate ilustra bem a utilização de argumentos sob condições específicas, visto que os mesmos já foram utilizados com diferentes conotações em outras situações, principalmente quando da temática de possibilidades avaliativas mais ampliadas como sendo características do Sistema Municipal de Porto Alegre.

Ainda, o resultado obtido nas provas é imputado, por alguns professores pesquisados, à fragilidade das cobranças estabelecidas pelos ciclos de formação. Isso se refere tanto à progressão continuada quanto à falta de clareza sobre os conteúdos que deveriam ser trabalhados em cada ano-ciclo. Os professores que se manifestam nesse sentido, além de evidenciarem uma responsabilização centrada no desempenho do aluno e não na sua própria - ou seja, enfatizando tão somente a dificuldade de aprender e não a de ensinar - também evidenciam uma fragilidade na autonomia de condução do seu próprio trabalho e do conhecimento acerca dos aspectos a serem enfatizados no processo formativo do aluno.

As manifestações quanto ao histórico do ingresso do Sistema Municipal de Educação nas avaliações em larga escala também são interessantes de serem observadas. Neste item, os grupos CME e SMED foram os que se manifestaram por terem elementos de mais longo período temporal para serem explorados. Nas manifestações do CME, o que emerge são as informações sobre a resistência inicial, seguidas do posicionamento também inicial do Conselho e da crítica às gestões atuais da SMED, em relação ao encaminhamento sobre o tema, vinculada à falta de condições para tratar o tema com mais acuidade, devido ao excesso de demandas.

Nas falas dos entrevistados pela SMED, esse histórico também é resgatado e apresenta relatos muito próximos. O distanciamento que se observa na manifestação dos dois grupos, no entanto, é temporal e vinculado à ênfase política da temática da avaliação em larga escala. Quando esta adquire maior visibilidade nacional e passa a estar, de forma até mesmo inevitável, mais próxima das escolas, o CME não fala do assunto (como pode ser observado também nos documentos pesquisados). É neste mesmo momento, conforme é reforçado também pelos documentos da SMED apresentados e analisados nesta pesquisa, que o assunto se robustece dentro da Secretaria Municipal de Educação.

Por parte do CME, ainda cumpre observar que as críticas à avaliação em larga escala residiam, no momento inicial, na lógica dos desempenhos e dos índices. Essas críticas, nas falas que se referem a tempos mais atuais, são substituídas pelo entendimento da existência de elementos que podem advir do processo avaliativo e serem aproveitados para a reflexão acerca da prática administrativa e pedagógica do Sistema Municipal de Ensino, evidenciando uma recontextualização da posição. A mesma reflexão pertence ao grupo dos professores (não obstante a menção à falta de recursos - principalmente humanos - e à falta de atenção às especificidades das escolas municipais - o alto número de alunos de inclusão, por exemplo). Tanto CME quanto professores - mesmo os integrantes das equipes diretivas - não manifestaram conhecimento sobre a iminente criação de um sistema municipal de ensino próprio de Porto Alegre. Observa-se, nesse caso, tanto um isolamento da SMED na discussão do tema quanto um afastamento de órgãos como CME nos questionamentos sobre o assunto. As entrevistadas da SMED, aliás, quando questionadas sobre quem pergunta sobre os índices apresentados pelas escolas, fazem menção à Secretária Municipal de Educação, ao Prefeito, à imprensa e aos grupos da sociedade civil, vinculados à temática da educação ou de cunho empresarial. Os pais, igualmente, não são lembrados como interessados no tema, e isso nas manifestações de todos os grupos pesquisados.

Um movimento de apropriação mais positiva sobre o assunto pode ser observado na forma como a avaliação em larga escala passou a ser compreendida por grupos como o Conselho Municipal de Educação, gestores e professores de escola, conforme consta no código encaminhamentos considerados possíveis e no possibilidades. Tal movimento ratifica a perspectiva globalizante presente na temática da avaliação, capaz de pautar o tema tanto sob um enfoque impositivo quanto também de inserção em modelo que pode trazer pontos interessantes para a discussão. O movimento observado nos grupos do CME, dos gestores das escolas e dos professores sinaliza justamente esta recontextualização do tema no universo educacional. No caso do CME, no entanto, essa nova perspectiva vem acompanhada tanto da preocupação com a orientação da mantenedora - vinculada a modelos de desempenho considerados questionáveis -, quanto de um não acompanhamento com relação ao tema junto ao Sistema Municipal de Porto Alegre.

A menção privilegiada das noções de gestão, educação e processo, pelos grupos da SMED e do CME e não por grupos de professores, demonstra um esvaziamento político dos docentes, no que tange à falta de identidade com uma política pública de educação, como a que se refere à ênfase em desempenhos finalísticos, em relação à esfera da condução dos processos educativos. Se essa inferência for aproximada da revisão bibliográfica das produções acadêmicas sobre o próprio Sistema Municipal de Porto Alegre, o mesmo esvaziamento também pode ser percebido, visto que produções versando sobre proposições políticas da SMED sobre o pedagógico abriram espaço, com o passar do tempo, para produções com recortes mais específicos (por exemplo, uma publicação do primeiro momento, podemos citar a tese de Edith Ione dos Santos Frigotto (1999), Construção curricular e demarcação discursiva: a gênese e afirmação, a proposta da escola cidadã de Porto Alegre; para o segundo momento, a tese de Flávia Isaia Pinheiro, Epistemologia genética e produção de textos na escola: estudo da construção da coerência em narrativas escritas, de 2012, serve como boa ilustração). Tal percepção, no entanto, não pode ser compreendida como uma leitura definidora da relevância ou da qualidade dessas produções, não é isso que se intenciona aqui e tampouco se chegou a essa possibilidade de leitura. O que se pode perceber, efetivamente, é um movimento que tem, sim, um caráter político posto, o qual se pauta por contextos da gestão, do histórico e de encaminhamentos do sistema. Mesmo o movimento que possibilita o advento de assuntos mais específicos no cenário da produção acadêmica está ligado à centralidade assumida por novas questões.

Este esvaziamento político, considerado como um efeito na gestão e na prática pedagógica do SME de Porto Alegre no período estudado, revela-se pela primazia dos resultados finalísticos como também pelo afastamento da trajetória do campo de estudos sobre a avaliação em larga escala. Se retomarmos aqui levantamento feito por Bauer (2012), observamos que a partir das produções elencadas puderam ser estabelecidos quatro eixos sobre os quais vêm se estruturando as pesquisas sobre o tema: a estruturação das políticas públicas, a interferência no currículo a partir das avaliações, a gestão em diferentes níveis e a busca de compreensões sociológicas mais ampliadas sobre as proposições e práticas avaliativas em larga escala. O que se observou durante o processo de coleta, sistematização e análise dos dados foi justamente um alheamento desse percurso em todos os grupos pesquisados, evidenciando de maneira ainda mais contundente o fato da avaliação em larga escala, principalmente por parte da SMED, ser considerada uma ferramenta de institucionalização da gestão da qualidade do processo educacional, desconectada dos fatores que já vêm sendo estudados como integrantes das políticas e práticas avaliativas.

Por fim, relativamente aos posicionamentos considerados diferenciados com relação à atuação de duas escolas frente ao tema da avaliação em larga escala, conforme se pode perceber a partir dos dados advindos dos relatos coletados, esses carecem das mesmas limitações percebidas na atuação das demais escolas. Isso ocorre tanto pelo fato delas se darem de forma desvinculada de um desenho norteador minimamente definido pela SMED, quanto pelas circunstâncias específicas que estas escolas mencionam: no caso da escola que aplicou o Provão, a insuficiência da análise sobre os dados coletados ou sobre a experiência; e, no caso da escola que buscou assessoramento para a compreensão dos dados e os utilizou na perspectiva do planejamento, a descontinuidade desse processo por ele estar vinculado a um período de gestão que se encerrou no início de 2013.

Analisando os efeitos a partir das manifestações e das práticas

Frente às possibilidades analíticas, fica evidente um conjunto de efeitos da política nacional de avaliação em larga escala na gestão e na prática pedagógica do Sistema Municipal de Ensino de Porto Alegre. É fundamental, nestes parágrafos finais, garantirmos novamente a ênfase necessária à questão central da pesquisa da qual se originou este artigo e aos elementos que contextualizam o Sistema Municipal de Ensino em diferentes momentos, em face de suas próprias construções em diferentes períodos históricos e dos movimentos internacionais e nacionais da avaliação em larga escala.

A apropriação observada por parte da Secretaria Municipal de Educação de Porto Alegre com relação à avaliação em larga escala sinaliza uma construção impositiva da institucionalização de políticas avaliativas sobre a rede escolar mantida. Ao apostar na acomodação do modelo de avaliações nacionais e nos movimentos necessários a isso, a SMED propõe a si mesma o desafio de melhor se colocar frente às políticas de avaliação, tanto em termos de desempenho dos alunos quanto de criação de um sistema de avaliação próprio. A primeira etapa, compreendida como o momento de implantação, está sendo cumprida, até mesmo por força da política nacional e das imposições que vêm agregadas a ela. A segunda, configurada como a etapa de implementação, apresenta fragilidades em suas concepções e compreensões, revelando-se mais como uma bandeira da Secretaria do que efetivamente como uma convicção ou um compromisso político ou pedagógico.

Tal posição revela a construção feita pela SMED no que diz respeito à avaliação, sinalizando uma adesão a modelos globalizados, com aspectos reformadores e regulatórios. Revela, igualmente, como pode ser observado nos dados coletados e analisados, uma percepção de qualidade vinculada a desempenhos e a modelos bem-sucedidos. Tal percepção preocupa pelo fato de não estarem sendo suficientemente consideradas as especificidades do Sistema Municipal de Porto Alegre e de seu contexto, que conta com instituições de formação docente e pesquisa muito qualificadas, com movimentos sociais ativos e capilares.

As pretensões em relação a um modelo próprio apontam para a reprodução do modelo nacional ou de modelos já implantados em outros sistemas de ensino, pautando-se por provas e por práticas pedagógicas voltadas eminentemente ao melhor desempenho nesses instrumentos, sem a percepção de que avaliar poderia significar atenção a avanços e problemas, estabelecendo níveis de qualidade agregados a condições reais. Além disso, percebe-se nessa trajetória a transformação da avaliação em instrumento único de responsabilização da gestão ou de suposto controle social, reduzindo o processo avaliativo a uma mera transposição de resultados.

Em todos os grupos pesquisados, a avaliação externa acabou por revelar-se um recurso estruturante da política educacional. Porém, a perspectiva analítica deste trabalho operou na lógica da avaliação como uma construção capaz de abarcar a multiplicidade de compreensões e de operações existentes no sistema educacional. Esse recurso estruturante está sendo utilizado pela SMED, no entanto, tão somente para a formatação do trabalho realizado em Porto Alegre dentro de um modelo de desempenho. E ele chega nas escolas como uma orientação e uma demanda; porém, na operacionalidade, apresenta-se frente a deficiências, dificuldades, rotinas já estabelecidas e eventuais resistências. Em meio à mescla desses fatores, esta institucionalidade efetiva-se, em grande medida, no extraordinário - no período da realização das provas nacionais -, não sendo reconhecida nas escolas como um recurso para o planejamento e a condução pedagógica ordinária, mas tão somente pelo viés regulatório e pela busca de uma qualidade vinculada ao desempenho quantitativo.

As escolas, tanto em seu grupo de gestores quanto no de professores, vinculam as suas preocupações em relação à avaliação em larga escala com o conhecimento e com o aprendizado dos alunos. Principalmente no grupo dos professores, no entanto, tal preocupação não encontra espaço na reflexão da sua própria prática. Ela é externalizada para as especificidades socioeconômicas dos alunos ou transferida para o trabalho insuficiente realizado nos anos anteriores. A preocupação da SMED em face do desempenho nas avaliações encontra espaço quando é repassada pela gestão da escola de forma episódica - na época de realização das provas - e localizada - nas disciplinas de Língua Portuguesa e Matemática. Tal situação aponta para uma noção de qualidade que é terceirizada para a mantenedora ou para uma organização que não é suficientemente referenciada ou localizada. Por parte dos professores, a discussão sobre a qualidade não está vinculada à realização de avaliações, tampouco adquire clareza na maneira como ela é percebida ou deve ser discutida, revelando fragilidades quanto à responsabilidade sobre o processo educacional e de aprendizagem. Existem manifestações que ensaiam uma aproximação com a noção de um padrão de qualidade vinculado às condições reais, mas tal percepção acaba se fragilizando à medida que os elementos que concorrem para essa construção não conseguem ser percebidos em seu conjunto. Revela-se ausente o currículo planejado, o projeto político-pedagógico da escola, assim como a relação deste com o projeto educacional do SME e do País.

As resistências ou refutações são eventualmente manifestadas por esses grupos, no entanto, quando verificadas no conjunto das falas, sinalizam para o anseio de uma linha pedagógica condutora do trabalho. A tônica das manifestações dos professores aponta para a preocupação com os alunos e com os aspectos de formação profissional e de melhoria pedagógica de sua atuação, desta vez, sim, denotando uma expectativa de regulação em busca de melhorias. A forte menção feita às palavras alunos, professor, escola, prova, conhecimento e aprendizagem, por parte dos grupos de gestão da escola e dos professores, denota a preocupação com a instituição escolar e com aqueles que a compõem, sem deixar de mencionar os elementos que coroam o caráter educacional da instituição escolar. É neste ínterim que a ideia de regulação, trabalhada no sentido construído por Freitas (2005), de “vocação de toda política pública”, adquire sentido. Nos grupos de gestores de escolas e de professores, a manifestação por uma atuação da SMED que garanta orientações mínimas ao trabalho desenvolvido se robustece como demanda.

O resgate do cenário nacional e internacional e das construções históricas realizadas pelo SME, baseado em autores como Afonso (2013), Dias Sobrinho (1996, 2008) e Dale (2004, 2010), justifica-se para garantir ainda mais significado ao contexto estudado. Em termos de política de avaliação em larga escala, percebe-se um movimento, por parte do SME, no período posterior a 2005, que se aproxima dos movimentos internacionais conhecidos, principalmente no que diz respeito a uma qualidade pautada por resultados e à criação de parâmetros generalizantes para os desempenhos observados, em uma perspectiva muito mais voltada à culpabilização do que à efetiva responsabilização dos envolvidos no processo educativo.

Rememorando rapidamente as configurações nacionais sobre o tema, com apoio em autores como Bonamino e Sousa (2012), Sousa (2004), Freitas (2007) e Horta Neto (2007), podem ser observadas duas vertentes. A primeira se dá em função de superação da lógica mecanicista construída no final dos anos 1990, amparada principalmente no avanço dos estudos sobre a avaliação em larga escala. A segunda, não obstante algumas premissas reestruturantes, segue pautada pelo desempenho e pela desvinculação da compreensão dos elementos contextuais de funcionamento dos sistemas e das escolas que os integram. O Sistema Municipal de Educação de Porto Alegre, como vimos, tardiamente segue compartilhando dessa compreensão e amparando-se nela.

No caso do SME de Porto Alegre, tal opção causa ainda maior questionamento diante do histórico construído e vivenciado por este sistema que alcançou repercussão internacional. A opção por um modelo de resultados após uma experiência absolutamente inovadora em termos de premissas, de gestão e de prática pedagógica ressignifica o trabalho realizado, na busca de respostas rápidas às supostas deficiências do modelo anterior e na criação de uma proposta que pretende romper aspectos fundamentais da lógica pedagógica norteadora do trabalho anterior.

Nas aproximações entre o aporte conceitual deste trabalho - as construções históricas e a produção acadêmica - e os dados coletados, percebe-se uma outra compreensão que precisa ser vinculada à conclusão mais expressiva do estudo realizado, qual seja, a transformação, por parte da SMED, da avaliação em larga escala em política norteadora da gestão e da prática pedagógica no SME. Ela é referente ao fato de que as apreensões trazidas sobre os resultados e os formatos avaliativos apontam para insuficiências que foram consagradas, pelos mais diferentes motivos, dentro do SME. Nisso se configura um cenário em que as alternativas precisam ser construídas tendo como base um conjunto de entendimentos próprios de cada um dos grupos entrevistados e partindo da assertiva de que as diferentes institucionalidades se posicionam diferentemente frente às potencialidades e às fragilidades da avaliação de larga escala. Esse posicionamento deveria se dar à luz de uma compreensão do que está sendo experimentado e do que está sendo estudado sobre o tema, reforçando a necessidade de estudos, de discussões ampliadas e de construções que busquem, a um só tempo, a tensão e a convergência entre os interesses dos diferentes grupos na construção de uma proposta avaliativa da qualidade da ação educativa e do direito à aprendizagem.

REFERÊNCIAS

• AFONSO, A. J. Avaliação educacional regulação e emancipação São Paulo: Cortez, 2009.
• AFONSO, A. J. Mudanças no Estado-avaliador: comparativismo internacional e teoria da modernização revisitada. Revista Brasileira de Educação, ANPEd, Rio de Janeiro, v. 18, n. 53, p. 267-284, abr./jun. 2013.
• BALL, S. Entrevista. Educação em Revista, Belo Horizonte, v. 40, p. 11-26, dez. 2004. Entrevista concedida a Lucíola Licínio C. P. Santos.
• BARROSO, J. Os novos modelos de regulação das políticas educativas na Europa: da regulação do sistema a um sistema de regulações. Educação em Revista , Belo Horizonte, v. 39, p. 19-28, jul. 2004.
• BERNSTEIN, B. A pedagogização do conhecimento: estudos sobre recontextualização. Cadernos de Pesquisa, São Paulo, n. 120, p. 75-110, nov. 2003.
• BONAMINO, A.; SOUSA, S. Z. Três gerações da avaliação na educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012.
• DALE, R. Globalização e educação: demonstrando a existência de uma “cultura educacional mundial comum” ou localizando uma agenda globalmente estruturada para a educação. Educação e Sociedade, Campinas, v. 25, n. 87, p. 423-460, maio/ago. 2004.
• DALE, R. A sociologia da educação e o Estado após a globalização. Educação e Sociedade , Campinas, v. 31, n. 113, p. 1099-1120, out./dez. 2010.
• DIAS SOBRINHO, J. Avaliação institucional: marcos teóricos e políticos. Avaliação, Campinas, Sorocaba, v. 1, n. 1, p. 15-24, 1996.
• DIAS SOBRINHO, J. Avaliação educativa: produção de sentidos com valor de formação. Avaliação, Campinas, Sorocaba, v. 13, n. 1, p. 193-207, mar. 2008.
• FREITAS, L. C. de. Qualidade negociada: avaliação e contra regulação na escola pública. Educação e Sociedade , Campinas, v. 26, n. 92, Edição Especial, p. 911-933, out. 2005.
• FREITAS, D. N. T. de. A avaliação da educação básica no Brasil Campinas: Autores Associados, 2007.
• HORTA NETO, J. L. Um olhar retrospectivo sobre a avaliação externa no Brasil: das primeiras medições em educação até o SAEB de 2005. Revista Iberoamericana de Educación, Madrid, v. 42, p. 1-14, 2007.
• SOUSA, S. Z. Possíveis impactos das políticas de avaliação no currículo escolar. Cadernos de Pesquisa , São Paulo, n. 119, p. 175-190, jul. 2003.
• SOUSA, S. Z. 40 anos de contribuição à avaliação educacional. In: COSTA, A. de O.; MARTINS, A. M.; FRANCO, M. L. P. B. (Orgs.). Uma história para contar: a pesquisa na Fundação Carlos Chagas. São Paulo: AnnaBlume, 2004.
• YIN, R. K. Estudo de caso: planejamento e método. Porto Alegre: Bookman, 2001.

Datas de Publicação

• Publicação nesta coleção
  Mar-Apr 2018

Histórico

• Recebido
  04 Maio 2017
• Aceito
  03 Dez 2017