Fatores associados ao desempenho escolar: uma análise da proficiência em matemática dos alunos do 5º ano do ensino fundamental da rede municipal do Rio de Janeiro

Factors associated with school performance: an analysis of math scores by students in the fifth year of elementary schools in the city of Rio de Janeiro, Brazil

Los factores asociados con el desempeño escolar: un análisis de la competencia en matemática de los alumnos de quinto año de la red municipal de enseñanza básica de Río de Janeiro

ARTIGOS

Fatores associados ao desempenho escolar: uma análise da proficiência em matemática dos alunos do 5º ano do ensino fundamental da rede municipal do Rio de Janeiro

Factors associated with school performance: an analysis of math scores by students in the fifth year of elementary schools in the city of Rio de Janeiro, Brazil

Los factores asociados con el desempeño escolar: un análisis de la competencia en matemática de los alumnos de quinto año de la red municipal de enseñanza básica de Río de Janeiro

Gabrielle A. Palermo^I; Denise Britz do Nascimento Silva^II; Maria Salet Ferreira Novellino^III

^ISecretaria de Avaliação e Gestão da Informação (Sagi) do Ministério do Desenvolvimento Social – MDS, Brasília-DF, Brasil ([e-mail])

^IIEscola Nacional de Ciências Estatísticas – Ence do Instituto Brasileiro de Geografia e Estatística – IBGE, Rio de Janeiro-RJ, Brasil ([e-mail])

^IIIEscola Nacional de Ciências Estatísticas – Ence do Instituto Brasileiro de Geografia e Estatística – IBGE, Rio de Janeiro-RJ, Brasil ([e-mail])

^{Endereço para correspondência}

RESUMO

O presente estudo está inserido na linha dos trabalhos que buscam compreender os diferentes fatores que influenciam o funcionamento das escolas da rede pública de ensino brasileira, bem como a sua qualidade, a partir da identificação de variáveis que impactam os resultados escolares, em particular o desempenho dos alunos medido pelos sistemas de avaliação utilizados pelo Inep/MEC. Os fatores que influenciam a proficiência são múltiplos e complexos, contemplando dinâmicas que atuam em diferentes níveis, desde o mais elementar, das características socioeconômicas e culturais dos indivíduos e de suas famílias, até as dinâmicas que ocorrem nas salas de aula, entre professores e alunos, e as características estruturais da escola. Alunos e seus responsáveis, diretores e professores das instituições de ensino são alguns dos atores relevantes que agem sobre o processo latente gerador de maiores ou menores rendimentos escolares. Mais especificamente, o objetivo do presente estudo é analisar os possíveis fatores que influenciam o desempenho escolar dos alunos do 5º ano do ensino fundamental, nas escolas públicas municipais da cidade do Rio de Janeiro. Para tanto, foram utilizados modelos hierárquicos com três níveis, que permitiram avaliar os efeitos de variáveis socioeconômicas e culturais e dos contextos familiares dos alunos, de práticas pedagógicas e estilos de ensinar dos docentes e, ainda, de políticas educacionais, aspectos da gestão e características das escolas. O estudo teve como fonte principal as informações provenientes da Prova Brasil 2007.

Palavras-chaves: Desempenho escolar. Dados da Prova Brasil. Modelo hierárquico

ABSTRACT

This study is included in the line of research which seeks to identify different factors that influence the operation of public schools and their quality by identifying variables that affect educational outcomes, in particular, students' achievements measured by educational assessment procedures conducted by the Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep/MEC). Factors that influence students' proficiency are numerous and complex, and include dynamics operating on different levels, from socioeconomic and cultural features of individuals and their families, through the dynamics that take place in classrooms between teachers and students, and extending to structural features of schools. Significant actors that explain better or weaker student outcomes include students themselves as well as their relatives, school employees, principals and teachers . The objective of this study was to analyze the possible factors that influence the educational achievements of students in the fifth year of public elementary schools in the city of Rio de Janeiro. For this purpose, three-level hierarchical linear models were used to assess the effects of socioeconomic, cultural and family backgrounds of students, teaching practices and styles, and even educational policies, management aspects and other features of schools. The primary data source was Prova Brasil 2007.

Keywords: Student's achievement. Prova Brasil. Hierarchical models

RESUMEN

Este estudio se inserta en la línea de los trabajos que buscan comprender los diferentes factores que influyen en el funcionamiento y la calidad de las escuelas de la red de educación pública brasileña a partir de la identificación de las variables que impactan en los resultados escolares, en particular el desempeño de los alumnos medido por los sistemas de evaluación utilizados por el Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep/MEC). Los factores que influyen en el nivel de competencia son múltiples y complejos, y abarcan dinámicas que operan en diferentes niveles, desde los más elementales, como las características socioeconómicas y culturales de los individuos y sus familias, hasta las dinámicas que se producen en las aulas, entre los profesores y los alumnos, y las características estructurales de la escuela. Los alumnos y sus padres, los directores y los profesores de las instituciones educativas son algunos de los actores relevantes que actúan sobre el proceso latente generador de mayores o menores rendimientos escolares. Más específicamente, el objetivo de este estudio es analizar los posibles factores que influyen en el desempeño escolar de los estudiantes del quinto año de la enseñanza básica en las escuelas públicas municipales de la ciudad de Río de Janeiro. Para ello se utilizaron modelos jerárquicos con tres niveles, lo que permitió evaluar los efectos de las variables socioeconómicas y culturales y de los contextos familiares de los alumnos, las prácticas pedagógicas y los estilos de enseñanza de los docentes y también de las políticas educativas, los aspectos de gestión y características de las escuelas. La principal fuente de información del estudio fueron los datos de la Prueba Brasil 2007.

Palabras clave: Desempeño escolar. Datos de la Prueba Brasil. Modelo jerárquico

Breve histórico: estudos educacionais sobre desempenho escolar

Os fatores que interferem no desempenho escolar são estudados há mais de cinco décadas no cenário internacional. O marco inicial usualmente apontado é o chamado Relatório Coleman, publicado em 1966, que analisa as causas para as diferenças de desempenho entre as escolas norte-americanas (COLEMAN et al., 1966). Concluiu-se com esse estudo que as diferenças de infraestrutura e equipamentos entre as escolas, assim como a qualidade do seu corpo docente ou de seus currículos, sua localização e mesmo o nível socioeconômico das escolas, não justificavam a grande variação de desempenho entre os alunos de diferentes escolas, ou seja, não importava a escola em que os alunos estudavam. Segundo a pesquisa, o principal fator responsável pelas disparidades de desempenho eram as diferenças socioeconômicas individuais entre os alunos (BROOKE; SOARES, 2008; ALBERNAZ et al., 2002; ALVES; SOARES, 2007; RIANI; RIOS-NETO, 2008).

O Relatório impulsionou discussões e estudos sobre os possíveis efeitos escolares no desempenho acadêmico. Primeiramente, como as diferenças entre as escolas americanas eram poucas, havia dúvidas sobre o que aconteceria em situações em que tais diferenças contextuais fossem maiores. Existiam, além disso, restrições sobre os procedimentos analíticos aplicados aos dados, que foram considerados deficitários em diversos aspectos. Desde então, muitos trabalhos sobre o tema foram feitos por pesquisadores de diferentes países (principalmente na Inglaterra e nos Estados Unidos), utilizando os mesmos dados coletados por Coleman e seus colegas, mas aplicando diferentes métodos de análise, ou realizando novas pesquisas, para conhecer outras realidades educacionais e buscar novas variáveis passíveis de interferência no desempenho dos alunos que pudessem efetivamente mensurar a relevância dos contextos escolares(BROOKE; SOARES, 2008; RIANI; RIOS-NETO, 2008).

Assim, o Relatório Coleman foi alvo de críticas, principalmente no que tange aos efeitos de agregação, que ocorrem "quando uma variável tem sentidos substancialmente diferentes para diferentes níveis hierárquicos" (BROOKE; SOARES, 2008, p. 223), ou seja, as hipóteses sobre o modo como uma variável age sobre o desempenho podem variar conforme a mudança da unidade de análise.

Outra crítica importante ao relatório foi a falta de variáveis que caracterizassem os processos internos das escolas, tais como expectativas e dinâmicas do professor, tempo de aula utilizado para atividades acadêmicas, organização e gestão da escola, além do clima escolar. Com isso, a linha de estudo sobre a eficácia escolar começou a ser desenvolvida, a partir de estudos como os de Hanushek (1970), Bloom (1976), Brookover (1978), Rutter et al. (1979) e Willms (1992).

Um avanço importante para os estudos sobre o desempenho escolar e, por conseguinte, sobre o efeito das escolas foi o advento, na década de 1970, dos modelos hierárquicos, que respeitam a estrutura aninhada dos dados escolares ao considerarem variáveis ao nível da escola ou da turma, resolvendo o problema do vício de agregação dos modelos lineares clássicos. Ao mesmo tempo, estes modelos permitem que a análise do desempenho escolar utilize informações individuais por aluno conjuntamente com dados dos níveis superiores, melhorando, assim, as estimativas dos efeitos (ALVES; SOARES, 2007).

A princípio, os modelos de regressão linear foram desenvolvidos para análise de dados independentes, porém, esse pressuposto não é válido para os dados escolares, pois estudantes de uma mesma turma podem ter desempenhos mais próximos se comparados a estudantes de turmas diferentes, devido à sua convivência diária e por estarem submetidos aos mesmos processos de ensino, ou seja, as unidades de análise são correlacionadas. A metodologia continuou a ser desenvolvida, principalmente na Inglaterra pelos pesquisadores Harvey Goldstein e Anthony Bryk, que reformularam os modelos de regressão para que fossem adequados aos dados que apresentassem essa estrutura de correlação. Na década de 1980, a modelagem hierárquica começou a ser utilizada na pesquisa educacional, permitindo quantificar os efeitos das escolas e avaliar a influência dos diversos fatores no desempenho dos alunos, por meio da utilização de variáveis relacionadas aos diferentes níveis de análise, a saber: escola, turma ou o próprio aluno (BROOKE; SOARES, 2008).

No Brasil, o estudo sobre a qualidade da educação intensificou-se, principalmente, com a consolidação do Saeb, em 1995. A entrada tardia do Brasil na pesquisa sobre eficácia escolar "permitiu que os métodos mais adequados fossem usados de imediato" (BROOKE; SOARES, 2008, p. 11). Nesse sentido, os primeiros estudos brasileiros que analisaram o desempenho escolar (FLETCHER, 1997; MAMBRINI et al., 1999; FERRÃO; FERNANDES, 2001; CESAR; SORES, 2001; ALBERNAZ et al., 2002) já dialogavam com outros trabalhos similares desenvolvidos em outras partes do mundo.

Os estudos realizados no Brasil que consideram a estrutura hierárquica dos dados educacionais confirmam os resultados internacionais, segundos os quais a escola tem um claro papel na vida escolar de seus alunos. Porém, os valores nacionais do efeito-escola são maiores (RIANI; RIOS-NETO, 2008), mesmo controlando a influência do nível socioeconômico dos alunos (tido como fator preponderante para o desempenho escolar). Além disso, os percentuais da variabilidade do desempenho explicada pelas escolas são superiores aos observados internacionalmente, principalmente quando se consideram conjuntamente as redes privada e pública, bem como no interior de cada uma delas (ALVES; FRANCO, 2008).

Assim, o presente trabalho está inserido no âmbito dos estudos que buscam identificar variáveis com impacto sobre o desempenho escolar, seja por meio da análise dos efeitos de características pessoais e sociais dos alunos, seja a partir de recursos e estruturas escolares, fatores estes comuns na literatura acadêmica sobre o assunto, além de estudar elementos ainda pouco abordados no Brasil, como o efeito dos pares, efeitos específicos de composição de turmas dentro das escolas e características dos professores, ou ainda os efeitos relacionados ao território em que as escolas estão localizadas.

Recortes analíticos: variável dependente e universo de alunos e escolas

Para estudar os condicionantes do desempenho escolar, a variável dependente utilizada foi a proficiência dos alunos, medida a partir de um teste padronizado de matemática, com ênfase em resolução de problemas. As pontuações dos alunos neste teste têm como fonte a Prova Brasil aplicada em 2007, com uma escala de proficiência que varia entre 0 e 500. A opção em trabalhar com as provas de matemática deve-se ao fato de que alguns autores (BARBOSA, 2005 apud ANDRADE; SOARES, 2008; RODRIGUES et al., 2011) apontam que esta disciplina seria mais afetada pela qualidade das aulas e da própria escola do que a proficiência em língua portuguesa, sobretudo nas séries iniciais. As habilidades de leitura, por sua vez, seriam fortemente influenciadas pelo capital cultural que os alunos trazem de casa.

No que se refere aos alunos, uma informação fundamental é a sua série ou o ano em que está matriculado. A Prova Brasil é aplicada aos finais de segmento do ensino fundamental (EF), portanto, ao 5º e ao 9º anos. No presente trabalho, optou-se por abordar apenas os alunos do primeiro segmento, por dois motivos. Primeiramente, porque havia o interesse em estudar efeitos das turmas sobre o aprendizado e o desempenho dos alunos, considerando informações a respeito da composição das turmas, bem como do papel do professor. No primeiro segmento do ensino fundamental, a existência de um único professor para todas as disciplinas tornaria esse papel ainda mais importante, na medida em que os alunos convivem com ele por mais tempo. Além disso, essa associação unívoca facilita a produção de indicadores para as turmas, dado que apenas um único professor preenche o questionário (SOARES, 2005).

Outro fator que pesou na escolha do primeiro segmento remete ao argumento colocado por alguns autores e pesquisadores do campo da educação de que o efeito da escola seria mais forte neste segmento (SOARES, 2005). Por serem alunos mais jovens, o peso das suas trajetórias de vida e escolar seria menor (FERRÃO; FERNANDES, 2001; RODRIGUES et al., 2011), permitindo que a escola atue com maior intensidade nestes primeiros anos de formação, em comparação com os alunos do final do segundo segmento.

No que tange às escolas, são relevantes as informações a respeito das redes de ensino, de seu caráter público ou privado e do sistema de ensino ao qual pertencem. Nesse sentido, salienta-se que o universo do presente estudo restringe-se às escolas da rede pública municipal da cidade do Rio de Janeiro. Algumas destas escolhas devem-se simplesmente à limitação dos dados, já que a Prova Brasil apenas avalia alunos da rede pública urbana de ensino. Tal restrição tem como resultado imediato uma redução considerável da variabilidade entre as escolas e, por conseguinte, do efeito-escola. Dentro da rede pública de ensino, por sua vez, foram selecionadas apenas as escolas municipais que possuíam, em 2007, o 5º ano, as quais respondiam por aproximadamente 97% dos alunos, segundo os dados da própria Prova Brasil, enquanto as escolas das redes estadual e federal continham os outros 3%.

O sistema de ensino municipal carioca é um dos mais antigos do Brasil e, segundo a Secretaria Municipal de Educação, possui a maior rede de escolas públicas da América Latina, ultrapassando 1.000 estabelecimentos, dos quais mais de 750 atendem aos mais de 60.000 alunos matriculados apenas no 5º ano. Nesse contexto, considerando o número de escolas e ainda a própria configuração geográfica e social da cidade, com todas as suas desigualdades, partiu-se do pressuposto de que existem diferenças substanciais entre as escolas, em termos de composição, contextos e práticas escolares, passíveis de serem analisadas em prol do aprimoramento da qualidade do ensino na cidade.

Finalmente, cabe ressaltar que a análise não incluiu todas as escolas que participaram da Prova Brasil 2007. Este último recorte metodológico refere-se à seleção de escolas com pelo menos duas turmas. Esta questão aparece na literatura sobre modelagem de dados escolares quando é discutido o número mínimo de turmas a ser considerado em análises hierárquicas com três níveis, em que o terceiro nível é a escola. Por exemplo, Soares (2005) retirou de suas análises as escolas com número de turmas inferior a quatro, procedimento que, segundo o autor, visou assegurar uma variabilidade mínima para a estimação das estatísticas para o nível da escola.

Assim, dado o interesse em trabalhar tanto efeitos das turmas como o efeito das escolas, considerou-se a necessidade de assegurar uma variabilidade mínima e, ao mesmo tempo, visando não perder muitas escolas para a análise, foi reduzido o ponto de corte para dois.

Informações sobre a base de dados

A construção da base de dados utilizada nas análises teve como ponto de partida o banco de dados dos alunos que fizeram a Prova Brasil em 2007. A planilha com as informações sobre a proficiência, que contém basicamente as notas dos alunos nos testes padronizados, foi inicialmente associada à base de dados com as informações processadas do questionário socioeconômico, ou simplesmente Questionário do Aluno, que é respondido após a prova.

A Prova Brasil possui ainda outros instrumentos de coleta de informações sobre as atividades e as características das escolas. Estes são os questionários contextuais preenchidos pelo diretor e pelos professores de cada série e disciplina avaliadas, contendo informações que podem ser utilizadas nos níveis superiores do modelo hierárquico. Existe ainda o Questionário da Escola, que é preenchido por um aplicador externo à escola e que possui dados sobre a infraestrutura física do estabelecimento de ensino, a manutenção das salas e a conservação dos equipamentos e do prédio em que funciona a escola.

Após a agregação de todas estas planilhas, passou-se a buscar informações em outras fontes de dados: o Censo Escolar de 2007, também do Inep; e o Censo Demográfico realizado pelo IBGE em 2000, com informações para os setores censitários. Do Censo Escolar, foram extraídas informações sobre infraestrutura, que apresentavam muitos casos perdidos no Questionário da Escola, da Prova Brasil, bem como dados sobre os totais de professores, alunos e funcionários, que serviram também como denominadores para alguns dos indicadores criados.

Com base no Censo Demográfico 2000, por meio de técnicas de análise espacial, foram identificados os setores censitários que continham escolas, com a sobreposição entre uma malha de escolas georreferenciadas e a malha dos setores censitários. A partir daí, para cada um dos setores previamente selecionados, foram listados todos os setores adjacentes, gerando um banco de dados de setores/escolas e vizinhos. As variáveis escolhidas foram então agregadas para produzir um banco de escolas compatível com as demais planilhas. Assim, nesse novo banco, associaram-se às escolas variáveis que representam sua vizinhança, ou as características sociais e econômicas de seu entorno imediato. Esse trabalho permitiu incorporar às análises uma perspectiva associada ao território em que a escola está localizada, possibilitando ainda considerar a proximidade das escolas com as favelas da cidade do Rio de Janeiro. Foram criadas uma variável dicotômica indicando se a escola possuía em seu entorno imediato algum setor considerado favela, ou aglomerado subnormal, na terminologia empregada pelo IBGE, e outra variável que contabilizou o percentual de população residente em favelas no entorno na escola.

Um dos problemas enfrentados para a construção da base de dados foi a compatibilização dos questionários respondidos por alunos, professores e diretores, já que em alguns casos existiam turmas ou escolas ausentes da base de alunos e vice-versa. Além destas compatibilizações, foi necessário retirar da base de dados as escolas com apenas uma turma, devido à decisão metodológica de não incorporá-las nas análises. Este procedimento causou uma perda de apenas 13% das escolas em contraposição à perda de aproximadamente 80,9% se fosse utilizado o critério apontado por Soares (2005).¹

Assim, considerando os ajustes na base de dados original, ou seja, a compatibilização dos questionários e a exclusão das escolas com somente uma turma, a base final que foi utilizada nas análises contou com 48.238 alunos dispostos em 1.642 turmas e 584 escolas.²

Outra questão importante sobre o banco de dados construído diz respeito à não resposta, ou casos com valores faltantes (missings) nas variáveis explicativas, o que pode ser particularmente sério em variáveis relevantes como a escolaridade dos pais, para a qual o percentual destes casos chegou a aproximadamente 30%.

Tendo em vista as características do banco de dados, pensou-se em desenvolver duas opções de análise. A primeira seria realizar o estudo somente a partir dos dados presentes, desconsiderando os casos que contêm um ou mais valores faltantes. Na segunda análise, a não resposta seria imputada, para então comparar os dois resultados. Porém, os casos que contêm pelo menos um valor faltante representam mais de 50% do banco de dados, o que sugere que estes não são aleatórios, ou seja, além de o poder de análise tornar-se menos robusto pela alta redução dos casos, a análise restrita aos dados presentes teria possivelmente um viés.

Assim, optou-se por trabalhar somente com a segunda forma de análise. Seguindo os procedimentos adotados por Klein (2010), imputaram-se estes valores de modo semelhante ao utilizado pelo autor, a partir de um método de alocação no qual as respostas faltantes das variáveis explicativas do modelo assumiram as categorias cujo valor da proficiência média fosse mais próximo da proficiência do aluno na prova de matemática. O mesmo procedimento foi utilizado para imputar características dos professores e dos diretores, nos níveis da turma e da escola, respectivamente.

O intervalo de variação da proficiência em matemática dos alunos do 5º ano do EF na Prova Brasil 2007, considerando-se as escolas municipais da cidade do Rio de Janeiro, está definido entre aproximadamente 87 e 359 pontos, sendo que o desempenho médio dos alunos do 5º ano foi de 193 pontos. A distribuição das pontuações pode ser interpretada a partir da terceira meta do movimento Todos Pela Educação (2011). Seu objetivo é ter, no ano de 2022, mais de 70% dos alunos do 5º e 9º anos do ensino fundamental e do 3º ano do ensino médio, das redes pública e privada, com "desempenhos superiores a respectivamente 200, 275 e 300 pontos na escala de Português do SAEB, e superiores a 225, 300 e 350 pontos na escala de matemática" (TODOS PELA EDUCAÇÃO, 2011).

Considerando assim o nível 225 satisfatório para a proficiência em matemática para alunos 5º ano do EF, observa-se que os alunos possuem um nível médio de proficiência 32 pontos abaixo da meta. Com base nas medidas de posição³, verifica-se que 25% dos alunos (1º quartil) possuem pontuação inferior a 164, sendo que 75% não chegam ao ponto de corte que define o nível satisfatório (3º quartil é igual a 220,83).

Modelo hierárquico para análise dos condicionantes do desempenho escolar

A escolha por um modelo de três níveis hierárquicos se justifica, teoricamente, pela inclusão de variáveis tanto das turmas quanto das escolas, bem como pela avaliação de que a inclusão possa ser justificada estatisticamente. Neste sentido, antes de iniciar o ajuste do modelo contendo as variáveis explicativas, foram testadas diferentes configurações para os níveis analíticos, conjugando alunos, turmas e escolas com o propósito de analisar a contribuição dos diferentes níveis hierárquicos dos modelos. Para tanto, ajustaram-se inicialmente dois modelos de dois níveis e um de três níveis, a saber: alunos e turmas; alunos e escolas; e alunos, turmas e escolas. A partição da variabilidade de cada modelo, de acordo com os níveis, é apresentada na Tabela 1.

Segundo a terminologia aplicada em Palermo (2011), o percentual de variância explicada pela turma é denominado efeito-turma, enquanto o percentual explicado pela escola é chamado de efeito-escola. Na comparação entre os modelos de dois níveis, observa-se que, para as escolas municipais da rede pública carioca, o efeito-turma (17,7%) é consideravelmente maior do que o efeito-escola (10,7%). Esse resultado parece indicar, como já defenderam alguns autores (ALVES; SOARES, 2007), que os fenômenos que ocorrem no âmbito das turmas seriam mais incisivos no desempenho dos alunos.

No modelo de três níveis, por sua vez, a variabilidade do nível superior é dividida em duas componentes, que, se somadas, resultam aproximadamente no mesmo percentual de variância explicado somente pela turma, estimado pelo primeiro modelo de dois níveis. Nesse sentido, a partição do terceiro nível parece proporcionar maior precisão conceitual, uma vez que parte da variabilidade atribuída à turma era, na verdade, produto das diferenças entre as escolas. Por outro lado, utilizar um modelo que tem apenas a escola como nível explicativo também não parece o procedimento metodológico mais apropriado, pois os resultados mostram que, ao se desconsiderarem as diferenças entre as turmas, boa parte da variabilidade que poderia ser explicada nos níveis superiores se perde.

Considerando que o modelo de dois níveis, com alunos e turmas, e o de três níveis, com alunos, turmas e escolas, possuem resultados praticamente iguais em termos de percentual da variância explicada pelos níveis superiores, poder-se-ia questionar se o modelo de dois níveis, o mais simples, é significativamente melhor do que o modelo mais complexo. Para testar esta significância estatística entre ambos os modelos, foi realizado o teste da razão de verossimilhanças, cujos resultados apontam para a significância do modelo com três níveis em relação àquele com dois níveis, reforçando assim a necessidade da utilização do terceiro nível de análise.

Com isso, partindo do modelo nulo, é possível iniciar a modelagem dos condicionantes do desempenho escolar. O modelo hierárquico com intercepto aleatório, considerando alunos, turmas e escolas, pode ser generalizado a partir das equações 1 e 2 (BRYK; RAUDENBUSH, 1992).

Onde:

f =, 1,..., F variáveis do nível 1;

s = 1, ..., S variáveis do nível 2;

t = 0, 1, ..., T variáveis do nível 3;

i = 1, ..., I_jk alunos na j-ésima turma da k-ésima escola;

Y_ijk: desempenho escolar do aluno i que estuda na turma j da escola k;

β₀: média geral do desempenho escolar, considerando os alunos de todas as escolas;

β_0jk: intercepto da turma j da escola k;

X_fijk: variáveis associadas às características individuais dos alunos;

W_sjk: variáveis associadas às características das turmas;

Z_tk: variáveis associadas às características das escolas;

β_f, γ_s, π_t: efeitos das variáveis dos alunos, turmas e escolas, respectivamente;

e_ijk, u_jk, υ_k: efeitos aleatórios dos níveis 1, 2 e 3, respectivamente;

e_ijk ~ N(0, σ_e²), u_jk ~ N(0, σ_u²), υ ~ N(0, σ_υ²).

Com base na revisão bibliográfica foi elaborado um quadro conceitual (Quadro 1), utilizado como referência para orientar a busca por variáveis explicativas e para interpretar os resultados dos modelos ajustados. Os principais estudos que serviram de base para o desenho do quadro foram: Alves (2006, 2009); Alves e Soares (2007); Andrade e Soares (2008); Bourdieu (1999); César e Soares (2001); Ferrão e Fernandes (2001, 2003); Franco et al. (2003); Klein (2006, 2010); Mambrini et al.(1999); Reynolds e Teddli (2000); Ribeiro e Koslinski (2010); Soares (2004, 2007, 2009); Soares (2005); Willms (1992).

O quadro tem como base os três níveis explicativos que foram empregados na modelagem hierárquica: perfil dos alunos; características das salas de aula; e características dos estabelecimentos de ensino. Os níveis foram divididos em constructos que representam os atores, práticas e processos capazes de afetar o desempenho.

Com isso, tomando como base o quadro conceitual, foi realizada uma primeira avaliação das perguntas e informações existentes nos questionários socioeconômicos e contextuais da Prova Brasil 2007, bem como dos dados disponíveis no Censo Escolar 2007 e no Censo Demográfico 2000. Nessa triagem inicial, na qual foram selecionadas as variáveis que seriam testadas e verificados os indicadores que poderiam ser construídos, consideram-se como critérios a relevância teórica da variável para cada um dos constructos, as variáveis que já tivessem sido utilizadas em outros estudos e a covariação univariada com a proficiência dos alunos.

A partir daí, as variáveis escolhidas e os indicadores criados foram organizados e classificados segundo o seu nível, o constructo e os subconstructos em que se enquadravam, sua fonte, o formato de registro da variável e o sentido esperado da relação com a variável dependente. No total, foram testadas 188 variáveis, 17 sobre o perfil dos alunos, 70 para o nível da turma e 101 referentes às características das escolas.

Condicionantes do desempenho escolar: análise dos resultados da modelagem estatística

Para analisar os efeitos dos diferentes níveis, constructos e variáveis no desempenho de matemática, foram utilizados modelos de regressão hierárquica com três níveis, já que a incorporação dos níveis da turma e da escola, além de trazer vantagens conceituais, permite testar simultaneamente variáveis destes dois níveis superiores, sem contar que possui vantagens estatísticas evidentes. A partir daí, coloca-se a questão da construção dos modelos em termos dos critérios de inclusão e seleção das variáveis que irão compor o modelo, e ainda das estatísticas que serão empregadas para testar as significâncias destas variáveis.

O processo de modelagem partiu do modelo nulo, ao qual as variáveis explicativas potencialmente capazes de afetar o desempenho foram sistematicamente adicionadas. A inclusão de variáveis no modelo nulo seguiu alguns critérios: o nível explicativo da variável; o constructo e o subconstructo da variável; e a força da associação com o desempenho mensurada separadamente para cada variável.

Dessa forma, iniciou-se a construção do modelo com a inclusão de variáveis dos alunos e, em seguida, das turmas e das escolas. Após esse primeiro critério, foi utilizado o quadro conceitual para orientar a ordem em que os blocos de variáveis seriam incorporados. De modo geral, os blocos referentes aos constructos que representam fenômenos mais gerais e mais amplos foram os primeiros a serem selecionados, considerando-se posteriormente a inclusão de variáveis dos constructos mais específicos e peculiares das unidades dos níveis de análise. Assim, para o nível dos alunos, por exemplo, iniciou-se pelos constructos que representavam aspectos familiares, para só depois incluir as características pessoais do aluno. Por fim, para cada constructo, a análise foi iniciada a partir da variável com maior associação com o desempenho. A Tabela 2 traz os resultados do modelo final ajustado⁴. A descrição das variáveis significativas incluídas neste modelo encontra-se no Apêndice.

Em relação ao primeiro nível, é importante notar que o indicador de NSE, assim como as demais variáveis numéricas no nível do aluno, está centrado na média da turma. Isto significa que seu coeficiente deve ser interpretado em termos do impacto na nota do aluno, que possui o incremento ou a redução de uma unidade de seu NSE em relação ao nível socioeconômico médio da turma.

Assim, o coeficiente estimado de 0,1 aponta uma relação diretamente proporcional entre o NSE⁵ e o desempenho do aluno, na qual, controlados os efeitos das outras variáveis presentes no modelo, se o NSE do aluno é maior do que a média da turma em uma unidade, sua proficiência aumentaria em aproximadamente um décimo. A título de ilustração, considerando o intervalo de variação do indicador de NSE (que varia de -21,7 até 29,5), o maior efeito deste indicador para um aluno seria 2,9 pontos de proficiência e o menor efeito seria uma redução de 2,2 pontos, ou seja, uma diferença líquida de 5,1 pontos de proficiência.

As outras variáveis do constructo capital socioeconômico parecem ter maior impacto do que o indicador de NSE. O indicador de densidade domiciliar apresentou um coeficiente negativo, que indica uma relação inversamente proporcional com o desempenho, seguindo os resultados achados por Alves (2006), apesar de a autora ter trabalhado com o total de crianças na residência. Assim, a diferença entre o aluno que possui o valor mínimo e aquele que possui o valor máximo para este indicador chega a aproximadamente 7 pontos de proficiência. Já a variável que representa o trabalho infantil registrou o maior efeito do constructo, na medida em que os alunos que trabalham fora de casa perdem em média 8 pontos de proficiência em relação aos que não trabalham, corroborando com achados de Machado et al. (2008) e Gonçalves et al. (2010).

No que tange ao capital cultural familiar,⁶ a análise dos coeficientes foi iniciada a partir da variável escolaridade máxima dos pais, mensurada como uma variável indicadora, apontando os pais ou responsáveis pelo aluno que completaram o ensino médio, mas não o ensino superior. O coeficiente de 24,7 confirmou a importância atribuída a essa variável em outros estudos, como em Sores (2005) e Alves e Soares (2009), porém, para estes, a categoria com maior influência foi o ensino superior. O efeito mais elevado desta variável, em relação àquele obtido ao se considerarem também os pais com ensino superior, constitui um resultado intrigante não explicado pela teoria.

Ainda no que se refere ao capital cultural, os dois indicadores sintéticos utilizados foram positivos, indicando que quanto maior o capital cultural da família maior será o desempenho do aluno, de acordo com os achados em Soares (2005), Gonçalves et al. (2010), Machado et al. (2008) e Couri (2008), apesar de calculados de modo diferente em relação aos outros estudos. O coeficiente estimado para o capital cultural incorporado (NCCI)⁷ foi de 2,7, indicando uma diferença de até 28 pontos entre alunos nos dois extremos da distribuição da proficiência. Os incrementos em termos de capital cultural objetivado (NCCO)⁸ são mais modestos, de modo que a variação nos níveis de NCCO do aluno pode chegar a 5,2 pontos, considerando-se o pior e o melhor cenários.

A última variável do constructo capital cultural mensura o tempo gasto com televisão, medido em horas. A variável possui um termo linear e um termo quadrático que modelam uma relação na qual a proficiência cresce em um primeiro momento, chegando a um efeito máximo de acréscimo sobre a proficiência, a partir do qual a relação se inverte e o tempo que o aluno gasta com a TV passa a atrapalhar seu desempenho escolar, reduzindo sua proficiência. Assim, controlados todos os efeitos das demais variáveis, o impacto da TV seria benéfico até aproximadamente uma hora de diferença em relação à média da turma. É importante notar que a literatura, como em Couri (2008) e Mambrini et al. (1999), considera a influência da televisão no desempenho dos alunos, porém, sem estudar o efeito quadrático desta variável.

Maiores níveis de capital social familiar⁹ também estão associados a maiores notas, resultado também observado por Klein (2010) e Couri (2008). Assim, cada incremento de uma unidade no indicador de capital social (NCS) em relação à média calculada para a turma se traduz em um aumento na proficiência de 0,8. Esta variável mensura um tipo bastante específico de capital social, que é aquele relacionado ao interesse dos pais na educação dos filhos e à supervisão que estes exercem na vida escolar do aluno, por meio de incentivos, presença na escola e conversas com os filhos sobre o cotidiano escolar.

Com o constructo estrutura e arranjos familiares, seria possível esperar que ambos os pais poderiam intervir na vida escolar da criança, ou existiriam pelo menos maiores possibilidades de que um dos pais se preocupasse diretamente com a educação, como mostra Alves (2006). Nesse sentido, a última variável que trata do papel da família na vida escolar procura representar o arranjo familiar com o qual o aluno convive, indicando se ele vive com os dois responsáveis, mesmo que não sejam pais biológicos. Esta variável apresentou um peso relativamente pequeno, uma vez que os alunos com a presença de ambos os responsáveis em casa apresentaram, em média, um incremento de apenas 1,2 ponto em suas notas, controlando pelas outras variáveis presentes no modelo.

No que se refere aos aspectos pessoais dos alunos que afetam seu desempenho, uma primeira dimensão relevante foi a sua trajetória escolar. Dessa forma, se o aluno já possuía um histórico de repetência, com mais de uma reprovação ou muitos abandonos, por exemplo, sua proficiência, como de fato era esperado, em termos de resultados a serem preditos, é menor, da mesma forma que observam os estudos de Albernaz et al.(2002), Franco et al. (2007), Machado et al. (2008) e Ribeiro e Koslinski (2010). Cada reprovação ou abandono adicional do aluno em relação à média da turma representa uma redução de 3,7 pontos de proficiência. O diferencial em um cenário que compare o aluno com máximo observado em termos de repetência e um aluno que nunca foi reprovado, ou abandonou os estudos, chega a 22 pontos de proficiência.

As outras duas variáveis de trajetória escolar dizem respeito a dois eventos específicos. A primeira indica se o aluno estudou em uma escola particular antes de ingressar na rede pública de ensino, o que aumentaria sua proficiência, em média, 4,3 pontos. A segunda variável indica se o aluno cursou a pré-escola, o jardim de infância ou mesmo o maternal. Os alunos que ingressam mais cedo na escola têm, em média, uma proficiência superior em 6 pontos, de acordo com os achados em Soares (2005), Gonçalves et al. (2010) e Klein (2006, 2010).

Construiu-se apenas um indicador para medir as atitudes e o compromisso dos alunos com os estudos e com a escola. Este constituiu um indicador sintético construído a partir dos relatos dos alunos sobre a frequência com que faziam os deveres de matemática e português. Os resultados do modelo apontaram que um maior compromisso implicava notas mais altas, em consonância com os modelos teóricos de Andrade e Soares (2008) e Franco et al. (2003). Assim, o aumento de uma unidade em relação à média da turma leva a um incremento na nota de 2,2 pontos, em média. No limite, a diferença entre um aluno que nunca faz os exercícios e um que sempre cumpre suas tarefas pode chegar a 21 pontos de proficiência.

No que diz respeito às características sociodemográficas do aluno, observam-se variações na proficiência segundo sexo, cor e idade do aluno. Na variável sexo, os meninos formaram a categoria de referência, de modo que o coeficiente estimado mostra que os meninos possuem, em média, uma proficiência superior à das meninas em 5,7 pontos, em consonância com os estudos de Mambrini et al. (1999), César e Soares (2001), Albernaz et al. (2002), Franco et al. (2007), Klein (2010) e Ribeiro e Koslinski (2010). No modelo final, a cor do aluno conta com apenas duas categorias (pretos e não pretos¹⁰). Os alunos que se declararam pretos têm em média 6,8 pontos a menos na proficiência, diferença também apontada por Andrade e Soares (2008b). Considerando-se que o modelo controla os efeitos de outras variáveis e que no modelo existem variáveis diversas que mensuram condições tanto materiais quanto culturais das famílias, é possível afirmar que esta categoria possui importância a despeito do nível social e econômico dos alunos.

A idade do aluno, calculada em anos completos e ajustada para 30 junho,¹¹ foi incluída no modelo com um termo linear e outro quadrático, coeficientes igualmente estimados por Klein (2010). Estes dois coeficientes modelam uma relação na qual a proficiência dos alunos é maior quando sua idade está próxima à média da turma. Grandes defasagens em relação à turma na qual o aluno estuda, em termos tanto de atraso quanto de adiantamento, diminuem o desempenho. Os alunos atrasados possuem piores resultados para um mesmo intervalo de variação.

Dos resultados do nível da turma, pode-se inferir que, de modo geral, turmas cujo alunado possui maior capital (socioeconômico e cultural), em relação à média da escola, possuem melhores resultados em termos de desempenho. Dessa forma, o incremento de uma unidade na média da densidade domiciliar dos alunos de uma turma, por exemplo, em relação à média desta mesma variável calculada para sua escola, significa, em média, uma redução de 9,1 pontos na proficiência dos alunos desta turma. Na prática, considerando o intervalo de variação desta variável (de -0,3 a 0,4), este coeficiente se traduz em uma diferença máxima de 6,3 pontos de proficiência entre alunos de turmas com a melhor e a pior situação, como pode ser visto na Tabela 3. O mesmo exercício pode ser realizado para as demais variáveis.

Estes coeficientes de composição do alunado da turma, por serem centrados na média da escola, referem-se à diferenciação entre as turmas dentro de uma mesma escola, podendo, nesse sentido, evidenciar políticas de composição de turmas, segundo critérios de proficiência ou idade dos alunos. Essa relação parece bastante clara quando nos referimos às variáveis de trajetória escolar, como a repetência, por exemplo, mas o mesmo raciocínio pode ser aplicado às variáveis que representam os capitais.

Assim, as políticas de atribuição de alunos às turmas, ao dividir os alunos pelo seu desempenho, os dividiriam também em termos de seu capital cultural e socioeconômico, devido à correlação de todos estes elementos. Tais políticas podem induzir desigualdades no âmbito da escola, como mostram Costa e Koslinski (2008). Os efeitos de pares, decorrentes da composição diferenciada, podem ainda produzir efeitos positivos de interação para as turmas "boas" e negativos para as turmas "ruins", aumentando ainda mais as desigualdades iniciais entre as turmas. Por outro lado, Rodrigues et al. (2011) discutem que a composição heterogênea das turmas pode provocar a queda de rendimento dos alunos com melhor desempenho.

Em relação ao impacto das percepções do professor sobre o desempenho, traduzido pelo constructo expectativas e percepções do professor, somente foi significativa a variável sobre as percepções que atribuíam aos alunos as dificuldades de aprendizado.¹² Os outros indicadores deste constructo, que não foram significativos no modelo, procuravam representar o modo como as percepções e avaliações subjetivas do professor a respeito de diversos atores e situações de seu convívio escolar se convertem em efeitos positivos ou negativos para seus alunos.

Ainda fazem parte das características do professor as variáveis que indicam suas experiências concretas com violência e outros atos ilícitos em sala de aula. Este constructo é composto por diferentes tipos de agressões e faltas disciplinares mais ou menos graves, que vão desde agressões verbais, pequenos furtos, depredações e presença de bebidas alcoólicas na sala de aula, até eventos mais graves, como agressões físicas e atentados à vida do professor, roubos e armas de fogo nas aulas. O mesmo procedimento metodológico adotado na definição dos indicadores de percepção das dificuldades de aprendizagem foi utilizado para definir que variáveis seriam agregadas para a produção de indicadores, conjugando uma interpretação inicial sobre a proximidade das variáveis com a utilização de análise fatorial como técnica exploratória. Os indicadores foram gerados a partir de somas simples de variáveis que indicavam se o professor havia ou não sofrido violência ou presenciado atos ilícitos em sala de aula.

As únicas variáveis significativas foram o indicador de agressões verbais e uma variável indicadora para a presença de armas brancas em sala de aula. O acréscimo de uma unidade no indicador de agressões verbais em relação aos valores médios da escola leva a uma redução de 1,5 ponto na proficiência dos alunos desta turma. Comparando o pior e o melhor cenários, há uma diferença máxima de 3,3 pontos de proficiência. Nas turmas em que o professor relatou ter presenciado alunos frequentando as aulas portando armas brancas (facas e canivetes, por exemplo), há uma redução média da pontuação dos alunos de 2,8.

O último constructo do nível da turma é aquele referente ao estilo do professor e às suas práticas pedagógicas em sala de aula. Neste constructo encontravam-se variáveis sobre prática de elogios e estímulos do professor aos alunos, estilos pedagógicos de ensinar matemática (voltados para automatização e execução de cálculos, ou para raciocínio interpretativo), uso do livro didático, nível de cobertura do conteúdo da disciplina previsto para o ano e prática de correção de trabalhos em sala de aula. Apenas as últimas duas práticas foram estatisticamente significativas.

Assim, os resultados para o segundo nível estão de acordo com o estudo apresentado por Ferrão e Fernandes (2001), que discute o impacto das instituições escolares sobre o desempenho dos alunos, o qual seria, em boa parte, produto do que ocorre nas salas de aula. No mesmo sentido, Alves e Soares (2007) e Reynolds e Teddlie (2000) têm reafirmado que os principais processos escolares acontecem dentro da sala de aula, sendo caracterizados por estas relações entre professores e alunos, indicando, sobretudo, o peso do papel do professor. Os estudos de Cibele e Soares (2001) e Alves e Soares (2007) apontam ainda que a influência mútua entre os alunos que compõem uma turma também constitui um fator significativo para a obtenção de bons resultados escolares.

Após estas considerações sobre os dois primeiros níveis, cabe analisar os coeficientes do terceiro nível. As variáveis numéricas (percentuais e indicadores sintéticos) deste nível foram centradas na grande média, ou média global, e devem ser interpretadas em termos de diferenças médias da escola para a média do conjunto de todos os alunos da base de dados estudada.

Entres os fatores exógenos, apenas a variável que representou o nível de pobreza no território da escola foi significativa, apresentando uma relação inversamente proporcional com o desempenho. Assim, controlando por outras variáveis, o aumento em uma unidade nesta variável para determinada escola, em relação à média geral dos alunos, implica uma redução de 10,7 pontos de proficiência para os alunos desta escola. Porém, considerando o intervalo de variação do indicador (de -0,41 a 0,44), o efeito da pobreza no território pode variar de -4,7 a 4,4 pontos na proficiência média da escola.

É interessante notar que esta variável resistiu à inclusão das variáveis de composição de nível socioeconômico, que poderiam ter maior influência por representarem efeitos mais específicos, das famílias dos próprios alunos, e à incorporação de outras variáveis com efeitos fortes e consistentes, como as de composição de capital cultural, entre elas a escolaridade dos pais, e o histórico médio de repetência dos alunos da escola. Desse modo, a pobreza no território remete à noção de efeito-vizinhança, relacionada aos efeitos que os contextos sociais e condições de vizinhança presentes em determinados bairros e comunidades teriam sobre a vida das pessoas que habitam esses espaços, como é discutido por Ribeiro e Koslinski (2010).

Além disso, dadas as dificuldades de se obter uma boa estimativa para o nível socioeconômico dos alunos das escolas, a partir de variáveis que consideram os bens de consumo presentes nos domicílios, a variável sobre a pobreza no território da escola se mostrou uma alternativa promissora. Por fim, cabe ainda ressaltar que estes efeitos do território foram significativos, apesar da distância temporal entre as fontes (Censo Demográfico 2000 e Prova Brasil 2007), o que mostra uma grande estabilidade desta variável medida para os setores censitários.

Entre as variáveis de composição estão os maiores efeitos no nível da escola. O efeito de composição para a escolaridade dos pais, mensurado pelo percentual de alunos cujos pais completaram o ensino médio (mas não o superior), foi a variável com impacto mais relevante. O coeficiente expressivo de 42,05 atribuído à variação de uma unidade média da escola, em relação à média geral, precisa ser relativizado, na medida em que o intervalo de variação desta variável está entre -0,2 e 0,3. Assim, na comparação entre o pior e o melhor cenários, esta variável possui impactos que vão de -8,5 até 13,7 pontos de proficiência, o que resulta em uma diferença bastante elevada: 22 pontos, aproximadamente.

O nível médio de capital cultural incorporado da escola foi a segunda variável mais forte do terceiro nível, evidenciando a importância deste constructo para a explicação do desempenho dos alunos. Esta variável possui um coeficiente menor, mas um intervalo de coeficiente maior em comparação com a escolaridade dos pais. Estes resultados se traduzem em uma diferença máxima entre os cenários de 19,5 pontos. Completa o constructo dos efeitos de composição dos alunos da escola uma variável de composição racial: o percentual de alunos que se declararam pretos. O coeficiente de -20,56 se traduz, na prática, em uma variação que vai de -4,9 a 4,1 pontos de proficiência, uma diferença de 9 pontos. É interessante notar que essa variável, ao contrário das outras duas referentes à composição do alunado, não foi significativa no nível da turma, apenas no da escola, o que talvez possa ser explicado pela ausência, neste nível, de outras variáveis de composição de nível socioeconômico (como a densidade domiciliar média e o percentual de alunos que trabalham fora) e de trajetória educacional (como o histórico de repetência) presentes no nível da turma. Nesse caso, esta variável de composição poderia estar, de certa forma, compensando parte da variabilidade explicada por estas variáveis, mas não explicada pela variável que mensura pobreza no território da escola. Pode ainda ser explicada por diferenças entre os públicos das escolas que não seriam refletidas entre as turmas. Assim, estes efeitos de composição poderiam ocorrer a partir da seleção diferencial de alunos pelas escolas, não fazendo diferença posteriormente, durante as práticas de atribuição de alunos às turmas. Se os alunos que ingressam em determinada escola já são predominantemente pretos ou brancos, por exemplo, as políticas de composição de turmas podem não fazer diferença nesta dimensão.

Em relação à modelagem, as variáveis de composição das escolas deveriam ser utilizadas para garantir estatisticamente a comparabilidade entre as escolas, controlando a origem social diferenciada dos alunos. Repetições de uma mesma variável em diferentes níveis, como apontam Reynolds e Teddlie (2000), poderiam aumentar o poder explicativo dos modelos e possibilitar uma maior compreensão das relações entre estes níveis.

No constructo características específicas das escolas, o número médio de alunos nas turmas de 5º ano apresentou uma relação inversamente proporcional com o desempenho do aluno, de modo que o acréscimo de uma unidade neste indicador, em relação à média global, representa uma redução de aproximadamente 0,2 ponto de proficiência. A outra variável significativa deste constructo foi o tempo na escola medido em horas, que possui uma associação positiva com o desempenho. O incremento de uma unidade neste indicador, em relação à média global, se traduz em um ganho de proficiência de 0,8 ponto. Na comparação das diferenças entre os cenários pior e melhor, a primeira variável obteve 5,6 pontos de diferença, contra 4,5 pontos do tempo na escola.

Se a correção com regularidade dos deveres de casa pelo professor representa um fator positivo para a turma, o fato de essa prática fazer parte da rotina pedagógica da escola, sendo incentivada pelo diretor e entre os professores, pode ser um indicador importante de um clima acadêmico com foco no aprendizado e que produz melhores resultados educacionais. O coeficiente com sinal positivo desta variável traz o percentual de alunos que afirmaram que seus professores corrigem sempre os trabalhos, indicando que quanto mais recorrente e generalizada é essa prática, maior é a proficiência média da escola. No limite, em escolas onde esta prática é muito pouco usual, onde este indicador é mínimo, apontando um ambiente escolar pautado por outras prioridades, como o bom andamento de processos burocráticos, por exemplo, em que os professores se envolvem fortemente com tarefas administrativas, os alunos teriam seu desempenho reduzido, em média, em 9,6 pontos. Por outro lado, em escolas onde este indicador é máximo e que possuem um clima escolar prioritariamente acadêmico, os ganhos de proficiência dos alunos podem atingir, em média, 3,6 pontos. A diferença entre os dois cenários mais extremos é de 13 pontos de proficiência.

No que tange às políticas de atribuição de professores às turmas – assunto discutido por Costa e Koslinski (2008) e Soares (2004, 2009) –, sendo outra variável categórica, as opções e critérios possíveis eram muitos, incluindo desde critérios baseados na preferência dos professores, passando por sorteio e aqueles com base na manutenção ou revezamento de professores até, talvez os mais interessantes em termos das práticas escolares, os critérios específicos de alocação dos professores mais experientes.

Sobre estes últimos critérios, é identificada, no questionário do diretor, a prática de alocar professores experientes em turmas de aprendizagem mais rápida ou de aprendizagem mais lenta. As análises preliminares mostraram que apenas a primeira destas duas categorias representava um resultado significativamente diferente dos demais critérios, de modo que a variável original foi recodificada como uma variável dicotômica, que contrapôs a prática de alocar professores experientes em turmas de aprendizagem mais rápida aos outros critérios, ou mesmo à falta de critérios estabelecidos. Como resultado no modelo final, observou-se que, quando existe este critério, a proficiência dos alunos aumenta, em média, 5,9 pontos em relação aos alunos das escolas em que outros critérios são empregados.

A Tabela 4 mostra os coeficientes aleatórios estimados para o modelo final. Como era esperado, as maiores diferenças em termos do percentual de variabilidade explicada do modelo final em relação ao modelo nulo ocorreram no segundo e terceiro níveis. O primeiro nível do modelo final somente explicou 22,7% das diferenças iniciais entre os alunos, indicando que é necessário analisar outras variáveis sobre os aspectos pessoais e, principalmente, familiares dos alunos, pois as relações familiares são um constructo de difícil representação, por apresentar diferentes dinâmicas e, consequentemente, influências nas características pessoais dos alunos.

Considerações finais

De acordo com o objetivo deste trabalho – a identificação de fatores que condicionam os desempenhos dos alunos do 5º ano do EF nas escolas municipais da cidade do Rio de Janeiro –, foi possível realizar a modelagem de níveis analíticos ainda pouco recorrentes nos estudos brasileiros, bem como de constructos ainda pouco explorados. Por um lado, a incorporação da turma como nível explicativo possibilitou testar características dos professores e das dinâmicas experimentadas pelos alunos em sala de aula, a partir tanto da relação com o próprio professor quanto de efeitos de grupo pela interação com os pares. Por outro lado, a utilização de modelos de três níveis divide em dois o que os autores comumente apontam como efeito-escola, permitindo vislumbrar o peso diferenciado dos fenômenos que ocorrem nas turmas em relação às características mais gerais da escola.

Procurou-se ainda utilizar variáveis que representassem o território em que as escolas estavam inseridas, uma linha de pesquisa ainda relativamente recente no campo e com alguns resultados promissores. Outro constructo que vale ser mencionado refere-se àquele que buscou mostrar a influência de contextos violentos, com incidência de agressões e eventos ilícitos, e ambientes degradados, sujos e depredados, mensurados a partir dos relatos de professores e diretores.

Observou-se que os fatores que mais incidem no desempenho escolar são provenientes do background do aluno, sejam relativos a características intrínsecas ou provindos de condições familiares. Porém, é possível afirmar que a escola, mesmo que possua um poder explicativo limitado em relação ao aluno, apresenta processos característicos que influenciam o desempenho e os demais resultados escolares, direta ou indiretamente.

Uma das dimensões teoricamente relevantes para explicar esse desempenho diz respeito às dinâmicas que ocorrem cotidianamente nas salas de aula, na gestão da classe e do conteúdo e cobertura das disciplinas, assim como nas diferenças das características dos alunos dentro das turmas e do ambiente da classe. Todos esses elementos fazem com que diferentes resultados educacionais possam ser encontrados para alunos com o mesmo background, mas sujeitos a diferentes contextos escolares e das turmas.

Assim, escolas eficazes possibilitariam a transmissão de competências, valores e hábitos aos estudantes, diminuindo as influências de seus contextos de origem e as dificuldades impostas pela deficiência de background inicial (COSTA; KOSLINSKI, 2008). Consequentemente, a escola aumentaria o capital cultural do aluno, elevando probabilidades de acesso a oportunidades e trazendo benefícios materiais e imateriais (BOURDIEU, 1999).

Finalmente, cabe ressaltar a necessidade de analisar as diferentes interações entre as variáveis, sejam do mesmo nível ou não, intensificando assim a descrição e análise das diferentes dimensões que representam o dia-a-dia dos alunos e, principalmente, permitindo a identificação de variáveis que interferem no aprendizado e, ao mesmo tempo, são passíveis de intervenção por meio de políticas institucionais da própria escola ou de políticas públicas.

Sobre as autoras

Gabrielle A. Palermo é mestre em Estudos Populacionais e Pesquisas Sociais pela Escola Nacional de Ciências Estatísticas (Ence) do IBGE. Consultora do Departamento de Avaliação (DA) da Secretaria de Avaliação e Gestão da Informação (Sagi) do Ministério do Desenvolvimento Social (MDS).

Denise Britz do Nascimento Silva é doutora em Estatística pela University of Southampton. Professora do Programa de Pós-Graduação em População, Território e Estatísticas Públicas da Escola Nacional de Ciências Estatísticas (Ence) do IBGE.

Maria Salet Ferreira Novellino é doutora em Ciência da Informação pela UFRJ. Professora do Programa de Pós-Graduação em População, Território e Estatísticas Públicas da Escola Nacional de Ciências Estatísticas (Ence) do IBGE.

Recebido para publicação em 09/08/2013

Aprovado para publicação em 03/09/2014

• ALBERNAZ, Â.; FERREIRA, F. H. G.; FRANCO, C. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, v. 32, n. 3, dez. 2002.
• ALVES, M. T. G. Efeito-escola e fatores associados ao progresso acadêmico dos alunos entre o início da 5Ş série e o fim da 6Ş série do ensino fundamental: um estudo longitudinal em escolas públicas no município de Belo Horizonte MG. Tese (Doutorado em Educação). Belo Horizonte: UFMG, 2006.
• _________. Composição do alunado e qualidade da educação básica. Revista Contemporânea de Educação, v. 4, n. 8, p. 397-416, ago.-dez. 2009.
• _________. Dimensões do efeito das escolas: explorando as interações entre famílias e estabelecimentos de ensino. Estudos em Avaliação Educacional, v. 21, n. 46, p. 210-296, maio-ago. 2010.
• ALVES, M. T. G.; FRANCO, C. A pesquisa em eficácia escolar no Brasil: evidências sobre o efeito das escolas e fatores associados à eficácia escolar. In: BROOKE, N.; SOARES, J. F. (Orgs.). Pesquisa em eficácia escolar: origem e trajetórias Belo Horizonte: UFMG, 2008, p. 482-500.
• ALVES, M. T. G.; SOARES, J. F. Efeito-escola e estratificação escolar: o impacto da composição de turmas por nível de habilidade dos alunos. Educação em Revista, v. 45, p. 25-28, jun. 2007.
• _________. Medidas de nível socioeconômico em pesquisas sociais: uma aplicação aos dados de uma pesquisa educacional. Opinião Pública, v. 15, n. 1, p. 1-30, jun. 2009.
• ANDRADE, R. J.; SOARES, J. F. O efeito da escola básica brasileira. Estudos em Avaliação Educacional, v. 19, n. 41, p. 379-406, set.-dez. 2008a.
• _________. O efeito da raça/cor no desempenho dos alunos In: V SEMINÁRIO SOCIEDADE INCLUSIVA. Belo Horizonte: PUC-Minas, out. 2008b.
• ARRUDA, L. Desvendando desigualdades de oportunidades em ciências e em matemática relacionadas ao gênero do aluno uma aplicação de modelagem multinível ao SAEB. Revista Brasileira de Investigação em Educação em Ciências, v. 2, n. 3, p. 84-96, 2002.
• BLOOM, B. S. Human characteristics and school learning Nova Iorque: McGraw-Hill, 1976.
• BOURDIEU, P. Os três estados do capital cultural. In: NOGUEIRA, M. A.; CATANI, A. (Orgs.). Escritos de educação 2 ed. Petrópolis, RJ: Vozes, 1999, p. 71-79. Disponível em: <republicavirtual.pbworks.com/f/capitulo+Iv+bourdieu.doc>. Acesso em: 05 jul. 2011.
• BROOKE, N.; SOARES, J. F. (Orgs.). Pesquisa em eficácia escolar: origem e trajetórias Belo Horizonte: UFMG, 2008.
• BROOKOVER, W. B. et al. Elementary school social climate and school achievement. American Educational Research Journal, v. 15, n. 2, p. 301-318, 1978.
• BRYK, A. S.; RAUDENBUSH, S. W. Hierarchical linear models: applications and data analysis methods Newbury Park, California: SAGE Publications, 1992.
• CÉSAR, C. C.; SOARES, J. F. Desigualdades acadêmicas induzidas pelo contexto escolar. Revista Brasileira de Estudos de População, v. 18, n. 1/2, p. 97-110, jan.-dez. 2001.
• COLEMAN, J. S. et al. Equality of education opportunity Washington: Office of Education and Welfare, 1966.
• COSTA, M.; KOSLINSKI, M. Prestígio escolar e composição de turmas explorando a hierarquia em redes escolares. Estudos em Avaliação Educacional, v. 19, n. 40, p. 305-330, maio-ago. 2008.
• CORRÊA, F.; RODRIGUES, J. M. O clima educativo domiciliar e sua distribuição territorial na Região Metropolitana do Rio de Janeiro. In: RIBEIRO, L. C. Q.; KOSLINSKI, M. C.; ALVES, F.; LASMAR, C. (Orgs.). Desigualdades urbanas, desigualdade escolares Rio de Janeiro: Letra Capital; Observatório das Metrópoles; Ippur/UFRJ, 2010, p. 298-306.
• COURI, C. L. Recursos familiares, efeito-escola e desigualdades educacionais entre brancos, pardos e pretos no Brasil Dissertação (Mestrado em Estudos Populacionais e Pesquisas Sociais). Rio de Janeiro: Ence, 2008.
• FERRÃO, M. E. B.; FERNANDES, C. A escola brasileira faz diferença? Uma investigação dos efeitos da escola na proficiência em Matemática dos alunos da 4Ş série. In: FRANCO, C. (Org.). Promoção, ciclos e avaliação educacional Curitiba: ArtMed, 2001.
• _________. O efeito-escola e a mudança dá para mudar? Evidências da investigação brasileira. Revista Electrónica Iberoamerica sobre Calidad, Eficacia y Cambio e Educación, v. 1, n. 1, 2003.
• FLETCHER, P. À procura do ensino eficaz Relatório de Pesquisa. PNUD/MEC/Saeb, 1997.
• FRANCO, C.; FERNANDES, C.; SOARES, J. F.; BELTRÃO, K.; FERRÃO, M. E. B.; ALVES, M. T G. O referencial teórico na construção dos questionários contextuais do Saeb 2001. Estudos em Avaliação Educacional, n. 28, p. 39-74, jul.-dez. 2003
• FRANCO, C.; ORTIGÃO, I.; ALVERNAZ, Â.; BONAMINO, A.; AGUIAR, G.; ALVES, F.; SÁTYRO, N. Qualidade e eqüidade em educação: reconsiderando o significado de "fatores intra-escolares". Ensaio: Avaliação e Políticas Públicas em Educação, v. 15, n. 55, p. 277-298, abr.-jun. 2007.
• GONÇALVES, M. E. et al. Fatores determinantes da qualidade do ensino nas escolas de Minas Gerais: uma análise para a 4Ş série do ensino fundamental. In: XVII ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS. Anais...Caxambu: Abep, set. 2010.
• HANUSHEK, E. The value of teachers in teaching Santa Monica: Rand Corporation, 1970.
• KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, v. 14, n. 51, p. 139-172, abr.-jun. 2006.
• _________. Relatório de caracterização dos fatores de contexto associado ao desempenho do aluno Prova de São Paulo 2009. São Paulo, SP: Prefeitura do Município de São Paulo – SME; Rio de Janeiro: Fundação Cesgranrio, 2010.
• MACHADO, A. F.; MORO, S.; MARTINS, L.; RIOS, J. Qualidade do ensino em matemática: determinantes do desempenho de alunos em escolas públicas estaduais mineiras. Revista Economia, v. 9, n. 1, jan.-abr. 2008.
• MAMBRINI, J.; CESAR, C. C.; SOARES, J. F. Fatores determinantes do desempenho dos alunos mineiros no Saeb de 1995 Belo Horizonte: UFMG, Instituto de Ciências Exatas, Departamento de Estatística, ago. 1999.
• PALERMO, G. A. Fatores associados ao desempenho escolar: uma análise da proficiência em matemática dos alunos do 5ş ano do ensino fundamental da rede municipal do Rio de Janeiro. Dissertação (Mestrado em Estudos Populacionais e Pesquisas Sociais). Rio de Janeiro: Ence, 2011.
• REYNOLDS, D.; TEDDLIE, C. The international handbook of school effectiveness research London/New York: Falmer Press, 2000.
• RIANI, J. L. R.; RIOS-NETO, E. L. G. Background familiar versus perfil escolar do município: qual possui maior impacto no resultado educacional dos alunos brasileiros? Revista Brasileira de Estudos de População, v. 25, n. 2, p. 251-269, jul./dez. 2008.
• RIBEIRO, L. C. de Q.; KOSLINSKI, M. C. Fronteiras urbanas da democratização das oportunidades educacionais: o caso do Rio de Janeiro. In: RIBEIRO, L. C. de Q.; KOSLINSKI, M. C.; ALVES, F.; LASMAR, C. (Orgs.). Desigualdades urbanas, desigualdade escolares Rio de Janeiro: Letra Capital, Observatório das Metrópoles, Ippur/UFRJ, 2010, p. 121-153.
• RODRIGUES, C. G.; RIOS-NETO, E. L. G.; PINTO, C. C. de X. Diferenças intertemporais na média e distribuição do desempenho escolar no Brasil: o papel do nível socioeconômico, 1997 a 2005. Revista Brasileira de Estudos de População, v. 28, n. 1, jan./jun. 2011.
• RUTTER, M.; MAUGHAN, B.; MORTIMORE, P.; OUSTON, J.; SMITH, A. Fifteen thousand hours: secondary schools and their effects on children London: Open Books, 1979.
• SOARES, J. F. O efeito da escola no desempenho cognitivo de seus alunos. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación (REICE), v. 2, n. 2, 2004.
• _________. Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa, v. 37, n. 130, p. 135-160, jan.-abr. 2007.
• _________. Avaliação da qualidade da educação escolar brasileira. In: SCHWARTZMAN, L. F. et al. (Orgs.). O sociólogo e as políticas públicas: ensaios em homenagem a Simon Schwartzman. Rio de Janeiro: Editora FGV, 2009, p. 215-242.
• SOARES, T. M. Modelo de três níveis hierárquicos para proficiência dos alunos de 4Ş série avaliados no teste de língua portuguesa do SIMAVE/PROEB-2002. Revista Brasileira de Educação, n. 29, p. 73-87, maio-ago. 2005.
• TODOS PELA EDUCAÇÃO, 2011. Disponível em: <http://www.todospelaeducacao.org.br/educacao-no-brasil/dados-sobre-as-5-metas/>. Acesso em: 08 nov. 2011.
• WILLMS, J. D. Monitoring school performance: a guide for educators London: The Falmer Press, 1992.

Endereço para correspondência:

Rua André Cavalcanti, 106

20231-050 – Rio de Janeiro - RJ, Brasil

1

É importante salientar que foi calculada a partição da variância do modelo nulo de três níveis (aluno, turma e escola) para universos mais restritos de escolas, elevando o número mínimo de turmas do ponto de corte para escolas com três ou mais turmas e escolas com quatro ou mais turmas. Ambos os modelos apresentaram o mesmo percentual de variância explicada para o nível 2 e percentuais levemente menores para o nível 3, em relação ao modelo com duas ou mais turmas, contrariando os esperados de acordo com o argumento apresentado por Soares (2005).

2

Das 763 escolas municipais que atendiam ao 5º ano do ensino fundamental em 2007, segundo dados da Secretaria Municipal de Educação do Rio de Janeiro, 743 escolas, 1.967 turmas e 58.216 alunos estavam presentes na base de dados original da Prova Brasil 2007.

3

As medidas de posição da proficiência em matemática aqui consideradas foram o 1º e o 3º quartis, que são, respectivamente, 163,28 e 220,83.

4

Vale ressaltar ainda que as suposições de normalidade e variância constante para os resíduos do modelo final foram avaliadas e confirmadas.

5

O nível socioeconômico é resultante da soma ponderada de bens de consumo disponíveis nos domicílios e da escolaridade máxima dos pais.

6

Capital cultural familiar se divide em objetivado, institucionalizado e incorporado (BOURDIEU, 1999).

7

Capital cultural incorporado é a soma ponderada de variáveis que indicavam hábitos de leitura dos pais, incentivo à leitura e prática de trabalhos domésticos realizados pelo aluno.

8

Capital cultural objetivado é a soma ponderada de variáveis que indicavam acesso a bens de consumo culturais e à informação (quantidade de livros na casa do aluno, além dos escolares, videocassete e/ou DVD, computador).

9

Capital social familiar é a soma ponderada de variáveis que indicavam: incentivo dos pais à leitura, aos estudos e para não faltar às aulas; presença na reunião de pais; e interesse dos pais pelos assuntos que acontecem na escola.

10

As opções de respostas da Prova Brasil sobre cor ou raça são as mesmas utilizadas pelo IBGE, desde a edição de 2003: branco(a); pardo(a); preto(a); amarelo(a); indígena. Após análises das diversas combinações de categorias, a categorização dessa variável em preto e não preto se mostrou a mais significativa.

11

Como realizado por Klein (2010).

12

Soma de variáveis que indicavam a percepção do professor sobre as dificuldades de aprendizado relacionadas com a baixa motivação e o mau comportamento dos alunos.

Datas de Publicação

• Publicação nesta coleção
  23 Jan 2015
• Data do Fascículo
  Dez 2014

Histórico

• Recebido
  09 Ago 2013
• Aceito
  03 Set 2014