Repetência e indisciplina: evidências de Brasil e Portugal no Pisa 2012

Grade repetition and indiscipline: evidence from Brazil and Portugal in Pisa, 2012

Redoublement et indiscipline: données du Brésil et du Portugal sur le Pisa 2012

Repitencia e indisciplina: evidencias de Brasil y Portugal en el Pisa 2012

Resumo

Este trabalho objetiva analisar o fenômeno da repetência escolar no Brasil e em Portugal, por meio dos dados do Programa Internacional de Avaliação de Estudantes [Programme for International Student Assessment] - Pisa 2012, e aplicar um modelo de regressão logística multinível tendo a repetência como variável dependente, no sentido de identificar características dos estudantes e das escolas que estejam associadas à probabilidade de repetência para estimar a variabilidade entre escolas. Dentre os principais resultados, a contribuição mais significativa deste estudo é explicitar uma clara associação entre repetência e indisciplina escolar. Pesquisas adicionais baseadas em dados longitudinais são necessárias para investigar aprofundadamente as características dos estudantes e das escolas que estejam associadas à mudança das condições de educação e que influenciam a probabilidade de repetência.

Palavras-chve:
Repetência; Pisa; Análise de Regressão

Abstract

The main objective of this paper is to analyze grade repetition in Brazil and Portugal, using data from the Programme for International Student Assessment - PISA -, 2012, by applying a multilevel logistic regression model with repetition as the dependent variable in order to identify characteristics of students and schools that are associated with the probability of repetition and thus estimate the variability among schools. The most significant contribution of this work is the explication of a clear association between grade repetition and lack of scholastic discipline. Further studies, based on longitudinal data, are needed to investigate in detail the characteristics of students and schools that are associated with the changes in educational conditions which influence the probability of grade repetition.

Keywords:
Grade Repetition; Pisa; Regression Analysis

Résumé

Ce travail vise non seulement à analyser le phénomène du redoublement scolaire au Brésil et au Portugal à travers les données du Programme International pour le Suivi des Acquis des Élèves [Programme for International Student Assessment] - Pisa 2012, mais aussi à appliquer un modèle de régression multiniveau dans lequel le redoublement est utilisé comme variable dépendante, afin d'identifier les caractéristiques des élèves et des écoles qui sont associées à la probabilité de redoublement et d'estimer la variabilité entre écoles. Parmi les résultats principaux, l'apport le plus significatif de cette étude est d'expliciter l'association existant entre redoublement et indiscipline scolaire. Des recherches complémentaires basées sur des données longitudinales paraissent cependant nécessaires pour investiguer de manière plus approfondie les caractéristiques des élèves et des écoles associées au changement de conditions en matière d'éducation et qui influencent la probabilité de redoublement.

Mots-clés:
Redoublement; Pisa; Analyse de Régression

Resumen

Los principales objetivos de este trabajo son analizar la repitencia en Brasil y Portugal a través de los datos del Programa para la Evaluación Internacional de Estudiantes [Programme for International Student Assessment] -Pisa 2012 y aplicar un modelo de regresión logística multinivel en el que la repitencia sea la variable dependiente, en el sentido de identificar características de estudiantes y escuelas asociadas con la probabilidad de repitencia a fin de estimar la variabilidad a través de las escuelas. Entre los principales resultados, la contribución más significativa de este estudio es la de explicitar una clara asociación entre la repitencia y la indisciplina escolar. Es necesario seguir trabajando sobre la base de datos longitudinales para investigar en detalle las características de los estudiantes y las escuelas asociadas con el cambio educativo, que influyen en la probabilidad de repitencia.

Palabras Clave:
Repitencia; Pisa; Análisis de Regresión

As elevadas taxas de repetência no Brasil e em Portugal, bem como na Espanha, Bélgica, França e Luxemburgo (OECD, 2012), vêm demonstrando a centralidade desse fenômeno no campo educacional. A literatura tem mostrado que a repetência é considerada uma solução injusta, pedagogicamente ineficaz e dispendiosa (PAUL, 1997), especialmente porque os alunos repetentes mantêm o déficit de aprendizagem ao longo do tempo comparativamente com os estudantes promovidos (CORREA; BONAMINO; SOARES, 2014; FERRÃO; BELTRÃO; SANTOS, 2002; HATTIE, 2009; KOPPENSTEINER, 2014; RIANI; SILVA; SOARES, 2012). Tal realidade traduz-se na repetência precoce como forte preditora da repetência tardia (FERRÃO, 2015a, 2015b). Além disso, a repetência tem se mostrado historicamente associada a altas taxas de abandono escolar e à elevação substantiva do tempo necessário para cursar o ensino básico obrigatório (BROPHY, 2006; CRAHAY, 2006; FERNANDES, 1992; KLEIN; RIBEIRO, 1991; RIBEIRO, 1991).

A influência de alguns fenômenos na repetência escolar já se encontra consolidada, notadamente no que se refere às características dos alunos e das escolas, como, por exemplo, a diferença de gênero e de nível socioeconômico, no âmbito tanto individual quanto da escola. No que diz respeito ao gênero, estudos anteriores têm indicado uma maior probabilidade de repetência de alunos do sexo masculino (ALVES; ORTIGÃO; FRANCO, 2007; ORTIGÃO; AGUIAR, 2013). Já com relação ao nível socioeconômico, a repetência é mais prevalente entre os alunos desfavorecidos (ALVES; ORTIGÃO; FRANCO, 2007; FERRÃO, 2015a; RIBEIRO, 1991). Dados internacionais confirmam que a repetência afeta especialmente estudantes de origem social desfavorecida (CRAHAY; BAYE, 2013).

Adicionalmente a esses fatores mais conhecidos, estudos recentes apontam para uma associação entre a repetência e outro importante fenômeno educacional da atualidade: a indisciplina escolar. Segundo Silva e Nogueira (2008), a indisciplina está associada aos comportamentos disruptivos menos graves, que violam regras estritamente escolares e não causam danos imediatos às pessoas. Como exemplos de comportamentos de indisciplina que dificultam o andamento das aulas, os autores citam: chegar atrasado na aula; conversas clandestinas; gritos e deslocamentos não autorizados em sala; brincadeiras perturbadoras; desobedecer às ordens dos professores; e réplicas às ações disciplinadoras dos docentes. Ou seja, esses comportamentos violam regras escolares consideradas essenciais para o convívio e trabalho na sala de aula (SILVA; NOGUEIRA, 2008). Se não forem frequentes, tais comportamentos tendem até a serem ignorados pelos professores. Entretanto, para Silva (2007), à medida que se tornam muito constantes, os comportamentos de indisciplina acarretam maior gravidade, apresentando grande poder perturbador da relação pedagógica e impedimento de um bom andamento das aulas. Isso pode ocasionar um impacto significativo sobre o clima escolar, a socialização e a aprendizagem dos estudantes (CAMACHO, 2001).

Silva e Matos (2014), por exemplo, em um estudo com dados do Sistema Mineiro de Avaliação da Educação Pública - Simave - 2007, envolvendo alunos dos 5º, 9º e 12º anos de escolas públicas, relataram que a indisciplina encontra-se fortemente relacionada à experiência de repetência, isto é, a indisciplina aumenta à medida que o número de reprovações se torna maior. Essa associação entre sucesso acadêmico e indisciplina também é abordada pelo Conselho Nacional de Educação (PORTUGAL, 2015) e por Lopes (2013). Concretamente, Lopes (2013) conjectura uma relação causal de duplo sentido entre insucesso acadêmico e a configuração da indisciplina, ou seja, o autor supõe a indisciplina como consequência do insucesso acadêmico e, à medida que o tempo passa,

[...] os alunos com dificuldades académicas têm cada vez maiores problemas em aceder ao currículo (por falta de bases), o que potência os maus comportamentos, os quais, por seu turno, inibem a centração nas tarefas académicas. (LOPES, 2013, p. 57)

O tema também foi tratado por Camargo (1992), no artigo sobre a situação de escolas públicas no Brasil, a partir da análise de dados referentes a alunos, professores e interação em sala de aula nas séries finais do 1º grau (atual ensino fundamental). Segundo o autor,

[...] analisando as 30 aulas observadas e gravadas, vemos que seu tempo médio fica em torno de 40 minutos (dos 50 que deveriam ser efetivamente ministrados). Não há uma aula onde não ocorram interrupções para recados de todo o tipo. A "indisciplina" é grande, o que força os professores a passarem muito tempo "fazendo sermões" ou chamando a atenção da classe. (CAMARGO , 1992, p. 18)

Fernandes (2004) comparou escolas organizadas em séries e ciclos por meio dos dados do Sistema de Avaliação da Educação Básica - Saeb - 2001. A autora aponta que a organização em ciclos está muito relacionada aos fenômenos da repetência e da evasão, visando, em alguma medida, a fazer frente a essa problemática. Dentre os principais resultados da pesquisa, destacam-se as taxas de indisciplina e violência escolar mais elevadas em escolas cicladas e a interferência dos fenômenos da indisciplina e violência na proposta de trabalho em ciclos, que tem como pressupostos, por exemplo, a estabilidade do corpo de professores, a continuidade das ações pedagógicas, a prática da não retenção e uma avaliação contínua. Além disso, a autora acrescenta que a indisciplina e violência fazem parte de um contexto mais amplo do ambiente escolar e podem influenciar decisões e práticas pedagógicas adotadas nas políticas de não retenção (nesse caso, especialmente das escolas cicladas) tanto por professores como por diretores de escolas.

Assim, a indisciplina pode ser considerada um dos maiores indicadores do fracasso na socialização escolar, além de se mostrar fortemente associada ao desempenho acadêmico/cognitivo dos estudantes (SILVA; MATOS, 2014). Ainda a respeito desse fenômeno, pesquisas sobre o sistema educacional brasileiro têm evidenciado a existência de processos de seleção, concentração e segregação da população escolar, sendo a indisciplina um dos critérios utilizados nesses processos (ALVES et al., 2015; COSTA; BARTHOLO, 2014; ÉRNICA; BATISTA, 2012).

O ambiente de aprendizagem também tem sido bastante investigado no campo educacional, inclusive a partir da perspectiva do aluno. Pesquisas envolvendo a avaliação e a percepção de aspectos do ambiente de aprendizagem estabeleceram esta área como um grande campo de estudos, que pode envolver diversas modalidades, sendo as associações entre os resultados dos alunos e a percepção do ambiente de aprendizagem uma modalidade de tradição forte (FRASER; WALBERG, 1991; FRASER, 2002).

Já a questão do tipo de escola (pública ou particular) aborda um tema relevante para o Brasil. A literatura brasileira indica alguns pontos importantes: no ensino básico, o desempenho cognitivo médio de alunos de escolas particulares em avaliações externas como Saeb é geralmente superior (e.g. BARBOSA; FERNANDES, 2000); o tipo de escola aparece associado ao nível socioeconômico, à infraestrutura e aos equipamentos da escola (FERRÃO; FERNANDES, 2003); a maior parte dos estudantes provenientes de famílias com maior poder aquisitivo frequenta escolas particulares (mesmo quando localizadas em bairros de classe média/alta, as escolas públicas possuem grande número de alunos provenientes de camadas sociais mais desfavorecidas) (ALVES; SOARES, 2007). Nesse sentido, Nogueira (2013) fornece pistas sobre os modos de consumo escolar na (nova) classe média, concretamente quanto à escolha da escola particular. Os depoimentos recolhidos e tratados pela autora sugerem que a qualidade do ensino ofertado pela escola particular não constitui o critério principal de escolha do estabelecimento de ensino. Os principais critérios são a preocupação com a segurança dos filhos (dentro do estabelecimento e em suas adjacências) e com o público atendido (as "boas e más companhias"), as condições disciplinares (a ordem reinante na sala de aula) e o tratamento dispensado ao aluno (individualizado ou massificado).

Sobre o efeito de interação entre tipo de escola (particular vs. pública) e distorção idade-série, importa referir os resultados expostos em Ferrão (2003). Especificamente no âmbito da modelagem da correção da desfasagem idade-série, as estimativas do modelo multinível mostram o coeficiente associado àquele termo de interação com sinal negativo e estatisticamente significativo ao nível de 10%, sugerindo que, nas escolas particulares, os alunos com distorção idade-série têm seus resultados (proficiência) reduzidos comparativamente com os colegas com a mesma distorção idade-série que frequentam escolas públicas. Já Ferrão, Costa e Matos (2015), ao analisarem dados brasileiros do Pisa 2012, relataram que, quando controlado por variáveis como nível socioeconômico e proporção de repetentes da escola, o tipo de escola não teve efeito estatisticamente significativo na probabilidade individual de repetência.

No que concerne ao sistema educativo português, Ferrão (2015a) mostra que, quando utilizada a composição socioeconômica da população discente como variável explicativa no modelo logístico multinível de repetência escolar, o tipo de escola não tem efeito estatisticamente significativo na probabilidade individual de repetência. Os resultados apresentados também sugerem que a razão de vantagens de não retenção precoce (no 1º ou 2º ciclo do ensino básico), aproximadamente, quadruplica por cada unidade da variável composição socioeconômica da população discente.

No contexto de diagnóstico dos alunos em risco de repetência, Ferrão e Fernandes (2003) relatam evidência empírica da associação entre a porcentagem do conteúdo programático lecionado (isto é, tempo de ensino e aprendizagem) e o desempenho do aluno. Segundo os autores,

[...] a maioria dos professores de 4ª e 8ª séries que responderam ter leccionado todo o conteúdo programático até à data da aplicação do SAEB -2001, ensinam em turmas onde há menor proporção de alunos repetentes. Aqueles que responderam ter leccionado menos da metade ou pouco mais da metade do conteúdo programático, leccionam em turmas onde há maior proporção de alunos repetentes. [...] aqui parece estar equacionado, reiteradamente, o déficit educacional associado aos alunos repetentes. (FERRÃO ; FERNANDES, 2003, p. 7)

Ainda sobre a relação da composição da turma e desempenho escolar, diversas pesquisas abordam o efeito do critério de criação de turma (enturmação) no desempenho dos alunos. As evidências da literatura sugerem que os critérios utilizados pela direção da escola são relevantes, mas elas são inconclusivas sobre o tipo de critério que promova a qualidade da educação escolar (ALVES; SOARES, 2007; FERRÃO et al., 2001). Adicionalmente, com base no Saeb 2001, Laros (2012) indica que a porcentagem de repetentes na turma é a variável mais importante para explicar a variabilidade entre escolas no que se refere ao desempenho em Língua Portuguesa. Outras pesquisas (FERRÃO, 2015a; FERRÃO; COSTA; MATOS, 2015) também consideraram a proporção de repetentes por escola na modelação da probabilidade de o aluno repetir algum ano ao longo da sua trajetória escolar até a idade de 15 anos. Tal como os autores referem, acautelando pelas limitações associadas à mobilidade dos alunos, a relação entre aquelas variáveis contribuiu para explicar completamente a variabilidade entre escolas.

Existe hoje uma série de avaliações dos sistemas de ensino que permitem fazer o monitoramento do sistema educacional em diversos países. No presente estudo, para desenvolver a análise e modelação de dados, escolhemos uma avaliação internacional da qual Brasil e Portugal participam (o Pisa), o que permitiu comparar os resultados dos dois países. Nesta avaliação, além de testes cognitivos padronizados, também são aplicados questionários contextuais aos alunos e diretores das escolas, nos quais os alunos são inquiridos, por exemplo, se já repetiram de ano em diferentes etapas do ensino.

Nessa pesquisa, buscamos relacionar características dos estudantes e das escolas (fatores intra e extraescolares) que estejam associadas à probabilidade de repetência dos alunos. Assim, em face da importância do tema, este trabalho objetiva analisar o fenômeno da repetência escolar no Brasil e em Portugal, a partir dos dados do Pisa 2012, e aplicar um modelo logístico multinível tendo a repetência como variável dependente, identificando características dos estudantes e das escolas que estejam associadas à probabilidade de repetência. Nesse sentido, elaboramos as seguintes hipóteses de pesquisa a partir da literatura:

• gênero: esperamos uma maior probabilidade de repetência de alunos do sexo masculino;

• nível socioeconômico: esperamos uma maior probabilidade de repetência de estudantes de origem social desfavorecida (com baixo nível socioeconômico), tanto no nível do aluno quanto no nível da escola;

• ambiente de aprendizagem: foram selecionados os indicadores indisciplina (clima disciplinar) e relação professor-aluno. Esperamos que, quanto maior for a indisciplina (tanto no nível do estudante quanto no da escola), maior será a probabilidade de repetência. Ao contrário, levantamos a hipótese de que quanto melhor for a relação professor-aluno, menor será a probabilidade de repetência;

• tipo de escola: não esperamos que o tipo de escola tenha efeito estatisticamente significativo na probabilidade individual de repetência;

• infraestrutura da escola: esperamos que quanto melhor for a infraestrutura da escola, menor será a probabilidade de repetência.

Este artigo acrescenta pontos importantes na literatura existente sobre a repetência escolar: demonstramos uma clara associação entre repetência e indisciplina (tanto no nível do aluno quanto no da escola); incluímos variáveis no modelo que normalmente não estão presentes em análises sobre repetência, tais como tamanho da escola, infraestrutura da escola e relação professor-aluno (além da indisciplina); e realizamos análises transculturais, por meio da comparação entre Brasil e Portugal.

O fenômeno da repetência no Pisa: contextos de Brasil e Portugal

Os dados do Pisa mostram que Brasil e Portugal possuem índices elevados de repetência. Nessa avaliação internacional, em 2012, por exemplo, 36% (Brasil) e 34,3% (Portugal) dos estudantes na faixa etária dos 15 anos relataram ter repetido de ano pelo menos uma vez. Esse é um número bastante elevado, representando mais de um terço dos alunos (OECD, 2014a). Nesse sentido, nas tabelas 1 e 2, apresentamos uma evolução dos dados brasileiros e portugueses do Pisa sobre a repetência nos anos de 2003 e 2012, em diferentes etapas do ensino básico. Com o intuito de evidenciar a associação entre repetência e resultados cognitivos dos estudantes, apontamos também o desempenho em matemática de alunos que repetiram ou não de ano. A matemática foi o domínio principal de aferição do Pisa em 2003 e 2012.

Tabela 1:
Repetência e desempenho em matemática no ISCED 1 - Brasil e Portugal - 2003-2012

Como se observa na Tabela 1, no Brasil, a proporção de estudantes que repetiram uma vez nos anos iniciais do ensino fundamental diminuiu, entre 2003 e 2012, assim como ocorreu um pequeno aumento na porcentagem de alunos que repetiram duas vezes ou mais. Em Portugal, ambas as taxas (alunos que repetiram uma vez ou duas vezes ou mais) cresceram levemente, no mesmo período. Dessa forma, nos dois países, nesse intervalo de nove anos, a proporção geral de estudantes que repetiram de ano continuou elevada comparativamente com outros países da OCDE. Com relação à associação entre repetência e desempenho acadêmico, apresentam-se como exemplo dados sobre a proficiência dos alunos em matemática. Como apontado na Tabela 1, em ambos os países, a proficiência média diminui sistematicamente à medida que se comparam os grupos de estudantes que não repetiram, que repetiram uma vez e que repetiram duas vezes ou mais. Essas diferenças se tornam ainda maiores quando são comparados aqueles que não repetiram e aqueles que repetiram duas vezes ou mais. Em 2012, por exemplo, a diferença entre a proficiência média dos alunos que não repetiram e a daqueles que repetiram duas vezes ou mais é de 87 pontos no Brasil e de 155 em Portugal. Aqui ainda se destacam dois fenômenos importantes: entre 2003 e 2012, em ambos os países, a proficiência média de todos os grupos aumentou de maneira estatisticamente significativa ao nível de 5%, mas a diferença na proficiência entre grupos de estudantes repetentes e não repetentes diminuiu no Brasil e cresceu em Portugal. O teste de hipótese unilateral também mostra que tais diferenças são estatisticamente significativas ao nível de 5%, com exceção dos alunos portugueses que não repetiram e que repetiram duas vezes ou mais. Portanto, apesar de os alunos portugueses apresentarem melhor desempenho acadêmico médio no Pisa do que os brasileiros, existe uma maior desigualdade em Portugal quando se comparam alunos repetentes e não repetentes.

Tabela 2:
Repetência e desempenho em matemática ISCED 2 - Brasil e Portugal - 2003-2012

De acordo com os dados da Tabela 2, a proporção de estudantes que repetiram uma vez nos anos finais do ensino fundamental teve um pequeno aumento entre 2003 e 2012, em ambos os países. Também ocorreram leve ampliação na porcentagem de alunos que repetiram duas vezes ou mais no Brasil e pequena diminuição nessa taxa no caso de Portugal. Assim, da mesma forma que no ISCED 1, em ambos os países, nesse intervalo de tempo, a proporção de alunos repetentes continuou alta. Com relação à associação entre repetência e desempenho acadêmico, a proficiência média diminui sistematicamente à medida que se comparam os grupos de estudantes que não repetiram, que repetiram uma vez e que repetiram duas vezes ou mais. Novamente, as diferenças se tornam ainda maiores quando são comparados aqueles que não repetiram e aqueles que repetiram duas vezes ou mais. Em 2012, por exemplo, a diferença entre a proficiência média dos alunos que não repetiram e a daqueles que repetiram duas vezes ou mais é de 63 pontos no Brasil e de 134 em Portugal. Destacam-se dois pontos importantes no período 2003-2012: em ambos os países, a proficiência média de todos os grupos aumentou de maneira estatisticamente significativa ao nível de 5%, com exceção dos alunos portugueses que repetiram duas vezes ou mais e, adicionalmente, atenuou-se a diferença na média da proficiência entre grupos de estudantes brasileiros não repetentes e repetentes por um ano (teste de hipótese unilateral ao nível de 5%).

Método

Pisa e caracterização dos sujeitos

Foram utilizados dados provenientes do Programme for International Student Assessment - Pisa - 2012. Nessa avaliação internacional em larga escala, além de testes cognitivos padronizados, também são aplicados questionários contextuais aos alunos e diretores das escolas, com o objetivo de coletar informações sobre características socioculturais e o ambiente e práticas escolares. A população-alvo do Pisa são alunos de 15 anos de idade. Em 2012, participaram 19.204 estudantes brasileiros e 5.722 alunos portugueses. O Pisa possui um desenho amostral definido da seguinte forma: survey complexo envolvendo amostragem de múltiplos estágios, com probabilidades desiguais de amostragem e estratificação (complex survey data). É um desenho de amostra estratificada em dois estágios. No primeiro, escolas foram amostradas, com probabilidade proporcional a uma medida do tamanho da escola, em função do número estimado de estudantes de 15 anos matriculados na escola que poderiam participar do Pisa. A segunda unidade de amostragem correspondeu aos alunos dentro das escolas previamente amostradas. Nesse sentido, são atribuídos nos bancos de dados do Pisa pesos amostrais tanto para as escolas quanto para os estudantes (OECD, 2014b).

Excluímos todos os casos com valores ausentes em alguma das variáveis analisadas (listwise), uma vez que assumimos o pressuposto de que todos os valores ausentes são completamente aleatórios (LITTLE; RUBIN, 2002). Assim, nossa amostra final resultou em 11.495 alunos no Brasil e 3.268 em Portugal.

Variáveis analisadas

Nesta pesquisa, buscamos relacionar características dos estudantes e das escolas (fatores intra e extraescolares) que estejam associadas à probabilidade de repetência. Assim, as variáveis do Pisa 2012 selecionadas para este estudo foram: sexo do aluno, idade, tipo de escola (pública ou particular), tamanho da escola, infraestrutura da escola, clima disciplinar (nível do aluno e da escola), nível socioeconômico (do aluno e da escola) e relação professor-aluno.

Alves e Soares (2013) sugerem o uso dos seguintes indicadores educacionais: nível socioeconômico da escola, infraestrutura da escola e complexidade da escola. Nesse sentido, selecionamos no Pisa as seguintes variáveis relacionadas com tais indicadores: nível socioeconômico (do aluno e da escola) (Pisa index of economic, social and cultural status - ESCS) (OECD, 2014b); tamanho da escola, a partir do número de estudantes matriculados (como um indicador da complexidade da escola); e infraestrutura da escola, por meio do índice de qualidade da infraestrutura física (Pisa index of quality of physical infrastructure) (OECD, 2013).

Quanto à indisciplina escolar, selecionou-se no Pisa a variável clima disciplinar (Pisa index of disciplinary climate). Vale destacar que no Pisa 2012 os alunos foram inquiridos sobre o clima disciplinar nas aulas de matemática (OECD, 2013).

O Pisa apresenta diversos indicadores associados ao ambiente de aprendizagem da sala de aula. Nessa pesquisa, selecionamos dois: clima disciplinar (já descrito anteriormente); e relação professor-aluno, identificada por meio do índice da relação professor-aluno (Pisa index of teacher-student relations) (OECD, 2013).

Por fim, sobre o tipo de escola (pública ou particular), vale ainda ressaltar que a maioria das escolas brasileiras envolvidas no Pisa 2012 é pública (85,7%), com percentual ainda maior no caso de Portugal (89,8%). Destacamos que todos os dados desse trabalho foram retirados dos questionários contextuais dos estudantes e dos diretores.

O Quadro 1 apresenta detalhadamente a descrição de todas as variáveis do Pisa 2012 utilizadas nas análises dos dados brasileiros e portugueses.

Quadro 1:
Descrição das variáveis do Pisa 2012 utilizadas

Modelos multinível

Aplicamos um modelo de regressão logística multinível, considerando dois níveis: alunos (unidade de nível 1 denotada por índice i) agrupados em escolas (unidade de nível 2 denotada por índice j). Optamos por um modelo de componentes de variância (MCV), também conhecido como modelo de intercepto aleatório. A variável resposta, Y, representa a situação do aluno quanto à repetência. É uma variável binária com valor 1 se o aluno já ficou retido pelo menos um ano, 0 em caso contrário. Denota-se P(Y = 1) a probabilidade de repetência. A equação do modelo de regressão logística multinível (também designado por modelo logístico de componentes de variância) é escrita da seguinte forma:

Onde: S é o número de variáveis explicativas no modelo e a função log

é designada por função logito no Brasil, logite em Portugal, ou logit. Os valores observados nos sujeitos ij das variáveis explicativas consideradas nos termos aditivos do preditor linear do modelo são denotados por

. Para mais detalhes sobre a especificação do modelo e exemplos de aplicação sugerem-se, ao nível introdutório, Ferrão (2015c) e, ao nível avançado, Goldstein (2003). Utilizamos o procedimento de estimação implementado no software STATA denominado GLLAMM (Generalized Linear Latent and Mixed Models), proposto por Rabe-Hesketh e Skrondal (2006), para levar em consideração o planejamento amostral e que estende para os modelos de variável resposta binária o método de escalonamento apresentado por Pfeffermann et al. (1998). A versão utilizada do STATA foi a 12.1.

Resultados

Nessa pesquisa, buscamos relacionar características dos estudantes e das escolas que estejam associadas à probabilidade de repetência, com o objetivo de responder às questões de investigação enunciadas anteriormente. Nesse sentido, a Tabela 3 apresenta as estimativas de regressão logística multinível de Brasil e Portugal.

Tabela 3:
Estimativas dos parâmetros do modelo multinível de Brasil e Portugal

Em primeiro lugar, todas as análises dos modelos ajustados consideram, para efeito de teste de hipóteses, o nível de significância de 5%. Como indicado na Tabela 3, as estimativas sugerem que os parâmetros associados às variáveis sexo do aluno, tamanho da escola, clima disciplinar, nível socioeconômico e nível socioeconômico da escola foram estatisticamente significativos em ambos os países. Adicionalmente, ainda foram estatisticamente significativos os parâmetros associados às variáveis clima disciplinar da escola (Brasil) e idade (Portugal). Além disso, existe evidência de variabilidade entre escolas na probabilidade de repetência. O parâmetro aleatório associado ao nível 2 é

=1,596 (erro padrão = 0,24) no Brasil e ainda maior em Portugal,

=2,005 erro padrão = 0,36). Essas estimativas sugerem que existem características associadas às escolas que conduzem a probabilidades diferentes de repetência dos alunos.

A relação entre a variável que representa o tipo de escola e a probabilidade de repetência não foi estatisticamente significativa. Esse resultado está de acordo com a hipótese que estabelecemos. Contudo, verifica-se que, no caso do Brasil, o valor de prova está muito próximo do limiar de rejeição da hipótese nula, motivo pelo qual o fenômeno deve ser acompanhado em pesquisas futuras. Como apontamos, pesquisas anteriores tanto no Brasil (FERRÃO; COSTA; MATOS, 2015) quanto em Portugal (FERRÃO, 2015a) indicam que, quando controlado por variáveis como o nível socioeconômico, o tipo de escola não tem efeito estatisticamente significativo na probabilidade individual de repetência. Portanto, a questão da repetência não se resume ao fato de a escola ser pública ou particular. Para entender esse fenômeno, parece ser mais relevante explicitar os processos de seleção e/ou exclusão realizados de acordo com o tipo de escola. Por exemplo: no Brasil, a maior parte dos estudantes provenientes de famílias com um maior poder aquisitivo frequenta escolas particulares (ALVES; SOARES, 2007). Discutiremos de maneira mais aprofundada esses processos de seleção da população discente ao abordar variáveis como nível socioeconômico e indisciplina.

Sobre as condições contextuais das escolas e as características das instituições de ensino, dentre as variáveis analisadas está a infraestrutura da escola. No Brasil, pesquisas anteriores mostram que a infraestrutura física (equipamentos e conservação do prédio escolar) está associada ao desempenho acadêmico (ALVES; FRANCO, 2008; ALVES; SOARES, 2013; BARBOSA; FERNANDES, 2001) e ao tipo de escola (FERRÃO; FERNANDES, 2003). Esperávamos encontrar um efeito da infraestrutura da escola sobre a repetência, o que não se confirmou. Uma hipótese possível é que o índice de qualidade da infraestrutura física do Pisa talvez não tenha captado bem essa variável, pois possui apenas três perguntas. Outra hipótese explicativa para esse resultado seria o fato de a infraestrutura física das escolas brasileiras ter melhorado nos últimos anos. Barbosa e Fernandes (2001), utilizando dados do Saeb 1997 (Região Sudeste), analisam a proficiência em matemática de alunos da 4ª série. Os autores apontam a importância das condições físicas e de funcionamento da escola para a promoção do sucesso escolar. Uma das principais conclusões do estudo é que a infraestrutura e equipamentos escolares têm um grande impacto na proficiência, sendo responsáveis por 54% da variabilidade entre escolas. Em outro estudo mais recente, Alves e Soares (2013) analisam dados do Índice de Desenvolvimento da Educação Básica - Ideb - 2009, referentes aos anos iniciais (5º ano) e finais (9º ano) do ensino fundamental. Além do Ideb, o estudo utiliza dados da Prova Brasil e do Censo Escolar, investigando a relação entre o Ideb e o contexto escolar (perfil dos estudantes e características da escola). Os resultados indicam que o impacto maior da infraestrutura da escola no Ideb acontece principalmente nas séries iniciais, sendo bem menor nas séries finais do ensino fundamental. Portanto, essa questão precisa ser pesquisada com maior profundidade em trabalhos futuros.

Sobre os indicadores associados ao ambiente de aprendizagem da sala de aula, selecionamos dois: relação professor-aluno e indisciplina. Nossa hipótese (quanto melhor a relação professor-aluno, menor a probabilidade de repetência) não foi confirmada. Esse resultado merece duas observações: a relação professor-aluno tem foco na sala de aula e na qualidade das interações entre docentes e estudantes e, no modelo analisado, não afeta a probabilidade de repetência; e, entre as duas variáveis do ambiente de aprendizagem selecionadas, apenas a relação entre indisciplina e a probabilidade de repetência foi estatisticamente significativa (o que reforça a importância do clima disciplinar).

Com o intuito de interpretar a magnitude do efeito das variáveis, a Tabela 4 apresenta os modelos finais utilizados, que foram calculados apenas com as estimativas estatisticamente significativas na regressão logística multinível. Nessa tabela, também interpretamos a razão de chance associada às variáveis.

Tabela 4:
Estimativas dos modelos finais e razão de chance

Conforme mostra a Tabela 4, nesse modelo final, estudantes do sexo masculino apresentam maior chance de repetência do que as meninas tanto no Brasil (RC = 1,594) quanto em Portugal (RC = 1,769). Destacamos que esse efeito é controlado pelas outras variáveis incluídas no modelo (isso vale para todas as análises subsequentes). Tal resultado com relação ao sexo dos alunos se encontra no sentido esperado de acordo com nossa hipótese de pesquisa. Estudos anteriores têm indicado uma maior probabilidade de repetência de alunos do sexo masculino (ALVES; ORTIGÃO; FRANCO, 2007; ORTIGÃO; AGUIAR, 2013).

Com relação às condições contextuais das escolas e as características das instituições de ensino, analisamos também o nível socioeconômico e a complexidade da escola. Nesse sentido, a hipótese estabelecida previamente quanto ao nível socioeconômico se confirmou: quanto maior o nível socioeconômico do estudante, menor é a chance de repetência (Brasil, RC = 0,870; Portugal, RC = 0,589). Da mesma forma, quanto maior o nível socioeconômico da escola, menor é a probabilidade de repetência (Brasil, RC = 0,468; Portugal, RC = 0,292). Aqui destacamos alguns pontos importantes: o efeito do nível socioeconômico na probabilidade de repetência é maior em Portugal, tanto no nível do aluno quanto no da escola. Esses resultados sugerem que a seletividade nas escolas portuguesas com relação ao nível socioeconômico é maior do que nas brasileiras. Em ambos os países, o nível socioeconômico apresenta um impacto maior ao nível da escola, sendo esse um resultado frequente na literatura educacional com relação à composição da escola. Portanto, o resultado do nível socioeconômico está de acordo com a literatura em dois sentidos: a repetência é mais prevalente entre os alunos desfavorecidos (CRAHAY; BAYE, 2013; RIBEIRO, 1991); e a composição da escola afeta a probabilidade de repetência dos alunos (ALVES; SOARES, 2007; FERRÃO; FERNANDES, 2003; FERRÃO; COSTA; MATOS, 2015; LAROS, 2012).

Nesse sentido, por exemplo, a magnitude das estimativas obtidas com os dados da 4ª série do Saeb 1999 e 2001 diminui consideravelmente quando o efeito-escola é controlado pela composição socioeconômica da população discente comparativamente com o valor da estimativa sem essa variável de controle. Com base no Saeb 2001, no Nordeste o efeito- -escola passa de 33% para 19% (quando controlado pela variável contextual), enquanto no Sul a estimativa passa de 21% para 7% (FERRÃO, 2014; FERRÃO et al., 2001). A esse propósito ocorre mencionar que a variável contextual, refletindo uma realidade extraescolar, é fortemente correlacionada com variáveis intraescolares, tal como qualidade da infraestrutura da escola (BARBOSA; FERNANDES, 2001).

Sobre o tamanho da escola (como um indicador da complexidade da escola), apesar de ter sido estatisticamente significativo no Brasil, podemos dizer que quase não tem efeito na probabilidade de repetência (RC = 0,9994). Além disso, essa variável não foi estatisticamente significativa no modelo final de Portugal.

Como mencionado anteriormente, a contribuição mais significativa desse trabalho é apontar uma clara associação entre repetência e indisciplina. Nossa hipótese anterior (quanto maior a indisciplina, maior será a probabilidade de repetência) foi confirmada. Nesse sentido, Brasil e Portugal apresentaram semelhanças e diferenças. Em ambos os países, o clima disciplinar funciona como um fator de proteção com relação à repetência: quanto melhor o clima disciplinar (quanto menor a indisciplina) na sala de aula, menor é a probabilidade de repetência. A influência do clima disciplinar no nível do aluno foi maior em Portugal (Brasil, RC = 0,827; Portugal, RC = 0,682). A relevância do fenômeno da indisciplina também fica evidente quando comparamos seu resultado com uma variável clássica na explicação da repetência: o nível socioeconômico. No Brasil, o efeito do clima disciplinar ao nível do aluno é maior (RC = 0,827) do que o efeito do nível socioeconômico do aluno (RC = 0,870).

No entanto, a relação entre a variável que representa o clima disciplinar da escola e a probabilidade de repetência só foi estatisticamente significativa no Brasil (RC = 0,562). Esse resultado parece indicar algumas questões relevantes: o clima disciplinar não parece ser um critério de seleção em escolas portuguesas, já que ao nível da escola (do ponto de vista da composição escolar) a variável não teve poder explicativo. No caso brasileiro, isso parece reforçar pesquisas anteriores que apontam a indisciplina como um dos critérios utilizados em processos de seleção, concentração e segregação da população escolar (ALVES et al., 2015; COSTA; BARTHOLO, 2014; ÉRNICA; BATISTA, 2012). Aqui, mais uma vez, no caso brasileiro, percebemos o efeito da composição da escola: o clima disciplinar apresenta um impacto maior ao nível da escola. Tomados em conjunto, esses resultados indicam que a indisciplina é um fator relevante para explicar a probabilidade de repetência. Isso reforça pesquisas anteriores que indicaram uma associação entre repetência e indisciplina (CAMARGO, 1992; FERNANDES, 2004; LOPES, 2013; SILVA; MATOS, 2014). Vale lembrar que, no Pisa 2012, os alunos respondiam sobre a frequência de comportamentos de indisciplina nas aulas de matemática.

Por fim, como já afirmamos anteriormente, a estimativa do parâmetro aleatório associado ao nível da escola indica que existem características das escolas que conduzem a probabilidades diferentes de repetência dos alunos. Nos modelos finais da Tabela 4, os valores são ainda maiores: Brasil

= 1,614, erro padrão = 0,25 e Portugal

= 2,273, erro padrão = 0,43.

Considerações finais

Nessa pesquisa, abordamos um fenômeno importante na atualidade: a repetência escolar. Focamos nossas análises nos dados do Pisa 2012 e comparamos Brasil e Portugal. Após a identificação de fatores de risco (variáveis associadas à probabilidade de repetência), são necessárias medidas para a superação da repetência escolar. Nesse sentido, Ferrão e Fernandes (2003) enfatizam a relevância do acompanhamento de resultados e recuperação atempada dos alunos em risco de repetência, a necessidade de reforço educativo nas turmas com maior proporção de alunos repetentes, a importância de que a implementação das políticas para a correção da defasagem idade-série seja acompanhada de medidas complementares e estruturantes que confiram estabilidade ao sistema e a importância de que as famílias usem o seu capital social a favor da educação. Muito embora se reconheça a associação entre os resultados escolares e o capital social, econômico e cultural das famílias (e.g. BARBOSA; FERNANDES, 2000, 2001; SOARES; CESAR; MAMBRINI, 2001), aqueles autores apresentam a linha de investigação em eficácia escolar como o "bom augúrio" que reforça o papel da escola como instrumento que contrarie o determinismo da reprodução de desigualdades sociais na formação do capital humano das gerações futuras. Já Alavarse (2009) discorre sobre os expedientes de reforço e recuperação enquanto iniciativas de diferenciação pedagógica, afirmando que um dos motivos pelo qual a sua eficácia é geralmente baixa deve-se à falta de "conjugação do trabalho colectivo entre os professores que desencadeiam as tarefas de reforço e recuperação", acrescido do efeito da "estigmatização dos que delas se servem - isso quando não há a condenação dos indisciplinados aos 'trabalhos forçados' nas salas de reforço".

Pesquisas adicionais são necessárias para investigar de maneira mais aprofundada as características dos estudantes e das escolas que estejam associadas à probabilidade de repetência. Trabalhos complementares com outros bancos de dados de avaliações em larga escala brasileiros e portugueses podem contribuir para responder essas questões. Nesse sentido, dispor de dados longitudinais com cobertura nacional é essencial para monitoramento e melhoria da qualidade e equidade da educação escolar. Isso permitiria programas de prevenção, intervenção, compensação e a aferição de mudanças (FERRÃO, 2015b).

Também são necessários estudos que verifiquem e analisem o pressuposto de valores ausentes completamente aleatórios (LITTLE; RUBIN, 2002) assumido nessa pesquisa. Dessa forma, os resultados do presente trabalho devem ser avaliados com cautela para fins de políticas públicas e práticas educacionais. Uma limitação adicional deste estudo pode surgir caso a mobilidade de alunos não ocorra dentro do mesmo agrupamento de escolas em Portugal ou entre escolas com padrão semelhante no que concerne às variáveis incluídas na modelação estatística.

• Daniel Abud Seabra Matos foi financiado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Capes – (processo n. 6196/14-4) e pela Universidade Federal de Ouro Preto – Ufop – para o Pós-Doutorado na Universidade da Beira Interior, em 2015.

Referências

• ALAVARSE, Ocimar Munhoz. A organização do ensino fundamental em ciclos: algumas questões. Revista Brasileira de Educação, Rio de Janeiro, v. 14, n. 40, p. 35-50, jan./abr. 2009.
• ALVES, Fátima; ORTIGÃO, Isabel; FRANCO, Creso. Origem social e risco de repetência: interação raça-capital econômico Cadernos de Pesquisa, São Paulo, v. 37, n. 130, p. 161-180, 2007.
• ALVES, Luciana et al. Seleção velada em escolas públicas: práticas, processos e princípios geradores. Educação e Pesquisa, São Paulo, v. 41, n. 1, p. 137-152, jan./mar. 2015.
• ALVES, Maria Teresa Gonzaga; FRANCO, Creso. A pesquisa em eficácia escolar no Brasil: evidências sobre o efeito das escolas e fatores associados à eficácia escolar. In: BROOKE, Nigel; SOARES, José Francisco (Org.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008. p. 482-500.
• ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. Disponível em: <Disponível em: http://www.revistas.usp.br/ep/article/view/70382 >. Acesso em: 07/07/2015.
  » http://www.revistas.usp.br/ep/article/view/70382
• ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Efeito-escola e estratificação escolar: o impacto da composição de turmas por nível de habilidade dos alunos. Educação em Revista, Belo Horizonte, n. 45, p. 25-58, jun. 2007.
• BARBOSA, Maria Eugenia Ferrão; FERNANDES, Cristiano. A escola brasileira faz diferença? Uma investigação dos efeitos da escola na proficiência em matemática dos alunos da 4a série. In: FRANCO, Creso (Org.). Avaliação, ciclos e promoção na educação Porto Alegre: Artmed, 2001. p. 155-172.
• BARBOSA, Maria Eugenia Ferrão; FERNANDES, Cristiano. Modelo multinível: uma aplicação a dados de avaliação educacional. Estudos em Avaliação Educacional, São Paulo, n. 22, p. 135-153, jul./dez. 2000.
• BROPHY, Jere. Grade repetition. Paris; Brussels: The International Institute for Educational Planning (IIEP); The International Academy of Education (IAE), 2006 (Education Policy Series, 6). Disponível em: <Disponível em: http://www.unesco.org/iiep/PDF/Edpol6.pdf >. Acesso em: 08/06/2015.
  » http://www.unesco.org/iiep/PDF/Edpol6.pdf
• CAMACHO, Luiza Mitiko Yshiguro. As sutilezas das faces da violência nas práticas escolares de adolescentes. Educação e Pesquisa , São Paulo, v. 27, n. 1, p. 123-140, jan./jun. 2001.
• CAMARGO, Dair Aily Franco. A escola pública de 5a a 8a séries: algumas características dos alunos, dos professores e do trabalho docente em sala de aula. Paidéia, Ribeirão Preto, n. 2, p. 10-28, fev./jul. 1992.
• CORREA, Erisson Viana; BONAMINO, Alicia; SOARES, Tufi Machado. Evidências do efeito da repetência nos primeiros anos escolares. Estudos em Avaliação Educacional , São Paulo, v. 25, n. 59, p. 242-269, set./dez. 2014.
• COSTA, Marcio; BARTHOLO, Tiago Lisboa. Padrões de segregação escolar no Brasil: um estudo comparativo entre capitais do país. Educação & Sociedade, Campinas, v. 35, n. 129, p. 1183-1203, out./dez. 2014.
• CRAHAY, Marcel. É possível tirar conclusões sobre os efeitos da repetência? Cadernos de Pesquisa , São Paulo, v. 36, n. 127, p. 223-246, jan./abr. 2006.
• CRAHAY, Marcel; BAYE, Ariane. Existem escolas justas e eficazes? Esboço de resposta baseado no Pisa 2009. Cadernos de Pesquisa , São Paulo, v. 43, n. 150, p. 858-883, set./dez. 2013.
• ÉRNICA, Maurício; BATISTA, Antônio Augusto Gomes. A escola, a metrópole e a vizinhança vulnerável. Cadernos de Pesquisa , São Paulo, v. 42, n. 146, p. 640-666, maio/ago. 2012.
• FERNANDES, Claudia de Oliveira. Escolas em ciclos: particularidades evidenciadas a partir dos dados do Saeb. Estudos em Avaliação Educacional , São Paulo, v. 15, n. 30, p. 83-106, jul./dez. 2004.
• FERNANDES, Domingos. O tempo da avaliação. Noesis, Lisboa, n. 23, p. 18-21, 1992.
• FERRÃO, Maria Eugénia. Tópicos sobre retenção em Portugal através do Pisa: qualidade e equidade. Arquivos Analíticos de Políticas Educativas, Tempe, Arizona, v. 23, n. 114, p. 1-22, 2015a. Disponível em: <Disponível em: http://www.oei.es/oeivirt/recursos22.htm >. Acesso em: 03/10/2015.
  » http://www.oei.es/oeivirt/recursos22.htm
• FERRÃO, Maria Eugénia. Retenção escolar e desenvolvimento cognitivo no ensino básico. In: NUNES, Luis (Org.). A escola e o desempenho dos alunos Lisboa: Fundação Francisco Manuel dos Santos, 2015b. p. 87-104.
• FERRÃO, Maria Eugénia. Modelos de regressão multinível em educação e psicologia. In: SILVA, M. C. R. et al. (Org.). Métodos estatísticos avançados aplicados à avaliação psicológica e educacional São Paulo: Vetor, 2015c. p. 1-11.
• FERRÃO, Maria Eugénia. School effectiveness research findings in the Portuguese speaking countries: Brazil and Portugal. Educational Research for Policy and Practice, v. 13, n. 1, p. 3-24, jul. 2014.
• FERRÃO, Maria Eugénia. Introdução aos modelos de regressão multinível em educação Campinas: Komedi, 2003.
• FERRÃO, Maria Eugénia; BELTRÃO, Kaizô Iwakami; SANTOS, Denis Paulo. Políticas de nãorepetência e a qualidade da educação: evidências obtidas a partir da modelagem dos dados da 4a série do SAEB-99. Estudos em Avaliação Educacional , São Paulo, n. 26, p. 47-73, jul./dez. 2002.
• FERRÃO, Maria Eugénia; COSTA, Patricia; MATOS, Daniel Abud Seabra. The relevance of school composition on grade retention in Brazil: a logistic multilevel model of PISA 2012. Submetido. 2015.
• FERRÃO, Maria Eugénia; FERNANDES, Cristiano. O efeito-escola e a mudança - dá para mudar? Evidências da investigação brasileira. Revista Electrónica Iberoamericana sobre Qualidade, Eficácia e Mudança em Educação, v. 1, n. 1, p. 1-13, 2003. Disponível em: <Disponível em: http://www.ice.deusto.es/RINACE/reice/vol1n1/Reo_FerraoyFernandes.htm >. Acesso em: 09/07/2015.
  » http://www.ice.deusto.es/RINACE/reice/vol1n1/Reo_FerraoyFernandes.htm
• FERRÃO, Maria Eugénia et al. O SAEB - Sistema Nacional de Avaliação da Educação Básica: objectivos, características e contribuições na investigação da escola eficaz. Revista Brasileira de Estudos de População, Rio de Janeiro, v. 18, n. 1/2, p. 111-130, jan./dez. 2001.
• FRASER, Barry J. Learning environments research: yesterday, today and tomorrow. In: GOH, S. C; KHINE, M. S. (Org.). Studies in educational learning environments: an international perspective. River Edge, NJ: World Scientific, 2002. p. 1-25.
• FRASER, Barry J.; WALBERG, Herbert J. Educational environments: evaluation, antecedents and consequences. Oxford, England: Pergamon Press, 1991.
• GOLDSTEIN, Harvey. Multilevel statistical models 3. ed. London: Edward Arnold, 2003.
• HATTIE, John. Visible learning: a synthesis of over 800 meta-analyses relating to achievement. London: Routledge, 2009.
• KLEIN, Ruben; RIBEIRO, Sergio Costa. O censo educacional e o modelo de fluxo: o problema da repetência. Revista Brasileira de Estatística, Rio de Janeiro, v. 52, n. 197/198, p. 5-45, jan./dez. 1991.
• KOPPENSTEINER, Martin Foureaux. Automatic grade promotion and student performance: evidence from Brazil. Journal of Development Economics, v. 107, p. 277-290, mar. 2014. Disponível em: <Disponível em: http://dx.doi.org/10.1016/j.jdeveco.2013.12.007 >. Acesso em: 04/01/2015.
  » http://dx.doi.org/10.1016/j.jdeveco.2013.12.007
• LAROS, Jacob Arie. Fatores associados ao desempenho escolar em Português: um estudo multinível por regiões. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 20, n. 77, p. 623-646, out./dez. 2012.
• LITTLE, Roderick J. A.; RUBIN, Donald B. Statistical analysis with missing data. 2. ed. New Jersey: John Wiley & Sons, 2002.
• LOPES, João. A indisciplina na sala de aula. In: LOPES, João; ESPELAGE, Dorothy L. (Org.). . Lisboa: Fundação Francisco Manuel dos Santos , 2013. p. 37-67.
• NOGUEIRA, Maria Alice. No fio da navalha: a (nova) classe média brasileira e sua opção pela escola particular. In: ROMANELLI, G.; NOGUEIRA, M. A.; ZAGO, N. (Org.). Família & escola: novas perspectivas de análise. Petrópolis, RJ: Vozes, 2013. p. 109-130.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD. Results from Pisa 2012 - Brazil. Country Note Paris, 2014a. Disponível em: <Disponível em: http://www.oecd.org/education/PISA-2012-results-brazil.pdf >. Acesso em: 01/06/2015.
  » http://www.oecd.org/education/PISA-2012-results-brazil.pdf
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD. PISA 2012 Technical Report Paris, 2014b.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD. PISA 2012 Results: what makes schools successful? Resources, policies and practices. Paris, 2013. v.4.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD. Equity and quality in education - supporting disadvantaged students and schools. Paris, 2012.
• ORTIGÃO, Maria Isabel Ramalho; AGUIAR, Glauco Silva. Repetência escolar nos anos iniciais do ensino fundamental: evidências a partir dos dados da Prova Brasil 2009. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 94, n. 237, p. 364-389, maio/ago. 2013.
• PAUL, Jean-Jacques. Le redoublement à l'école: Une maladie universelle? International Review of Education, Harrisburg, v. 43, n. 5-6, p. 611-627, 1997.
• PFEFFERMANN, Dann et al. Weighting for unequal selection probabilities in multilevel models. Journal of the Royal Statistical SocietyBStatistical Methodology, London, v. 60, n. 1, p. 23-40, 1998. Disponível em: <Disponível em: http://www.blackwellpublishing.com/journal. asp?ref=1369-7412 >. Acesso em: 04/01/2015.
  » http://www.blackwellpublishing.com/journal. asp?ref=1369-7412
• PORTUGAL. Conselho Nacional de Educação. Retenção escolar nos ensinos básico e secundário: relatório técnico. Lisboa: Conselho Nacional de Educação, 2015.
• RABE-HESKETH, Sophia; SKRONDAL, Anders. Multilevel modelling of complex survey data. Journal of the Royal Statistical Society.AStatistics in Society, London, v. 169, n. 4, p. 805-827, 2006.
• RIANI, Juliana Lucena Ruas; SILVA, Vania Candida; SOARES, Tufi Machado. Repetir ou progredir? Uma análise da repetência nas escolas públicas de Minas Gerais. Educação e Pesquisa , São Paulo, v. 38, n. 3, p. 623-636, jul./set. 2012.
• RIBEIRO, Sérgio Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, v. 12, n. 5, p. 7-21, maio/ago. 1991.
• SILVA, Luciano Campos. Disciplina e indisciplina na aula: uma perspectiva sociológica. 2007. 285 f. Tese (Doutorado) - Universidade Federal de Minas Gerais, Belo Horizonte, 2007.
• SILVA, Luciano Campos; MATOS, Daniel Abud Seabra. As percepções dos estudantes mineiros sobre a incidência de comportamentos de indisciplina em sala de aula: um estudo a partir dos dados do SIMAVE/PROEB 2007. Revista Brasileira de Educação , Rio de Janeiro, v. 19, n. 58, p. 713-730, jul./set. 2014.
• SILVA, Luciano Campos; NOGUEIRA, Maria Alice. Indisciplina ou violência na escola: uma distinção possível e necessária. In: GONÇALVES, Luiz Alberto Oliveira; TOSTA, Sandra Pereira (Org.). A síndrome do medo contemporâneo e a violência escolar Belo Horizonte: Autêntica, 2008. p. 15-62.
• SOARES, Jose Francisco; CESAR, Cibele Comini; MAMBRINI, Juliana. Determinantes de desempenho dos alunos do ensino básico brasileiro: evidências do SAEB de 1997. In: FRANCO, Creso (Org.). Avaliação, ciclos e promoção na educação Porto Alegre: Artmed , 2001. p. 121-153.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2016

Histórico

• Recebido
  Nov 2015
• Aceito
  Mar 2016