Resumo
Este estudo utiliza a metodologia de regressão descontínua fuzzy, considerando o tamanho da sala predito pela função de Maimonides (Angrist & Lavy, 1999) como instrumento para o tamanho da sala observado, para avaliar o impacto de políticas públicas que estipulem um número máximo de alunos por turma no Brasil. Em particular, foram analisados os efeitos de resoluções e portarias municipal e estadual de São Paulo, Minas Gerais e Santa Catarina sobre as notas de alunos do 5º e 9º ano na Prova Brasil 2015. Os resultados mostram que não existam evidências estatisticamente significantes de que o tamanho da sala tenha impacto nas notas dos alunos. As análises de robustez performadas também concluem não haver efeito.
Palavras-chave: tamanho da sala; notas dos alunos; regressão descontínua
Abstract
As a result of the inversion of the demographic pyramid and the consequent drop in enrollments in basic education in Brazil, a possible public policy is to limit the number of students per classroom. In this context, the main objective of this study is to evaluate the impact of policies that stipulate a maximum number of students per class on students scores in Mathematics and Portuguese of Prova Brasil, using a sample of 5th and 9th grade students from the municipal and state school chains of São Paulo. Fuzzy regression discontinuity design was used to estimate these impacts, using predicted class size by the Maimonides rule (Angrist & Lavy, 1999) as an instrument for the actual class size. Results show that there is no statistically significant evidence that class size has an impact on student grades. Aiming to bring greater external validity, the effect of interest was estimated for the 5th and 9th grade of Minas Gerais and Santa Catarina, and 5th grade São Paulo, obtaining the same conclusion. The robustness analyzes performed also conclude that there is no effect.
1. Introdução
Em decorrência da inversão da pirâmide demográfica e a consequente queda das matrículas do ensino básico no Brasil, uma potencial medida de política pública é limitar o número de alunos por sala de aula. Nesse contexto, o objetivo principal deste estudo é avaliar o impacto dessas políticas nas notas em Matemática e Português da Prova Brasil de alunos do 5º ano da rede municipal da cidade de São Paulo e 9º ano estadual de todo o estado de São Paulo. Além de ser um importante assunto a ser discutido do ponto de vista acadêmico, esta temática tem grande relevância no debate sobre políticas educacionais no Brasil.
O Brasil, apesar de ser a 9ª maior economia do mundo (FMI, 2015), ainda precisa de melhoras significativas na qualidade do ensino público para se equiparar a países de seu porte econômico em termos de qualidade da educação. No último teste PISA,1 em 2015, o país figurou entre as seis últimas posições em Matemática, oito últimas em Ciências e doze últimas em leitura, de um total de 72 países. O Brasil ficou à frente apenas de países como Kosovo, Algéria e República Dominicana. Além disso, desde 2006, não houve melhoras nos desempenhos em ciências e leitura.
No contexto interno, indicadores de qualidade da educação mostram uma melhora na educação básica, mas que difere consideravelmente entre os ciclos de ensino, como observado na Figura 1. Os primeiros anos do Ensino Fundamental apresentaram maior progresso, aumentando cerca de 44% entre 2005 e 2015 (de 3,8 para 5,5). Já nos anos finais, esse aumento foi de 28% (de 3,5 para 4,5). No Ensino Médio, por outro lado, o indicador avançou muito pouco entre 2005 e 2011, estagnando-se nos anos subsequentes.
Uma oportunidade para se recuperar o atraso educacional do país é o atual processo de inversão da pirâmide etária (Figura 2). Esse processo levará a uma queda das matrículas do ensino básico, tendência que já pode ser observada para o ensino fundamental de escolas estaduais e municipais desde 2003 (Figura 3).
Nesse contexto de diminuição das matrículas, o menor número de alunos pode ser visto como uma oportunidade para que os governos invistam em políticas públicas que visem melhorar a qualidade do ensino público. Uma potencial medida seria reduzir, ou limitar, o número de alunos por sala de aula. Políticas que determinam um número máximo de alunos por sala estão amplamente presentes nos países, como ficará claro na seção de Revisão de Literatura.
No Brasil, a Câmara dos Deputados aprovou em 2012 um Projeto de Lei que limita a 25 alunos por sala nos anos iniciais do Ensino Fundamental e a 35 nos anos finais e Ensino Médio. O Projeto ainda deve ser aprovado pelo senado para que entre em vigor. Entretanto, mesmo que isso não ocorra, já existem diversas leis, resoluções e portarias estaduais ou municipais que estipulam um valor máximo de alunos por turma para as respectivas redes estaduais e municipais de ensino.3
Em particular, o objetivo principal desta dissertação é avaliar os efeitos de uma portaria municipal da cidade de São Paulo e uma resolução estadual de São Paulo que estabelece um número máximo de 35 alunos por turma nos respectivos 5° e 9° ano do Ensino Fundamental sobre as notas dos alunos dessas séries em Matemática e Português na Prova Brasil. Os resultados serão primeiramente estimados para São Paulo por este ser o estado que mais perderá população em idade escolar com a transição demográfica.4 A princípio, analisar-se-á o 5° ano da rede municipal da cidade de São Paulo, e não estadual, uma vez que a maioria dos alunos desse ano escolar estudam em escolas municipais. Já no 9° ano do estado de São Paulo, a maioria das escolas pertencem ao regime estadual, e por isso estas serão nosso objeto de análise.5
Para conseguir isolar o efeito causal de interesse, serão empregadas técnicas de regressão descontínua fuzzy, seguindo a abordagem de Angrist e Lavy (1999). A ideia é utilizar a regra de Maimonides proposta pelos autores, que calcula o tamanho predito da sala caso o máximo estabelecido pela respectiva portaria ou resolução fosse perfeitamente seguido pelas escolas, como instrumento para o tamanho da sala realizado numa equação de primeiro estágio. Depois, no segundo estágio, estima-se o efeito sobre as notas dos alunos.
Os resultados mostram que não há impactos estatisticamente significantes com o aumento do tamanho da sala nas notas dos alunos, tanto para a amostra toda como ao redor de cada um dos múltiplos pontos de corte analisados. Visando trazer maior validade externa, o efeito de interesse foi estimado para outras redes de ensino (5° e 9° ano estadual de Minas Gerais e Santa Catarina), obtendo-se a mesma conclusão. As análises de robustez performadas também concluem não haver efeitos.
No Brasil, apenas o estudo de Oliveira (2010) avalia o impacto do tamanho da sala nas notas dos alunos para o Brasil todo, concluindo que há um efeito negativo. Entretanto, os autores o fazem utilizando dados do SAEB (Sistema de Avaliação da Educação Básica), que consiste numa pesquisa amostral, além de utilizar a metodologia de propensity score matching. Portanto, este estudo possui duas grandes contribuições para a literatura nacional no tema: a principal consiste em utilizar técnicas de regressão descontínua, que é mais transparente e exige hipóteses mais fracas do que a empregada por Oliveira (2010) para estimar o efeito causal de interesse; a segunda é utilizar a avaliação censitária Prova Brasil, permitindo encontrar os efeitos por estado.
Este estudo está divido da seguinte forma: a seção 2 descreve os métodos empregados; a seção 3 descreve os dados utilizados e faz uma análise descritiva da amostra. A seção 4 expõe os resultados encontrados para São Paulo e a seção 5, para Minas Gerais e Santa Catarina.
1.1 Revisão de Literatura
O debate sobre o efeito do tamanho da sala no desempenho dos alunos se intensificou com a implementação do projeto STAR (Student/Teacher Achievement Ratio) em Connecticut, nos Estados Unidos, onde alunos e professores foram aleatoriamente alocados a salas de tamanhos distintos. Vários artigos utilizaram dados desse projeto para verificar se há uma relação causal entre número de alunos numa classe e notas, encontrando que estudantes em classes menores desempenhavam melhor em matemática e leitura do que aqueles em classes de tamanho regular (Finn & Achilles, 1990; Folger e Breda (1989) e Word et al. (1990)).
Ainda avaliando o projeto STAR, Krueger (1999) concluiu que as notas dos alunos aumentaram 4 percentis no primeiro ano em que foram realocados para classes menores e que continuaram a aumentar cerca de 1 percentil em cada ano subsequente. Krueger e Whitmore (2001), a fim de analisar os efeitos de longo prazo do projeto, acompanharam os alunos participantes e verificaram que aqueles que foram alocados para salas menores no ensino fundamental tinham maior probabilidade de frequentar uma universidade no futuro.
Também com dados dos Estados Unidos, há evidências de que exista uma relação positiva entre redução do tamanho das salas e desempenho dos alunos nas séries iniciais do ensino fundamental (Jepsen & Rivkin, 2009). Porém, argumentam que uma questão importante a se analisar é se os benefícios do programa compensam seu alto custo de implementação.
Em outros países, Angrist e Lavy (1999), com dados de estudantes de 4ª e 5ª séries de Israel e aplicando a metodologia de regressão descontínua, encontraram um resultado negativo entre maior tamanho da sala e desempenho nos exames de matemática e interpretação de textos. Entretanto, em trabalho recente, Angrist, Lavy, Leder-Luis, e Shany (2017) mostram que existem evidências de manipulação nas matrículas totais utilizadas no artigo de 1999, de modo que as conclusões obtidas não estariam válidas. Por isso, nesse último os autores constroem uma nova variável de matrícula, baseando-se na data de nascimento dos alunos. Os autores concluem que não há efeito estatisticamente significante do tamanho da sala nas notas dos alunos em matemática e interpretação de textos.
Aplicando também a metodologia de regressão descontínua, Sapelli e Illanes (2016) mostram que há um efeito negativo do aumento do tamanho da sala no desempenho, mas que esse efeito pode ser ofuscado pelo impacto também negativo de um professor dando aula em universidade pela primeira vez.
Na Itália, o efeito exógeno de um aumento no tamanho da sala piora significativamente o desempenho em matemática, enquanto não afeta o desempenho em línguas (De Paola, Ponzo, & Scoppa, 2013). Na mesma linha, na Colômbia há evidências de que um aluno a mais em sala diminui, em média, 2,4 pontos no exame de matemática dos demais alunos (Breton, 2014).
Entretanto, não há um consenso na literatura de que exista efeito significante do tamanho da sala no desempenho dos alunos. Segundo Hoxby (2000), baseado num experimento em escolas de Connecticut, diminuir o tamanho das salas não impacta o desempenho dos alunos. A autora argumenta que o problema de variável omitida e endogeneidade geralmente presentes nos demais estudos sobre o tema são muito menos prováveis de ocorrer neste caso, pois a variação no tamanho da sala é exógena (não é afetada pela decisão dos pais por exemplo) e os participantes não sabem que estão sendo avaliados.
Com dados do UTD Texas School Project, Rivkin, Hanushek, e Kain (2005) encontram evidências de que a qualidade dos professores, mais do que a redução no tamanho da sala, impacta positivamente o desempenho dos alunos em matemática e interpretação de textos. Da mesma forma, Funkhouser (2009) conclui que há um efeito muito pequeno de reduzir as salas de aula na pré-escola no desempenho nas provas da 2a série, especialmente quando comparado a outros determinantes da nota.
Na Noruega, Leuven, Oosterbeek, e Ronning (2008) aplicam a mesma metodologia de Angrist e Lavy (1999), encontrando resultados diferentes. O estudo conclui que não há efeitos significantes da redução do tamanho das salas de 5° a 9° anos do ensino fundamental no desempenho dos alunos em testes aplicados no 9° ano. Os resultados se mantêm para escolas com diferentes características, como background socioeconómico dos alunos e currículo de professores.
Esses resultados contraditórios podem ser atribuídos a possíveis problemas econométricos como endogeneidade, o que dificulta recuperar o efeito causal do tamanho da sala na performance dos alunos. Por exemplo, melhores professores podem ser designados a salas maiores ou alunos com menos habilidades podem ser alocados a salas menores (De Paola et al., 2013).
Além disso, a falta de consenso na literatura pode ser explicada pelo fato de que a adição de um aluno afeta o desempenho dos demais via dois fatores, que possivelmente agem em sentidos opostos: o tamanho da sala e o efeito par (ou peer effect). O primeiro afeta o desempenho negativamente por diminuir a razão professor/aluno (efeito conhecido como “teacher resource”) e/ou por levar a problemas relacionados à disciplina da turma (conhecido como “crowding effect”). Por outro lado, espera-se que o efeito de introduzir um aluno a mais na sala (efeito par) possa gerar externalidades positivas ou negativas.
1.2 Contexto Institucional
No Brasil, ainda não há uma legislação nacional em vigor que limite o número de alunos por sala no ensino básico, tanto no privado como no público. Entretanto, existe um projeto de lei, aprovado pela Comissão de Educação do Senado em outubro de 2012, que estabelece um máximo de 25 estudantes por sala na pré-escola e nos dois primeiros anos do Ensino Fundamental e de 35 nos demais anos. Esse projeto ainda estabelece que esses limites possam ser até 20% maiores caso as escolas possuam espaço físico para acomodar tais estudantes.
No estado de São Paulo, a Resolução SE 86, de 28/11/2008, discorre sobre as diretrizes e os procedimentos para atendimento à demanda escolar da rede estadual de ensino. Em particular, o artigo número 2 dessa resolução estabelece que, na média, o número máximo de alunos por turma deve ser de 30 alunos para os anos iniciais do Ensino Fundamental e 35 alunos para os anos finais. A resolução também afirma que “Casos excepcionais deverão ser submetidos à análise da Diretoria de Ensino e à homologação anual da respectiva Coordenadoria.” O Apêndice B Apêndice B. B.1 Resolução SE 86, de 28/11/2008 - Resolução Estadual de São Paulo que Limita o Número de Alunos por Sala Art. 2° Na organização do atendimento à demanda escolar nas escolas estaduais, sempre que houver disponibilidade de recursos físicos, deverão ser observados como critérios para organização e composição de classes/turmas os seguintes referenciais quanto à média de alunos por classe: I - 30 alunos para as classes das séries/anos iniciais do ensino fundamental; II - 35 alunos para as classes das séries/anos finais do ensino fundamental; III - 40 alunos para as classes do ensino médio; IV - 40 alunos para as turmas de educação de jovens e adultos, nos dois níveis de ensino: fundamental e médio; V - 15 a 20 alunos para as turmas do Projeto Intensivo no Ciclo - PIC de 3a e 4a séries do ensino fundamental; VI - 12 a 15 alunos na oferta de serviços de apoio pedagógico especializado, SAPE(s), e para o atendimento escolar de alunos com deficiência, a partir dos princípios da educação inclusiva, em conformidade com o disposto na Resolução n° 11/2008; VII - as turmas de recuperação paralela serão constituídas de 15 a 20 alunos e organizadas em conformidade com as diretrizes fixadas na Resolução n° 40/2008; Parágrafo único - Casos excepcionais deverão ser submetidos à análise da Diretoria Ensino e à homologação anual da respectiva Coordenadoria. B.2 Portaria n° 4722, de 16 de Outubro de 2009 - Portaria Municipal de São Paulo que Limita o Número de Alunos por Sala Art. 20 As classes do 1° ano do Ciclo I do ensino fundamental regular serão formadas com até 32 (trinta e dois) alunos. §1° Nos demais anos do ensino fundamental regular, as classes devem ser formadas com até 35 (trinta e cinco) alunos. §2° Nas Emees, que atendem, exclusivamente, os alunos com necessidades educacionais especiais, as classes de ensino fundamental serão formadas com, em média, 10 (dez) alunos. contém o artigo 2 dessa resolução.
Já no município de São Paulo, anualmente é lançada uma portaria que apresenta as normas acerca da organização das unidades escolares da rede municipal de ensino. Desde 2009, essa portaria estabelece que as classes do primeiro ano do Ciclo I6 do Ensino Fundamental regular devam ser formadas com até 32 alunos e as demais classes do Ensino Fundamental, com até 35 alunos.7 O Apêndice B Apêndice B. B.1 Resolução SE 86, de 28/11/2008 - Resolução Estadual de São Paulo que Limita o Número de Alunos por Sala Art. 2° Na organização do atendimento à demanda escolar nas escolas estaduais, sempre que houver disponibilidade de recursos físicos, deverão ser observados como critérios para organização e composição de classes/turmas os seguintes referenciais quanto à média de alunos por classe: I - 30 alunos para as classes das séries/anos iniciais do ensino fundamental; II - 35 alunos para as classes das séries/anos finais do ensino fundamental; III - 40 alunos para as classes do ensino médio; IV - 40 alunos para as turmas de educação de jovens e adultos, nos dois níveis de ensino: fundamental e médio; V - 15 a 20 alunos para as turmas do Projeto Intensivo no Ciclo - PIC de 3a e 4a séries do ensino fundamental; VI - 12 a 15 alunos na oferta de serviços de apoio pedagógico especializado, SAPE(s), e para o atendimento escolar de alunos com deficiência, a partir dos princípios da educação inclusiva, em conformidade com o disposto na Resolução n° 11/2008; VII - as turmas de recuperação paralela serão constituídas de 15 a 20 alunos e organizadas em conformidade com as diretrizes fixadas na Resolução n° 40/2008; Parágrafo único - Casos excepcionais deverão ser submetidos à análise da Diretoria Ensino e à homologação anual da respectiva Coordenadoria. B.2 Portaria n° 4722, de 16 de Outubro de 2009 - Portaria Municipal de São Paulo que Limita o Número de Alunos por Sala Art. 20 As classes do 1° ano do Ciclo I do ensino fundamental regular serão formadas com até 32 (trinta e dois) alunos. §1° Nos demais anos do ensino fundamental regular, as classes devem ser formadas com até 35 (trinta e cinco) alunos. §2° Nas Emees, que atendem, exclusivamente, os alunos com necessidades educacionais especiais, as classes de ensino fundamental serão formadas com, em média, 10 (dez) alunos. contém o artigo 20 dessa resolução. A Tabela 1 expões os respectivos máximos estabelecidos do 5° e 9° ano das redes estaduais e municipais de São Paulo.
As secretarias estaduais e municipais de educação fiscalizam o cumprimento do número máximo de alunos por turma por meio das respectivas diretorias de ensino, que enviam supervisores para visitarem as escolas. Entretanto, ainda assim existem casos de superlotação das salas. Sobre eles, as secretarias argumentam serem casos excepcionais de escolas em regiões onde não é possível construir outras unidades (como áreas de manancial ou de regularização fundiária); ou mesmo casos em que há alguma determinação judicial para que mais alunos estudem ali.
Além disso, em regiões com grande demanda, evidências anedóticas apontam que é frequente as escolas recusarem alunos por detrimento de recursos físicos para atendê-los, alegando que não há mais vagas no respectivo ano escolar. Quando isso ocorre, os alunos são colocados em lista de espera ou indicados a procurar uma outra unidade escolar mais próxima.
O contexto aqui apresentado também serve como justificativa adicional para o presente trabalho. A existência de uma resolução ou portaria, seu cumprimento, mesmo que imperfeito, e seus efeitos são pontos essenciais na análise de impactos de políticas públicas.
2. Metodologia
Para estimar o impacto do tamanho da sala no desempenho dos alunos, seria ideal que houvesse um experimento aleatório que designasse alunos a salas de aula de tamanhos diferentes. Entretanto, na ausência de um experimento, as metodologias que buscam replicá-lo da maneira mais próxima possível, chamadas de métodos quase-experimentais, podem ser utilizadas para recuperar o efeito causal de interesse. Dentre elas,8 o método de desenhos de regressão descontínua (ou RDD, do inglês Regression Discontinuity Design) é o mais crível e transparente para encontrar o efeito de programas ou políticas (Lee & Lemieux, 2010). Sob determinadas condições detalhadas nas próximas sub-seções, esse método é capaz de isolar o efeito do tratamento de maneira tão boa quanto se ele tivesse sido aleatorizado.
O uso de RDD se aplica a dois cenários distintos: o primeiro, conhecido como sharp RDD, é quando o tratamento de interesse é uma função determinística e descontínua de uma dada variável (chamada de running variable); o segundo, conhecido como fuzzy RDD, ocorre quando há uma descontinuidade no valor esperado ou na probabilidade do tratamento condicional à running variable. No presente estudo, o valor esperado do tamanho da sala (variável de tratamento) é uma função descontínua do total de alunos matriculados (running variable), consistindo num fuzzy RDD.
Dadas as regras expostas na seção anterior que estipulam em 35 o número máximo de alunos por sala no 5° ano municipal e 9° ano estadual de São Paulo, as escolas devem ajustar a quantidade de alunos por turma condicional ao total de matrículas. Isso implica que, considerando que a regra seja seguida, se houver 36 alunos matriculados, seriam formadas duas salas com 18 alunos em cada uma. Dessa forma, haveria uma descontinuidade no tamanho da sala (de uma para duas salas) no exato ponto em que a matrícula total aumenta de 35 para 36. Se não existir nenhuma outra característica que também seja descontínua nesse ponto, então alunos em salas com 35 pessoas seriam um bom contrafactual para alunos em salas com 18 estudantes. Por esse raciocínio, a descontinuidade ocorrerá em quaisquer valores de matrícula total que sejam múltiplos de 35.
Como essas determinações não são perfeitamente seguidas pelas escolas, tratase de um fuzzy RDD. A ideia é utilizar o tamanho da sala predito pela respectiva regra como instrumento para o tamanho da sala realizado. Nesse contexto, o objetivo deste estudo é comparar o desempenho na Prova Brasil em português e matemática de alunos que estejam em salas de aula com número de alunos à esquerda e à direita da regra (ou múltiplos dela) de tamanho máximo da sala.
2.1 Regressão Descontínua Fuzzy
Seguindo Angrist e Pischke (2008), o RDD fuzzy explora descontinuidades na probabilidade ou no valor esperado do tratamento condicional a uma covariada. A própria descontinuidade se torna uma variável instrumental para o status de tratamento, em vez de determiná-lo de maneira compulsória. Há, então, um salto na probabilidade de tratamento. Formalmente, definindo Di como a variável binária que denota o tratamento (sendo igual a 1 se tratado e 0 caso contrário); xi como sendo a running variable e c1 o ponto de corte, tem-se que:
onde g0(xi) e g1(xi) podem ser quaisquer polinomios de ordem p desde que sejam diferentes ao redor de c1.
Desse modo, a relação entre a probabilidade de tratamento e xi pode ser escrita por:
onde
em que a variável binária Ti indica o ponto onde é descontínua.
O RDD fuzzy pode ser naturalmente estimado por Mínimos Quadrados em 2 Estágios (MQ2E), em que a equação (1) é o primeiro estágio de interesse, com Ti funcionando como um instrumento para o tratamento Di. O segundo estágio é então dado por uma regressão de uma variável dependente Yi no valor estimado de , controlando por funções da running variable xi. Formalmente, o efeito de interesse é calculado por:
Nesse caso, sendo Ti um instrumento binário para o tratamento Di numa h-vizinhança de ci, o estimador acima consiste no conhecido estimador de Wald. Hahn, Todd, e Van der Klaauw (2001) foram os primeiros a interpretá-lo no caso do RDD fuzzy como o efeito do tratamento sobre os compliers. Nesse contexto, os compliers são indivíduos tratados somente por estarem à direita do ponto de corte (xi ≥ c1), e que não o seriam caso contrário.
Assim como é importante a existência de um forte primeiro estágio na metodologia de variáveis instrumentais, no RDD fuzzy é igualmente importante verificar que existe uma descontinuidade na relação entre Di e xi. Além disso, há ainda uma hipótese fundamental para a validade dos resultados de RDD, seguindo Lee e Lemieux (2010):
Hipótese 1 (H1). Aleatorização local: se os agentes possuem controle impreciso sobre a running variable xi, então o tratamento é tão bom quanto se fosse aleatorizado ao redor do ponto de corte c1.
A hipótese acima pode ser testada por meio da análise da densidade da running variable, como proposto por McCrary (2008) e explicado na sub-seção de validação dos resultados. Se H1 for válida, a principal implicação é que se pode testar se as covariadas definidas pré tratamento são iguais entre os grupos tratado e controle para verificar se o experimento foi bem feito.9 No caso do RDD, consiste em verificar se as covariadas entre indivíduos à direita do ponto de corte são iguais às de indivíduos à esquerda, dentro de uma dada janela. Em outras palavras, as covariadas não devem apresentar nenhuma descontinuidade ao redor do ponto de corte.
2.1.1 Regressão Descontínua fuzzy aplicada ao tamanho da sala
No presente estudo, o RDD fuzzy é generalizado em dois aspectos com relação ao que foi exposto anteriormente. Primeiro, a variável de tratamento - o tamanho da sala - assume diversos valores, de modo que a descontinuidade no ponto de corte em questão leva a saltos no valor esperado do tamanho da sala, e não na probabilidade. Além disso, como a running variable são as matrículas totais, trata-se de um caso em que há múltiplos pontos de corte.
Desse modo, o tamanho predito da sala na escola e no ano escolar a, caso a regra seja estritamente seguida, é dado por uma regra análoga à de Maimonides, primeiramente desenvolvida por Angrist e Lavy (1999):
em que Tamanho da Sala Preditoea é o tamanho da classe na escola (e), no ano escolar (a) predito pelo Máximo Estabelecidoa pela lei ou resolução do respectivo estado no ano escolar (a) (ver Tabela 1); Matrículaea é o total de alunos matriculados na escola (e), no ano escolar (a), conforme dados do Censo Escolar 2015; int(x) é o maior inteiro menor ou igual a x.
Voltando ao exemplo do início desta seção, em que o Máximo Estabelecidoa era de 35 alunos por sala e considerando Matrículaea igual a 74 alunos, de modo que int((74 - 1)/35) + 1 é igual a 3, então o Tamanho da Sala Preditoea seria igual a 24,67. Isto é, pela regra seriam formadas 3 salas com mesmo tamanho de 24,67 alunos, de modo que o Tamanho da Sala Preditoea seja o mesmo para alunos de uma mesma escola (e) e ano escolar (a). Na prática, entretanto, os alunos não são necessariamente designados a salas de mesmo tamanho, o que nem seria possível no caso de se ter 74 alunos matriculados. A seção de análise descritiva explora melhor a distribuição dos alunos entre as salas.
Mesmo que o Tamanho da Sala Preditoea não seja um preditor perfeito do tamanho da sala observado, espera-se que haja uma relação entre ambos, que pode ser sintetizada numa equação de primeiro estágio, da forma:
onde Tamanho Salaea é o tamanho médio da sala na escola (e), no ano escolar (a);10 Matrículaea2 são as Matrículaea ao quadrado; Xiea são características dos alunos como raça, sexo e escolaridade dos pais; INSE é do Indicador de Nível Socioeconómico da Escola e calculado pelo INEP;11 𝜇iea é o termo de erro aleatório. Caso a regra fosse perfeitamente seguida, tanto o coeficiente 𝜋1 como o coeficiente de explicação do modelo, R2, seriam iguais a 1.
Conforme visto, o RDD fuzzy pode ser naturalmente estimado por Mínimos Quadrados em Dois Estágios. Logo, para identificar o efeito do tamanho da sala nas notas dos alunos de 5° e 9° anos em Português e Matemática, a equação de interesse pode ser modelada por um segundo estágio:
em que Notaiea são as respectivas notas padronizadas com média 0 e desvio padrão 1 da Prova Brasil em Português e Matemática do aluno (í), na escola (e) e ano escolar (a); é o tamanho médio da sala estimado pela equação (3); uie é o termo de erro aleatório, que representa características específicas aos alunos. O parâmetro 𝛽1 capta o efeito de interesse deste estudo. O sinal esperado desse coeficiente é incerto, dada a falta de consenso na literatura sobre os efeitos do tamanho da sala no desempenho dos alunos. Além disso, como se trata de uma estimação por variáveis instrumentais, é importante ressaltar que o efeito causal dado por 𝛽1 refere-se somente à população de compliers. Isto é, a alunos alocados a salas de aula de tamanho menores somente por terem sido afetados pela regra que estabelece um número máximo de alunos por turma.
Primeiramente, as equações (3) e (4) foram estimadas para toda a amostra, seguindo Angrist e Lavy (1999). Essa abordagem é simples e transparente de ser implementada. Num segundo momento, calculou-se o efeito de interesse para cada um dos múltiplos pontos de corte, onde as variáveis explicativas das equações (3) e (4) foram interagidas com um conjunto de variáveis dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte, seguindo a abordagem utilizada por Brollo, Nannicini, Perotti, e Tabellini (2013).
Por último, foram estimadas regressões lineares locais com kernel retangular,12 o que significa efetuar uma regressão linear padrão dentro de uma janela h em ambos os lados do(s) ponto(s) de corte. Na prática, consiste em estimar as coeficientes 𝜋1 e 𝛽1 das equações (3) e (4) utilizando como instrumento dummies que assumem o valor 1 se os alunos estão à direita de cada um dos respectivos pontos de corte, e 0 caso estejam à esquerda,13 somente para observações dentro de h. Neste estudo, a janela ótima h foi calculada por meio do procedimento proposto por Calonico, Cattaneo, e Titiunik (2014), que busca minimizar o erro quadrático médio dos estimadores, a fim de otimizar o trade off entre viés e variância.14
Fazendo uma analogia com a notação da sub-seção anterior:
-
Tamanho Sala é a variável de tratamento Di
-
Tamanho da Sala Predito é o instrumento Ti
-
Matrícula é a running variable xi
-
Nota é a variável dependente Yi.
Para valer a hipótese de identificação H1, é preciso verificar se não há manipulação da running variable Matrículaea em cada um dos múltiplos pontos de corte, o que será feito via teste de McCrary (2008). Na prática, isso significa que as escolas não podem manipular precisamente o número de matrículas totais ao redor do máximo estabelecido pelas respectivas regras. Validada essa hipótese, pode-se afirmar que, em torno dos pontos de corte, os alunos são designados a salas de aula de tamanhos diferentes de maneira tão boa quanto se eles tivessem sido aleatorizados. Como visto, uma maneira de verificar se essa aleatorização foi bem feita é comparar as covariadas dos alunos à direita e à esquerda dos pontos de corte. Em outras palavras, nenhuma outra covariada deve mostrar uma descontinuidade em torno desses pontos, o que também será testado na seção de Validação dos resultados.
3. Dados e Análise Descritiva
A principal base de dados utilizada neste estudo foi a Avaliação Nacional do Rendimento Escolar (Anresc) 2015, mais conhecida como Prova Brasil, criada com o objetivo de avaliar a qualidade do ensino ministrado nas escolas das redes públicas de ensino fundamental do país. Trata-se de uma avaliação censitária17 bianual envolvendo os alunos do 5° ano (4ª série) e 9° ano (8ª série) do ensino fundamental regular das escolas públicas que possuem, no mínimo, 20 alunos matriculados18 nos anos/séries avaliados. A Prova Brasil avalia o desempenho escolar em Língua Portuguesa (foco em leitura) e Matemática (foco na resolução de problemas). Na amostra deste estudo, foram considerados alunos do 5° ano de escolas municipais da cidade de São Paulo e do 9° ano estadual de todo o estado de São Paulo que fizeram a Prova Brasil e responderam ao questionário socioeconómico.
As variáveis resposta analisadas foram as respectivas notas dos alunos de 5° e 9° anos em Português e Matemática, que variam de 0 a 500. Além disso, as variáveis explicativas consistem em características dos alunos e o Indicador de Nível Socioeconómico da escola, todas elas disponíveis nos questionários da Prova Brasil. A Tabela A-1 no Apêndice A Apêndice A. A.1 Descrição das Variáveis e Estatísticas Descritivas Tabela A-1 Descrição das variáveis utilizadas. Variável Descrição Variáveis Resposta Nota Português Nota do aluno na Prova Brasil em Português - Padronizada com média 0 e d.p. 1 Nota Matematica Nota do aluno na Prova Brasil em Matemática - Padronizada com média 0 e d.p. 1 Característica dos Alunos Branco Variável Binária = 1 se o aluno é branco Homem Variável Binária = 1 se o aluno é homem Já Reprovado Variável Binária = 1 se o aluno já foi reprovado Mãe EF Incompleto Variável Binária = 1 se a mãe do aluno não completou o E.F. Pai EF Incompleto Variável Binária = 1 se o pai do aluno não completou o E.F. Pós-Graduação Variável Binária = 1 se o professor do aluno possui alguma pós-graduação. Característica das Escolas Matrícula Matrícula total do respectivo ano escolar Tamanho da Sala Tamanho médio da sala no respectivo ano escolar Nº de Salas Nº de Salas de Aulas Utilizadas Nº de Funcionários Nº total de funcionários da escola Nº de Turmas Nº de turmas da escola por ano escolar INSE Indicador de Nível Socioeconomico da Escola, calculado pelo INEP Tabela A-2 Estatísticas Descritivas das Variáveis. Média D.P. Obs. p10 p25 p50 p75 p90 Painel A: Dados de Turmas 5º ano Tamanho da Sala (Censo Escolar) 31,4 3,44 1.629 26 30 32 34 35 Tamanho da Sala (Prova Brasil) 31,4 3,19 1.514 27 30 32,3 33,7 34,6 9º ano Tamanho da Sala (Censo Escolar) 30,7 6,20 13.074 22 28 32 35 37 Tamanho da Sala (Prova Brasil) 30,8 4,51 11.416 25 28 31,3 34 36 Painel B: Dados de Escolas 5º ano Nº de Matriculados 93,6 30,1 543 61 68 95 106 134 Nº de Presentes 82,3 26,4 543 52 62 82 96 119 Nº de Salas 14,6 3,52 543 11 12 14 17 18 Nº de Funcionários 75,3 19,9 543 51 63 74 86 100 Nº de Turmas 2,98 0,90 543 2 2 3 4 4 Pós-Graduação 0,028 0,17 536 0 0 0 0 0 INSE 3,49 1,10 536 1 4 4 4 4 9º ano Nº de Matriculados 106,4 52,2 3.446 42 67 100 138 181 Nº de Presentes 86,9 42,6 3.446 35 55 81 112 146 Nº de Salas 13,5 6,49 3.440 8 10 12 16 20 Nº de Funcionários 68,6 27,4 3.446 37 49 65 85 107 Nº de Turmas 3,46 1,55 3.446 2 2 3 4 6 Pós-Graduação 0,046 0,21 3.427 0 0 0 0 0 INSE 3,43 1,08 3.406 1 3 4 4 4 Painel C: Dados de Alunos 5º ano Branco 0,31 0,46 40.328 0 0 0 1 1 Homem 0,50 0,50 39.827 0 0 0 1 1 Já Reprovado 0,089 0,29 39.527 0 0 0 0 0 Mãe EF Incompleto 0,11 0,32 40.354 0 0 0 0 1 Pai EF Incompleto 0,080 0,27 40.142 0 0 0 0 0 Nota Matemática 220,0 43,5 41.980 163,6 188,4 218,5 250,6 278,6 Nota Português 210,3 46,8 41.980 147,6 176,4 210,6 243,3 271,3 9º ano Branco 0,36 0,48 283.343 0 0 0 1 1 Homem 0,51 0,50 280.685 0 0 1 1 1 Já Reprovado 0,20 0,40 280.357 0 0 0 0 1 Mãe EF Incompleto 0,15 0,36 284.531 0 0 0 0 1 Pai EF Incompleto 0,12 0,32 282.327 0 0 0 0 1 Nota Matemática 253,6 44,6 288.312 195,4 220,1 252,0 284,5 312,8 Nota Português 250,4 49,5 288.312 181,9 215,2 252,9 286,8 313,8 Nota: Essa tabela apresenta estatísticas descritivas para turmas, escolas e alunos de 5º ano da rede municipal da cidade de São Paulo e 9º ano da rede estadual de São Paulo. Os dados foram obtidos do Censo Escolar e da Prova Brasil no ano de 2015. Tabela A-3 Estatísticas Descritivas do Tamanho da Sala por Número de Turmas. Média D.P. Obs. p10 p25 p50 p75 p90 5º ano 1 Turma 32,9 3,15 13 27 33 33 35 35 2 Turmas 31,5 4,02 322 25 30 33 34 35 3 Turmas 31,2 3,50 711 26 29 32 34 35 4 Turmas 31,7 2,98 440 27 30 32 34 35 5 Turmas 31,6 2,90 130 28 30 32 33 34,5 6 Turmas 27,8 1,94 6 25 26 28,5 29 30 7 Turmas 33,3 3,25 7 26 34 34 35 35 9º ano 1 Turma 24,6 8,86 345 12 18 26 32 35 2 Turmas 28,5 6,92 1.686 19 24 29 34 37 3 Turmas 30,6 5,72 2.889 24 28 32 35 37 4 Turmas 31,3 5,57 2.884 25 29 32 35 37 5 Turmas 31,5 5,97 2.030 24,5 29 33 35 37 6 Turmas 31,6 6,05 1.518 24 30 33 35 37 7 Turmas 31,7 5,63 812 26 30 33 35 36 8 Turmas 31,7 6,18 464 25 30 33 35 38 9 Turmas 32,2 5,33 243 29 31 33 35 37 10 Turmas 31,4 6,43 120 19,5 29 34 35 37 11 Turmas 33,5 2,08 33 31 32 34 35 36 12 Turmas 33,5 3,28 36 31 33 34,5 35 36 14 Turmas 33 6,04 14 20 34 35,5 36 36 Nota: Essa tabela apresenta estatísticas descritivas para turmas, escolas e alunos de 5º ano da rede municipal da cidade de São Paulo e 9º ano da rede estadual de São Paulo. Os dados foram obtidos do Censo Escolar e da Prova Brasil no ano de 2015. A.2 Resultados por Ponto de Corte As figuras A-1 e A-2 plotam a relação de primeiro estágio para o 5° e 9° ano de uma maneira diferente do que a exposta na Figura 7: tanto agrupando os pontos de corte (análise pooled) como individualmente. Para essa análise, as matrículas totais foram normalizadas de acordo com a distância de cada observação ao ponto de corte acima ou abaixo mais próximo, construindo-se intervalos simétricos de modo que nenhuma observação estivesse em mais de um intervalo ao mesmo tempo. Posteriormente, calculou-se o tamanho médio da sala em bins de um aluno à esquerda e à direita de cada um desses pontos com intervalos de 95% confiança. Figura A-1 Primeiro Estágio - pooled e por Pontos de Corte (5º ano) Essa figura plota o tamanho médio da sala em bins de um aluno. A linha central é uma aproximação polinomial de segunda ordem em matrícula normalizada, ajustada separadamente à esquerda e à direita de cada um dos respectivos pontos de corte. As linhas laterais são o intervalo com 95% de confiança. Os dados provêm de alunos do 5° ano municipal da cidade de São Paulo com base no Censo Escolar 2015. Figura A-2 Primeiro Estágio - pooled e por Pontos de Corte (90 ano) Essa figura plota o tamanho médio da sala em bins de um aluno. A linha central é uma aproximação polinomial de segunda ordem em matrícula normalizada, ajustada separadamente à esquerda e à direita de cada um dos respectivos pontos de corte. As linhas laterais são o intervalo com 95% de confiança. Os dados provêm de alunos do 9° ano estadual de São Paulo com base no Censo Escolar 2015. Pela Figura A-1, no 5° ano, a descontinuidade se mostra estatisticamente significante no gráfico pooled e no segundo ponto de corte (70 alunos matriculados). Os resultados para os demais pontos de corte devem ser analisados com cautela, uma vez que o tamanho amostral é muito pequeno em seus arredores, resultando em intervalos de confiança imprecisos. Por exemplo, no segundo ponto de corte, não há nenhuma turma com 36 alunos e há apenas uma turma com 37 alunos. A Tabela A-4 mostra a distribuição do número de turmas por matrícula total para o 5° ano. No 9° ano, por outro lado, não existem evidências de descontinuidade em nenhuma especificação (Figura A-2), além de que os intervalos de confiança são mais precisos do que no 5° ano devido ao maior tamanho amostral.22 Seguindo Brollo et al. (2013), a Tabela A-5 mostra os coeficientes de primeiro estágio (colunas 1 e 2) para o 5° (Painel A) e 9° ano (Painel B). Essa abordagem consiste em interagir a equação (3) com um conjunto de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte, obtendo numa mesma estimação o coeficiente de cada um dos pontos de corte. Verifica-se que, no 5° ano, existem evidências fortemente significantes de um primeiro estágio para todos os pontos de corte, exceto no ponto 1. Já no 9° ano, pode-se afirmar que há um primeiro estágio nos dois primeiros pontos de corte. Os resultados da forma reduzida (colunas 3 a 6) indicam que não há efeitos do tamanho da sala predito pela regra nas notas dos alunos. Pela mesma abordagem, a Tabela A-6 reporta as estimativas de segundo estágio, mostrando que não existem efeitos de aumentar o tamanho da sala nas notas dos alunos de 5° (Painel A) e 9° ano (Painel B). Os coeficientes estimados das equações 3 e 4 considerando apenas observações que estejam dentro da respectiva janela ótima h calculada segundo abordagem de Calonico et al. (2014) estão representados nas tabelas A-7 a A-10. O cálculo de h foi realizado individualmente para o caso pooled e cada um dos pontos de corte. h varia conforme descrito na Tabela B8, que também reporta o número de alunos à esquerda e à direita dos pontos de corte dentro da respectiva janela h. Para mostrar a sensibilidade dos resultados obtidos a diferentes janelas, essas tabelas reportam estimativas considerando o dobro e o triplo de h. As tabelas A-7 e A-8 expõem os resultados de primeiro estágio de uma regressão linear local com kernel retangular para o 5° e 9° ano respectivamente, onde o instrumento utilizado foram dummies que assumem o valor 1 se os alunos estivessem à direita de cada um dos respectivos pontos de corte, e 0 caso estivessem à esquerda (sempre dentro da respectiva janela). Nesse caso, como é esperado que salas à direita da descontinuidade tenham tamanho menor do que à esquerda, o sinal esperado do coeficiente de primeiro estágio é negativo.23 No 5° ano, corroborando com a análise gráfica anterior, há evidências de um primeiro estágio fortemente significante no primeiro ponto de corte para todas as janelas (colunas 1 a 6). Também no 5° ano, os efeitos na estimação pooled foram significantes para o dobro e triplo de h (colunas 3 a 6). Já no 9° ano, existem evidências de um primeiro estágio no primeiro e segundo ponto de corte somente para o triplo de h (colunas 5 e 6). Devido ao menor tamanho amostral, as estimativas reportadas nessa tabela possuem maior erro padrão do que aquelas mostradas anteriormente. Tabela A-4 Distribuição do Número de Turmas por Matrícula Total - 5º ano Matrículas Totais Número de Turmas Matrículas Totais Número de Turmas 26 1 96 42 27 1 97 27 30 2 98 44 32 1 99 57 33 4 100 49 34 1 101 45 35 6 102 21 37 1 103 39 41 2 104 31 43 4 105 28 44 4 106 9 45 2 107 13 47 2 109 4 48 2 110 4 49 2 111 4 50 4 112 4 51 8 113 7 52 6 114 4 53 2 116 12 54 12 118 12 57 6 120 4 58 4 121 25 59 6 122 12 60 2 123 8 61 16 124 16 62 8 125 16 63 20 126 32 64 23 127 12 65 33 128 16 66 28 129 16 67 41 130 24 68 36 131 16 69 22 132 29 70 27 133 16 71 25 134 16 72 2 135 28 73 3 136 4 74 9 137 24 75 6 138 21 76 9 139 13 77 2 140 24 78 6 141 4 79 12 146 5 80 3 147 9 81 6 152 5 82 15 154 5 83 6 155 5 84 15 157 5 85 18 160 5 86 9 162 10 87 12 163 5 88 15 164 5 89 27 165 10 90 22 166 15 91 12 167 11 92 12 169 10 93 27 173 10 94 31 174 5 95 27 233 7 Nota: Elaboração própria, com base no Censo Escolar 2015. Tabela A-5 Resultados do Primeiro Estágio e Formas Reduzidas por Ponto de Corte (seguindo Brollo et al., 2013). Tamanho da Sala Nota Matemática Nota Português (1) (2) (3) (4) (5) (6) Painel A: 5º ano Ponto 1 0,399 0,359 -0,014 -0,007 -0,017 -0,010 (0,285) (0,288) (0,010) (0,009) (0,011) (0,008) Ponto 2 0,656 *** 0,667 *** 0,002 0,005 0,002 0,005 (0,117) (0,114) (0,006) (0,005) (0,005) (0,004) Ponto 3 0,640 *** 0,604 *** 0,006 0,001 0,009 0,004 (0,135) (0,140) (0,006) (0,006) (0,007) (0,006) Ponto 4 0,668 *** 0,731 *** 0,003 -0,002 -0,002 -0,007 (0,184) (0,168) (0,013) (0,011) (0,014) (0,012) Observações 45.089 35.877 41.980 35.867 41.980 35.867 Painel B: 9º ano Ponto 1 0,293 *** 0,313 *** -0,001 -0,003 -0,001 -0,003 (0,068) (0,067) (0,002) (0,002) (0,003) (0,002) Ponto 2 0,114 * 0,123 ** -0,002 -0,003 -0,001 -0,001 (0,059) (0,058) (0,003) (0,002) (0,003) (0,002) Ponto 3 0,020 0,031 0,001 0,001 0,002 0,001 (0,061) (0,060) (0,004) (0,003) (0,004) (0,003) Ponto 4 0,023 -0,018 0,000 -0,005 0,003 -0,003 (0,082) (0,078) (0,005) (0,004) (0,006) (0,005) Ponto 5 0,090 0,047 0,001 -0,002 -0,005 -0,010 (0,127) (0,123) (0,009) (0,008) (0,011) (0,009) Ponto 6 0,015 0,067 0,003 -0,003 0,008 0,001 (0,226) (0,235) (0,016) (0,011) (0,018) (0,012) Ponto 7 -0,033 -0,106 0,014 0,006 0,018 0,006 (0,293) (0,298) (0,022) (0,015) (0,027) (0,017) Observações 319.258 264.751 288.312 264.730 288.312 264.730 Controle Alunos e INSE Não Sim Não Sim Não Sim Nota: Essa tabela apresenta os efeitos da forma reduzida (coeficiente π1 da equação (3)) do Tamanho da Sala Predito no tamanho médio da sala observado e nas notas dos alunos em Matemática e Português. Os coeficientes foram estimados interagindo a equação (3) com uma série de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte. Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 5º ano de escolas municipais da cidade de São Paulo e 9º ano de escolas estaduais de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. *** p < 0,01; ** p < 0,05; * p < 0,1. Tabela A-6 Efeitos do Tamanho da Sala nas Notas dos Alunos. Nota Matemática Nota Português (1) (2) (3) (4) Painel A: 5º ano Ponto 1 -0,028(0,018) -0,016(0,020) -0,033(0,022) -0,022(0,022) Ponto 2 0,004(0,009) 0,008(0,007) 0,003(0,008) 0,008(0,006) Ponto 3 0,012(0,012) 0,002(0,011) 0,017(0,013) 0,007(0,012) Ponto 4 0,005(0,022) -0,003(0,017) -0,004(0,024) -0,010(0,017) Obervações 41.980 35.867 41.980 35.867 Painel B: 9º ano Ponto 1 -0,004(0,007) -0,009(0,025) -0,004(0,008) -0,009(0,017) Ponto 2 -0,019(0,023) -0,024(0,039) -0,005(0,023) -0,010(0,029) Ponto 3 0,104(0,492) 0,015(0,440) 0,156(0,701) 0,021(0,308) Ponto 4 0,021(0,322) 0,738(8,223) 0,176(0,865) 0,486(5,402) Ponto 5 0,007(0,101) 0,037(0,632) -0,051(0,147) -0,111(0,477) Ponto 6 0,069(0,471) 0,019(0,615) 0,186(1,019) 0,058(0,462) Ponto 7 -0,215(1,037) -0,397(3,880) -0,277(1,349) -0,280(2,620) Observações 288.312 264.730 288.312 264.730 Controle Alunos e INSE Não Sim Não Sim Nota: Essa tabela apresenta as estimativas da equação (4) por Mínimos Quadrados em 2 Estágios (coeficiente β1 da equação (4)). Os coeficientes foram estimados interagindo a equação (4) com uma série de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte. A variável endógena é o tamanho médio da sala, que foi instrumentalizada pelo tamanho predito pela equação (2). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 5º ano de escolas municipais da cidade de São Paulo e 9º ano de escolas estaduais de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. Os resultados do efeito de interesse dado por β1 da equação (4) considerando a amostra na janela ótima h e variações indicam que não existem efeitos estatisticamente significantes do tamanho da sala nas notas dos alunos de 5° e 9° ano em matemática e português (tabelas A-9 e A-10). Embora menos precisos, os resultados encontrados estão de acordo com aqueles anteriormente reportados. Tabela A-7 Resultados do Primeiro Estágio na Janela Ótima - 5º ano. h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) Pooled -1,896 -2,007 -3,133 *** -3,297 *** -4,006 *** -3,954 *** (1,239) (1,225) (1,134) (1,120) (0,885) (0,873) Observações 10.063 7.496 15.794 11.609 23.047 16.874 Ponto 1 5,063 ** 4,079 -2,111 -1,232 -5,768 * -7,918 *** (1,868) (3,751) (6,509) (4,263) (3,103) (1,985) Observações 356 233 435 287 650 463 Ponto 2 -5,165 ** -5,791 *** -4,406 ** -4,585 ** -5,308 *** -5,561 *** (2,085) (1,893) (1,940) (1,872) (1,525) (1,503) Observações 2.132 1.636 3.317 2.483 5.899 4.388 Ponto 3 -0,063 -0,108 -1,014 -0,995 -2,001 -1,355 (1,457) (1,533) (1,528) (1,520) (1,365) (1,426) Observações 3.977 3.046 6.160 4.548 9.581 6.993 Ponto 4 1,516 * 0,288 1,389 *** 0,544 -2,064 -2,758 ** (0,716) (0,495) (0,365) (0,350) (1,570) (1,089) Observações 1.966 1.418 3.720 2.732 5.073 3.702 Controle Alunos e INSE Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local cuja variável explicativa de interesse é uma dummy que assume o valor 1 caso a observação esteja à direita do ponto de corte e 0 caso contrário e cuja variável resposta é o tamanho médio da sala. Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui alunos do 5º ano municipal da cidade de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. *** p < 0,01; ** p < 0,05; * p < 0,1. Tabela A-8 Resultados do Primeiro Estágio na Janela Ótima - 9º ano. h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) Pooled -0,084 0,238 -0,264 -0,001 -0,243 -0,058 (0,452) (0,464) (0,320) (0,314) (0,291) (0,286) Observações 37.480 27.495 86.818 62.969 109.852 79.577 Ponto 1 1,469 2,531 -0,923 -0,263 -3,112 ** -3,049 ** (2,377) (2,029) (1,806) (1,763) (1,314) (1,277) Observações 2.172 1.526 3.522 2.532 5.899 4.298 Ponto 2 -0,114 -0,016 -0,458 -0,554 -0,911 * -0,978 ** (0,749) (0,733) (0,562) (0,548) (0,470) (0,466) Observações 15.370 11.299 27.960 20.490 36.622 26.815 Ponto 3 1,363 * 1,510** 0,515 0,401 0,536 0,414 (0,695) (0,709) (0,530) (0,538) (0,469) (0,469) Observações 9.542 7.158 21.140 15.666 32.499 23.949 Ponto 4 -0,141 -0,017 0,178 0,374 0,214 0,461 (0,676) (0,690) (0,568) (0,536) (0,498) (0,465) Observações 15.239 11.130 26.789 19.505 36.529 26.676 Ponto 5 -0,318 -0,231 -0,798 -0,717 -0,478 -0,260 (1,092) (0,827) (0,792) (0,708) (0,712) (0,703) Observações 5.249 3.922 11.798 8.254 17.582 12.375 Ponto 6 0,021 0,406 -0,421 -0,588 0,401 0,068 (1,504) (1,404) (1,028) (1,025) (0,810) (0,861) Observações 7.469 5.282 11.560 8.152 17.802 12.339 Ponto 7 -0,985 0,160 -1,237 -0,251 0,453 1,106 (1,266) (0,480) (1,289) (0,855) (1,250) (1,094) Observações 2.937 1.921 4.532 3.128 6.517 4.547 Controle Alunos e INSE Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local cuja variável explicativa de interesse é uma dummy que assume o valor 1 caso a observação esteja à direita do ponto de corte e 0 caso contrário e cuja variável resposta é o tamanho médio da sala. Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui alunos do 9º ano estadual de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. ***p < 0,01; ** p < 0,05; * p < 0,1. Tabela A-9 Efeitos do Tamanho da Sala na Nota dos Alunos na Janela Ótima - 5º ano. NotaemMatematica Nota em Português h 2 ∗ h 3 ∗ h h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) Pooled 0,005 0,014 -0,006 -0,001 -0,005 -0,004 0,001 0,016 -0,004 0,001 -0,006 -0,003 (0,025) (0,020) (0,015) (0,012) (0,010) (0,009) (0,024) (0,018) (0,014) (0,011) (0,010) (0,009) Observações 8.735 7.494 13.649 11.607 19.871 16.869 8.735 7.494 13.649 11.607 19.871 16.869 Ponto 1 0,009 0,036 -0,074 0,034 -0,022 -0,006 0,043 -0,068 -0,126 -0,100 -0,019 -0,008 (0,023) (0,139) (0,169) (0,203) (0,019) (0,012) (0,030) (0,099) (0,310) (0,274) (0,018) (0,009) Observações 295 233 352 287 543 463 295 233 352 287 543 463 Ponto 2 0,015 0,017 0,006 0,014 -0,001 0,006 0,011 0,013 -0,003 0,006 -0,002 0,004 (0,015) (0,011) (0,015) (0,011) (0,014) (0,011) (0,016) (0,011) (0,017) (0,011) (0,013) (0,009) Observações 1.868 1.636 2.895 2.483 5.157 4.388 1.868 1.636 2.895 2.483 5.157 4.388 Ponto 3 0,068 -0,041 -0,010 -0,035 0,019 0,013 0,852 0,600 0,038 0,012 0,029 0,031 (1,748) (0,619) (0,058) (0,058) (0,033) (0,047) (15,515) (8,316) (0,106) (0,074) (0,038) (0,060) Observações 3.444 3.045 5.310 4.547 8.195 6.991 3.444 3.045 5.310 4.547 8.195 6.991 Ponto 4 -0,108 -0,540 -0,114 -0,255 -0,019 -0,030 -0,015 -0,204 -0,015 -0,037 -0,045 -0,054 (0,074) (0,955) (0,079) (0,191) (0,042) (0,024) (0,029) (0,398) (0,021) (0,079) (0,042) (0,047) Observações 1.712 1.418 3.195 2.731 4.378 3.700 1.712 1.418 3.195 2.731 4.378 3.700 Controle Alunos e INSE Não Sim Não Sim Não Sim Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local de segundo estágio dado por β1 na equação (4). Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 5º ano municipal da cidade de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. Tabela A-10 Efeitos do Tamanho da Sala na Nota dos Alunos na Janela Ótima - 9º ano. Nota em Matemática Nota em Português h 2 ∗ h 3 ∗ h h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) Pooled 0,175 0,052 0,097 1,664 0,009 -0,215 0,167 0,080 0,109 -2,980 0,019 -0,292 (0,641) (0,147) (0,139) (508,260) (0,074) (1,094) (0,618) (0,199) (0,157) (911,413) (0,083) (1,476) Observações 29.782 27.491 68.240 62.963 86.332 79.570 29.782 27.491 68.240 62.963 86.332 79.570 Ponto 1 0,045 0,035 0,015 -0,003 -0,012 -0,014 0,130 0,079 0,003 -0,117 -0,010 -0,015 (0,135) (0,042) (0,047) (0,179) (0,015) (0,013) (0,353) (0,076) (0,052) (0,771) (0,017) (0,016) Observações 1.716 1.525 2.774 2.531 4.654 4.297 1.716 1.525 2.774 2.531 4.654 4.297 Ponto 2 0,006 0,018 -0,037 -0,040 -0,012 -0,024 0,093 1,414 -0,022 -0,021 -0,009 -0,018 (0,147) (1,968) (0,070) (0,054) (0,026) (0,022) (0,329) (1,222) (0,064) (0,045) (0,027) (0,022) Observações 12.059 11.299 21.911 20.489 28.894 26.813 12.059 11.299 21.911 20.489 28.894 26.813 Ponto 3 -0,044 -0,017 -0,093 -0,089 -0,056 -0,017 -0,042 -0,001 -0,082 -0,027 -0,041 0,029 (0,046) (0,031) (0,107) (0,134) (0,087) (0,062) (0,051) (0,037) (0,103) (0,086) (0,083) (0,073) Observações 7.676 7.157 16.973 15.665 25.898 23.947 7.676 7.157 16.973 15.665 25.898 23.947 Ponto 4 0,120 -2,274 0,022 0,091 -0,041 0,053 0,093 -2,628 -0,014 0,080 -0,038 0,059 (0,797) (86,994) (0,138) (0,143) (0,146) (0,072) (0,681) (1,67) (0,163) (0,133) (0,163) (0,079) Observações 12.098 11.129 21.087 19.504 28.722 26.675 12.098 11.129 21.087 19.504 28.722 26.675 Ponto 5 0,280 0,447 0,047 0,071 0,062 0,084 0,294 0,356 0,019 0,024 0,021 -0,039 (0,998) (1,701) (0,073) (0,090) (0,114) (0,242) (1,076) (1,428) (0,081) (0,081) (0,115) (0,232) Observações 4.170 3.922 8.988 8.252 13.437 12.372 4.170 3.922 8.988 8.252 13.437 12.372 Ponto 6 -0,036 -0,003 0,013 -0,033 -0,078 -0,219 0,352 0,095 0,072 0,004 -0,125 -0,480 (1,380) (0,173) (0,169) (0,110) (0,282) (2,826) (7,024) (0,323) (0,236) (0,101) (0,389) (6,072) Observações 5.701 5.281 8.959 8.151 13.708 12.337 5.701 5.281 8.959 8.151 13.708 12.337 Ponto 7 0,095 0,578 0,005 -0,113 0,000 0,006 0,195 0,505 0,049 0,044 -0,093 -0,018 (0,172) (1,759) (0,087) (0,584) (0,150) (0,035) (0,260) (1,510) (0,113) (0,320) (0,280) (0,056) Observações 2.257 1.921 3.563 3.128 5.077 4.547 2.257 1.921 3.563 3.128 5.077 4.547 Controle Alunos e INSE Não Sim Não Sim Não Sim Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local de segundo estágio dado por β1 na equação (4). Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 9º ano estadual de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. Tabela A-11 Janela Ótima e Número de Obervações à Esquerda e à Direita de Cada Ponto de Corte. h Obs. à Esquerda Obs. à Direita 2 ∗ h Obs. à Esquerda Obs. à Direita 3 ∗ h Obs. à Esquerda Obs. à Direita (1) (2) (3) (4) (5) (6) (7) (8) (9) Painel A: 5º ano Pooled 2,02 7.427 1.311 4,04 11.998 1.655 6,06 17.569 2.309 Ponto 1 3,01 266 29 6,02 289 63 9,03 3.466 197 Ponto 2 1,4 1.319 549 2,8 2.278 617 4,2 4.289 869 Ponto 3 2,26 2.875 570 4,52 4.649 662 6,78 7.357 842 Ponto 4 2,59 1.617 95 5,18 3.100 95 7,77 3.937 441 Painel B: 9º ano Pooled 1,61 20.275 9.508 3,22 40.871 27.373 4,83 51.537 34.800 Ponto 1 1,39 1.204 512 2,78 1.596 1.178 4,17 2.531 2.123 Ponto 2 3,19 7.400 4.659 6,38 11.976 9.936 9,57 14.864 14.031 Ponto 3 1,67 5.189 2.488 3,34 10.183 6.791 5,01 15.188 10.711 Ponto 4 2,25 7.540 4.558 4,5 8.446 12.642 6,75 17.511 11.212 Ponto 5 1,88 2.891 1.279 3,76 4.675 4.316 5,64 7.707 5.733 Ponto 6 3,04 3.973 1.728 6,08 5.528 3.431 9,12 8.622 5.086 Ponto 7 2,01 1.057 1.200 4,02 2.084 1.479 6,03 3.030 2.047 Nota: As janelas ótimas (h) foram calculadas seguindo o procedimento proposto por Calonico et al. (2014). A.3 Estatísticas Descritivas para Escolas em Municípios sem Escola Particular Tabela A-12 Estatísticas Descritivas de Escolas em Municípios Sem Escola Particular - 9º ano. Média D.P. Obs. P5 p10 p25 p50 p75 p90 p95 Matriculas Totais 78,0 39,0 780 24,5 32 49 74 103 126,5 139 Nº de Turmas 2,84 1,23 780 1 1 2 3 4 4 5 Nota: Essa tabela apresenta estatísticas descritivas para turmas, escolas e alunos de 5º ano da rede municipal da cidade de São Paulo e 9º ano da rede estadual de São Paulo. Os dados foram obtidos do Censo Escolar e da Prova Brasil no ano de 2015. descreve todas as variáveis utilizadas.
O tamanho da sala, em número de alunos, só está disponível a nível de aluno no Censo Escolar. Entretanto, somente é possível cruzar o Censo Escolar com a Prova Brasil pelo código da escola, de modo que não é possível identificar qual o tamanho da sala observado para cada aluno. Portanto, esse foi estimado considerando o número médio de alunos por sala para uma dada escola e ano escolar. Essa variável será instrumentalizada, então tal aproximação não representará um erro de medida na equação (4). Para verificar o quão sensíveis os resultados encontrados são a tal aproximação, será feita uma análise de robustez restringindo a amostra para escolas com diferença de no máximo um aluno aluno entre as turmas.
3.1 Análise Descritiva e Primeiro Estágio
Apesar de censitária, nem todos os alunos cadastrados no Censo Escolar 2015 realizaram a Prova Brasil 2015. No 5° ano municipal da cidade de São Paulo, há 51.271 alunos de 554 escolas cadastrados no Censo Escolar 2015, sendo que 45.091 preencheram a Prova Brasil nesse ano, totalizando uma taxa de participação de 87,9%. Já no 9° ano estadual de São Paulo, essa taxa cai para 79,4%, uma vez que 319.258 alunos de 402.168 cadastrados no Censo Escolar fizeram a Prova Brasil em 2015. O total de escolas no 9° ano era de 3.752.
A Tabela A-2 contém uma análise descritiva das variáveis utilizadas no modelo. O Painel A compara as estatísticas do número médio de alunos por turma, com base no Censo Escolar, com a aproximação pela média do número de alunos por turma com base nas informações da Prova Brasil. Analisando-se descritivamente os dados, percebe-se que, no 5° ano, os valores calculados são muito próximos, tanto na média quanto ao longo da distribuição. No 9° ano, há uma diferença um pouco maior no percentil 10, mas que diminui nos demais. Na média, ambos os valores são muito próximos.
As escolas que possuem 5° ano municipal na cidade de São Paulo apresentam, na média, 14,6 salas de aula e 75,3 funcionários. No 9° ano estadual de São Paulo, essas medidas são similares, de 13,5 e 68,6 respectivamente. Além disso, o número médio de turmas por escola é de 2,98 no 5° ano e 3,46 no 9° ano. O percentual de professores com alguma pós-graduação (especialização, mestrado ou doutorado) é bem baixo, sendo de 2,8% no 5° ano e um pouco maior, 4,6%, no 9° ano. Com relação ao Indicador de Nível Socioeconómico da Escola, no 5° ano as escolas são bastante homogêneas, uma vez que do percentil 25 ao 90 esse indicador é igual a 4. Já no 9° ano, a variabilidade do INSE é um pouco maior, de modo que o indicador assume o mesmo valor 4 do percentil 50 ao 90.
Tanto no 5° ano municipal como 9° ano estadual de São Paulo, a proporção de homens e mulheres é a mesma, cerca de 50%. No 9° ano, o percentual de alunos que já reprovou em alguma série é um pouco maior do que o dobro verificado no 5° ano, sendo de 20% e 8,9% respectivamente. As notas médias dos alunos em Português e Matemática na Prova Brasil são maiores no 9° ano (250,4 e 253,6 respectivamente) do que no 5° ano (210,3 e 220 respectivamente). A Tabela A-3 mostra a distribuição do número de alunos por sala de aula de acordo com o número de turmas.
Um fator interessante a se analisar é a heterogeneidade das turmas com relação ao número de alunos dentro de uma mesma escola e um mesmo ano escolar. A Figura 4 ilustra essa heterogeneidade, com base no Censo Escolar 2015, mostrando a quantidade de escolas existentes com certo número de turmas e determinada diferença entre o valor máximo e mínimo de alunos por turma para cada ano escolar e respectiva rede de ensino analisada. Tanto no 5° ano como no 9° ano, a maior concentração de escolas possui 3 turmas: 237 de um total de 549 e 963 de um total de 3.751 escolas respectivamente. Além disso, 237 escolas (43% do total) apresentam diferença de até um aluno entre as turmas no 5° ano e 972 (26% do total) no 9° ano, indicando maior homogeneidade com relação ao tamanho da sala no 5° ano municipal do que no no 9° ano estadual. Como análise de robustez e para verificar a sensibilidade dos resultados encontrados à aproximação utilizada para o tamanho observado da sala, a amostra será restrita a escolas que tenham no máximo diferença de até um aluno entre as turmas na seção 4.
Uma condição fundamental para a estimação do fuzzy RDD é que haja uma forte relação de primeiro estágio. No contexto deste estudo, isso significa que, embora a regra que determine o número máximo de alunos por turma não precise ser perfeitamente seguida pelas escolas, deve haver algum enforcement para que isso ocorra. A Figura 5 mostra essa relação, plotando o tamanho médio da sala, em número de alunos, para cada nível de matrícula total, e o tamanho da sala predito pela equação (2). Verifica-se que há uma influência da regra no tamanho realizado, que será formalmente testada numa equação de primeiro estágio na próxima Seção. No 5° ano, essa relação parece mais forte, especialmente no segundo e terceiro pontos. Já no 9° ano, há mais ruído, sendo que no primeiro ponto de corte é onde parece haver maior influência da regra no tamanho realizado. A próxima seção testa formalmente a existência de um primeiro estágio.
4. Resultados
Esta seção inicia descrevendo os resultados do primeiro estágio e da forma reduzida (equação (3)) e do segundo estágio (equação (4)). Para validar os resultados, esta seção também apresenta os testes de McCrary e de balanceamento da amostra ao redor do(s) ponto(s) de corte. Por último, são descritas as especificações que foram usadas como teste de robustez.
4.1 Efeitos do Tamanho da Sala nas Notas dos Alunos
A Tabela 2 apresenta as estimações de primeiro estágio e forma reduzida (equação (3)). As colunas 1, 3 e 5 apresentam os resultados sem a presença de variáveis de controla. Já as colunas 2, 4 e 6 consideram variáveis de controle como: matrículas totais e matrículas totais ao quadrado; características dos alunos (sexo, raça, escolaridade dos pais e se o aluno já reprovou) e das escolas (número de funcionários, número de salas de aula e o INSE).17 Essa tabela mostra os coeficientes estimados do Tamanho da Sala Predito numa regressão em que a variável dependente corresponde aos títulos das colunas, considerando toda a amostra e pontos de corte, seguindo Angrist e Lavy (1999).
As colunas 1 e 2 correspondem ao coeficiente de primeiro estágio (𝜋1), ou seja, ao efeito do tamanho da sala predito pela regra no tamanho observado. Tanto no 5° (Painel A) como no 9° ano (Painel B), o coeficiente estimado é positivo e fortemente significante, mas apresenta maior magnitude no 5° ano, confirmando as evidências mostradas pela Figura 5. Conforme esperado, os coeficientes dessas colunas são inferiores à unidade, uma vez que as escolas não seguem perfeitamente a regra estabelecida pelas respectivas Secretarias de Educação. As demais colunas reportam os coeficientes da forma reduzida, indicando que não há efeitos estatisticamente significantes do tamanho da sala predito pela regra nas notas dos alunos.
A Tabela 3 mostra os resultados da estimação de 𝛽1 da equação (4) por MQ2E. Nela, a variável endógena corresponde ao tamanho médio da sala, que foi instrumentalizada pelo tamanho predito pela regra, conforme equação (2). Os erros padrão foram clusterizados por escola e foram usadas especificações sem (colunas 1 e 3) e com (colunas 2 e 4) controle de alunos, escola e INSE. As estimativas pontuais e os erros padrão são muito próximos de zero, permitindo-se concluir que não existem evidências estatísticas de que aumentar um aluno na sala tenha efeito nas notas, tanto para o 5° (Painel A) como 9° ano (Painel B).
Para melhor compreender como os efeitos de primeiro e segundo estágio variam de individualmente de um ponto de corte a outro, a seção A.2 no Apêndice A expõe esses resultados de duas maneiras: uma que segue Brollo et al. (2013) e outra usando a janela ótima conforme procedimento proposto por Calonico et al. (2014).
É importante ressaltar que os efeitos aqui encontrados são locais em dois sentidos (Brollo et al., 2013). Primeiro, por se tratar de um fuzzy RDD, os resultados se aplicam para observações ao redor dos pontos de corte. Em segundo lugar, pela literatura de variáveis instrumentais, sabe-se também que o efeito é estimado somente para a população de compilers, isto é, para alunos que foram alocados a salas de aula de tamanho menores somente por terem sido afetados pela regra que estabelece um número máximo de alunos por sala.18
Comparando com a literatura, a conclusão vai ao encontro daquela exposta por Angrist et al. (2017), onde os autores mostram também não existir efeito estatisticamente significante de tamanho da sala no desempenho dos alunos de 4° e 5° ano em Israel. Os resultados também corroboram as evidências encontradas por Hoxby (2000) e Leuven et al. (2008). No Brasil, a conclusão obtida neste estudo contraria aquela reportada em Oliveira (2010), que concluem que há um efeito negativo de aumentar o tamanho da sala nas notas dos alunos. Entretanto, o último estudo citado utiliza a metodologia de propensity score matching, que possui hipóteses mais fortes do que a metodologia de RDD fuzzy empregada neste trabalho.
4.2 Validação dos Resultados
A principal hipótese de identificação da metodologia de regressão descontínua, descrita por H1, afirma que, se os agentes não possuem manipulação precisa da running variable, então o tratamento é tão bom quanto se fosse aleatorizado ao redor do(s) ponto(s) de corte. Uma vantagem dessa hipótese com relação a de outros métodos quase-experimentais é que ela pode ser formalmente testada. McCrary (2008) desenvolveu um teste que verifica se existem evidências de manipulação. A ideia é que, se os agentes conseguem controlar precisamente a running variable, há um salto estatisticamente significante na densidade dessa variável no(s) ponto(s) de corte. Essa análise é feita a partir dos histogramas suavizados com regressões lineares locais em cada um dos lados do(s) ponto(s) de corte. A violação de H1 invalidará os resultados encontrados neste estudo se a manipulação da running variable matrículas totais resultar num possível viés de seleção nas redondezas do(s) ponto(s) de corte.
A Figura 6 apresenta os resultados do teste de McCrary (2008)19 para a amostra total (pooled) e também para pontos de corte cujo primeiro estágio foi estatisticamente significante em pelo menos uma especificação apresentada. Analisando essa figura, é possível concluir que não existem evidências de manipulação das matrículas totais ao redor desses pontos de corte. Logo, pode-se dizer, com 95% de confiança, que H1 é válida, ou seja, que a alocação dos alunos entre as salas é tão boa quanto se fosse aleatória ao redor dos pontos de corte.
O segundo passo para validar os resultados encontrados é verificar se, dado que não há manipulação, as características dos indivíduos são iguais em pontos à esquerda e à direita do ponto de corte. Caso realmente os alunos tenham sido alocados de uma maneira tão boa quanto aleatória a salas de aula de tamanho diferentes, espera-se que as características determinadas pré tratamento estejam balanceadas ao redor dos diferentes pontos de corte.
Uma maneira amplamente utilizada em estudos de regressão descontínua para verificar o balanceamento da amostra é por meio da análise gráfica. Espera-se que a running variable não apresente descontinuidade numa dada característica determinada pré tratamento no respectivo ponto de corte. Pela Figura 7, verifica-se que não há evidências de descontinuidade em nenhuma covariada para a amostra toda pooled. A Figura 8 plota a mesma informação, mas somente para o segundo ponto de corte do 5° ano municipal, uma vez que esse foi o único cujo primeiro estágio se mostrou estatisticamente significante em todas as especificações apresentadas. Pode-se dizer que existem evidências de que as características estejam balanceadas em todos os gráficos.
Para formalmente testar o balanceamento das covariadas ao redor dos pontos de corte, a Tabela 4 reporta estimativas de MQO de uma regressão cuja variável explicativa de interesse é uma dummy igual a 1 caso a observação esteja à direita do respectivo ponto de corte e 0 caso contrário, e cuja variável resposta corresponde à cada uma dos títulos das colunas. Os coeficientes encontrados corroboram a conclusão obtida por meio da análise gráfica: não existem evidências de descontinuidade em nenhuma covariada na amostra pooled e ao redor do segundo ponto de corte do 5° ano, exceto o INSE que se mostra marginalmente significante no 9° ano. No terceiro e quarto pontos de corte do 5° ano e 9° ano, existem evidências estatisticamente significantes de descontinuidade em algumas variáveis. Entretanto, é possível que isso tenha ocorrido puramente de maneira aleatória, uma vez que se tratam de poucos casos.
4.3 Análise de Robustez
Para verificar a sensibilidade dos resultados encontrados a mudanças na amostra em questão, foram feitas algumas análises de robustez diferentes, cujos resultados estão expostos na Tabela 5. A primeira consiste em restringir a amostra a escolas de turno único20. A ideia é investigar se, dado que não há possibilidade de realocar os alunos a outros turnos para respeitar o máximo estabelecido pelas respectivas secretarias, as escolas recusariam ou acomodariam esses alunos.
No 5° ano municipal, as colunas 1 e 2 do Painel A indicam um primeiro estágio mais forte para escolas de turno único do que aquele reportado para todas as escolas (Tabela 2), mostrando que existem evidências de que, nesse caso, as escolas recusariam os alunos para respeitarem a regra. Já no 9° ano estadual, o coeficiente de primeiro estágio - colunas 1 e 2 do Painel C - são inferiores àqueles expostos na Tabela 2, indicando que possivelmente essas escolas optam por acomodar os alunos em salas de aula maiores, mesmo que isso implique desrespeitar a recomendação. Os efeitos encontrados do tamanho da sala nas notas dos alunos continuam em linha com aqueles anteriormente descritos: não existem evidências estatísticas de que aumentar o tamanho da sala tenha impacto nas notas dos alunos em Matemática e Português - Colunas 3 a 6 dos Paineis A e C.
A segunda análise consiste em restringir a amostra a escolas que tenham turmas homogêneas, que neste estudo foi definido como ter no máximo um aluno de diferença entre as turmas. O intuito é verificar a sensibilidade dos resultados à aproximação utilizada, uma vez que, como não observamos o tamanho da sala realizado para cada aluno, este foi aproximado pelo tamanho médio da sala naquela escola e ano escolar. Tanto no 5° como 9° ano os coeficientes de primeiro estágio - colunas 1 e 2 dos Painéis B e D respectivamente - foram mais fracos do que aqueles reportados para a amostra toda (Tabela 2), mas ainda continuam estatisticamente significantes. Além disso, os resultados também corroboram com a conclusão obtida anteriormente - colunas 3 a 6 dos Painéis B e D: o tamanho da sala não tem efeito nas notas dos alunos.
O último exercício de robustez restringe a amostra apenas a municípios que não tenham escola particular,21 a fim de analisar como as escolas estaduais se adaptariam à demanda nesse caso, uma vez que não seria possível migrar para escolas particulares. Portanto, uma vez que o primeiro estágio - colunas 1 e 2 do Painel E - se mostra mais forte do que o reportado para o 9° ano na Tabela 2, uma possível evidência é que as escolas estaduais optam por receber todos os alunos, mesmo que isso implique abrir mais turmas para não extrapolarem o máximo estabelecido. Para dar suporte a esse argumento, a Tabela A-12 no Apêndice A Apêndice A. A.1 Descrição das Variáveis e Estatísticas Descritivas Tabela A-1 Descrição das variáveis utilizadas. Variável Descrição Variáveis Resposta Nota Português Nota do aluno na Prova Brasil em Português - Padronizada com média 0 e d.p. 1 Nota Matematica Nota do aluno na Prova Brasil em Matemática - Padronizada com média 0 e d.p. 1 Característica dos Alunos Branco Variável Binária = 1 se o aluno é branco Homem Variável Binária = 1 se o aluno é homem Já Reprovado Variável Binária = 1 se o aluno já foi reprovado Mãe EF Incompleto Variável Binária = 1 se a mãe do aluno não completou o E.F. Pai EF Incompleto Variável Binária = 1 se o pai do aluno não completou o E.F. Pós-Graduação Variável Binária = 1 se o professor do aluno possui alguma pós-graduação. Característica das Escolas Matrícula Matrícula total do respectivo ano escolar Tamanho da Sala Tamanho médio da sala no respectivo ano escolar Nº de Salas Nº de Salas de Aulas Utilizadas Nº de Funcionários Nº total de funcionários da escola Nº de Turmas Nº de turmas da escola por ano escolar INSE Indicador de Nível Socioeconomico da Escola, calculado pelo INEP Tabela A-2 Estatísticas Descritivas das Variáveis. Média D.P. Obs. p10 p25 p50 p75 p90 Painel A: Dados de Turmas 5º ano Tamanho da Sala (Censo Escolar) 31,4 3,44 1.629 26 30 32 34 35 Tamanho da Sala (Prova Brasil) 31,4 3,19 1.514 27 30 32,3 33,7 34,6 9º ano Tamanho da Sala (Censo Escolar) 30,7 6,20 13.074 22 28 32 35 37 Tamanho da Sala (Prova Brasil) 30,8 4,51 11.416 25 28 31,3 34 36 Painel B: Dados de Escolas 5º ano Nº de Matriculados 93,6 30,1 543 61 68 95 106 134 Nº de Presentes 82,3 26,4 543 52 62 82 96 119 Nº de Salas 14,6 3,52 543 11 12 14 17 18 Nº de Funcionários 75,3 19,9 543 51 63 74 86 100 Nº de Turmas 2,98 0,90 543 2 2 3 4 4 Pós-Graduação 0,028 0,17 536 0 0 0 0 0 INSE 3,49 1,10 536 1 4 4 4 4 9º ano Nº de Matriculados 106,4 52,2 3.446 42 67 100 138 181 Nº de Presentes 86,9 42,6 3.446 35 55 81 112 146 Nº de Salas 13,5 6,49 3.440 8 10 12 16 20 Nº de Funcionários 68,6 27,4 3.446 37 49 65 85 107 Nº de Turmas 3,46 1,55 3.446 2 2 3 4 6 Pós-Graduação 0,046 0,21 3.427 0 0 0 0 0 INSE 3,43 1,08 3.406 1 3 4 4 4 Painel C: Dados de Alunos 5º ano Branco 0,31 0,46 40.328 0 0 0 1 1 Homem 0,50 0,50 39.827 0 0 0 1 1 Já Reprovado 0,089 0,29 39.527 0 0 0 0 0 Mãe EF Incompleto 0,11 0,32 40.354 0 0 0 0 1 Pai EF Incompleto 0,080 0,27 40.142 0 0 0 0 0 Nota Matemática 220,0 43,5 41.980 163,6 188,4 218,5 250,6 278,6 Nota Português 210,3 46,8 41.980 147,6 176,4 210,6 243,3 271,3 9º ano Branco 0,36 0,48 283.343 0 0 0 1 1 Homem 0,51 0,50 280.685 0 0 1 1 1 Já Reprovado 0,20 0,40 280.357 0 0 0 0 1 Mãe EF Incompleto 0,15 0,36 284.531 0 0 0 0 1 Pai EF Incompleto 0,12 0,32 282.327 0 0 0 0 1 Nota Matemática 253,6 44,6 288.312 195,4 220,1 252,0 284,5 312,8 Nota Português 250,4 49,5 288.312 181,9 215,2 252,9 286,8 313,8 Nota: Essa tabela apresenta estatísticas descritivas para turmas, escolas e alunos de 5º ano da rede municipal da cidade de São Paulo e 9º ano da rede estadual de São Paulo. Os dados foram obtidos do Censo Escolar e da Prova Brasil no ano de 2015. Tabela A-3 Estatísticas Descritivas do Tamanho da Sala por Número de Turmas. Média D.P. Obs. p10 p25 p50 p75 p90 5º ano 1 Turma 32,9 3,15 13 27 33 33 35 35 2 Turmas 31,5 4,02 322 25 30 33 34 35 3 Turmas 31,2 3,50 711 26 29 32 34 35 4 Turmas 31,7 2,98 440 27 30 32 34 35 5 Turmas 31,6 2,90 130 28 30 32 33 34,5 6 Turmas 27,8 1,94 6 25 26 28,5 29 30 7 Turmas 33,3 3,25 7 26 34 34 35 35 9º ano 1 Turma 24,6 8,86 345 12 18 26 32 35 2 Turmas 28,5 6,92 1.686 19 24 29 34 37 3 Turmas 30,6 5,72 2.889 24 28 32 35 37 4 Turmas 31,3 5,57 2.884 25 29 32 35 37 5 Turmas 31,5 5,97 2.030 24,5 29 33 35 37 6 Turmas 31,6 6,05 1.518 24 30 33 35 37 7 Turmas 31,7 5,63 812 26 30 33 35 36 8 Turmas 31,7 6,18 464 25 30 33 35 38 9 Turmas 32,2 5,33 243 29 31 33 35 37 10 Turmas 31,4 6,43 120 19,5 29 34 35 37 11 Turmas 33,5 2,08 33 31 32 34 35 36 12 Turmas 33,5 3,28 36 31 33 34,5 35 36 14 Turmas 33 6,04 14 20 34 35,5 36 36 Nota: Essa tabela apresenta estatísticas descritivas para turmas, escolas e alunos de 5º ano da rede municipal da cidade de São Paulo e 9º ano da rede estadual de São Paulo. Os dados foram obtidos do Censo Escolar e da Prova Brasil no ano de 2015. A.2 Resultados por Ponto de Corte As figuras A-1 e A-2 plotam a relação de primeiro estágio para o 5° e 9° ano de uma maneira diferente do que a exposta na Figura 7: tanto agrupando os pontos de corte (análise pooled) como individualmente. Para essa análise, as matrículas totais foram normalizadas de acordo com a distância de cada observação ao ponto de corte acima ou abaixo mais próximo, construindo-se intervalos simétricos de modo que nenhuma observação estivesse em mais de um intervalo ao mesmo tempo. Posteriormente, calculou-se o tamanho médio da sala em bins de um aluno à esquerda e à direita de cada um desses pontos com intervalos de 95% confiança. Figura A-1 Primeiro Estágio - pooled e por Pontos de Corte (5º ano) Essa figura plota o tamanho médio da sala em bins de um aluno. A linha central é uma aproximação polinomial de segunda ordem em matrícula normalizada, ajustada separadamente à esquerda e à direita de cada um dos respectivos pontos de corte. As linhas laterais são o intervalo com 95% de confiança. Os dados provêm de alunos do 5° ano municipal da cidade de São Paulo com base no Censo Escolar 2015. Figura A-2 Primeiro Estágio - pooled e por Pontos de Corte (90 ano) Essa figura plota o tamanho médio da sala em bins de um aluno. A linha central é uma aproximação polinomial de segunda ordem em matrícula normalizada, ajustada separadamente à esquerda e à direita de cada um dos respectivos pontos de corte. As linhas laterais são o intervalo com 95% de confiança. Os dados provêm de alunos do 9° ano estadual de São Paulo com base no Censo Escolar 2015. Pela Figura A-1, no 5° ano, a descontinuidade se mostra estatisticamente significante no gráfico pooled e no segundo ponto de corte (70 alunos matriculados). Os resultados para os demais pontos de corte devem ser analisados com cautela, uma vez que o tamanho amostral é muito pequeno em seus arredores, resultando em intervalos de confiança imprecisos. Por exemplo, no segundo ponto de corte, não há nenhuma turma com 36 alunos e há apenas uma turma com 37 alunos. A Tabela A-4 mostra a distribuição do número de turmas por matrícula total para o 5° ano. No 9° ano, por outro lado, não existem evidências de descontinuidade em nenhuma especificação (Figura A-2), além de que os intervalos de confiança são mais precisos do que no 5° ano devido ao maior tamanho amostral.22 Seguindo Brollo et al. (2013), a Tabela A-5 mostra os coeficientes de primeiro estágio (colunas 1 e 2) para o 5° (Painel A) e 9° ano (Painel B). Essa abordagem consiste em interagir a equação (3) com um conjunto de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte, obtendo numa mesma estimação o coeficiente de cada um dos pontos de corte. Verifica-se que, no 5° ano, existem evidências fortemente significantes de um primeiro estágio para todos os pontos de corte, exceto no ponto 1. Já no 9° ano, pode-se afirmar que há um primeiro estágio nos dois primeiros pontos de corte. Os resultados da forma reduzida (colunas 3 a 6) indicam que não há efeitos do tamanho da sala predito pela regra nas notas dos alunos. Pela mesma abordagem, a Tabela A-6 reporta as estimativas de segundo estágio, mostrando que não existem efeitos de aumentar o tamanho da sala nas notas dos alunos de 5° (Painel A) e 9° ano (Painel B). Os coeficientes estimados das equações 3 e 4 considerando apenas observações que estejam dentro da respectiva janela ótima h calculada segundo abordagem de Calonico et al. (2014) estão representados nas tabelas A-7 a A-10. O cálculo de h foi realizado individualmente para o caso pooled e cada um dos pontos de corte. h varia conforme descrito na Tabela B8, que também reporta o número de alunos à esquerda e à direita dos pontos de corte dentro da respectiva janela h. Para mostrar a sensibilidade dos resultados obtidos a diferentes janelas, essas tabelas reportam estimativas considerando o dobro e o triplo de h. As tabelas A-7 e A-8 expõem os resultados de primeiro estágio de uma regressão linear local com kernel retangular para o 5° e 9° ano respectivamente, onde o instrumento utilizado foram dummies que assumem o valor 1 se os alunos estivessem à direita de cada um dos respectivos pontos de corte, e 0 caso estivessem à esquerda (sempre dentro da respectiva janela). Nesse caso, como é esperado que salas à direita da descontinuidade tenham tamanho menor do que à esquerda, o sinal esperado do coeficiente de primeiro estágio é negativo.23 No 5° ano, corroborando com a análise gráfica anterior, há evidências de um primeiro estágio fortemente significante no primeiro ponto de corte para todas as janelas (colunas 1 a 6). Também no 5° ano, os efeitos na estimação pooled foram significantes para o dobro e triplo de h (colunas 3 a 6). Já no 9° ano, existem evidências de um primeiro estágio no primeiro e segundo ponto de corte somente para o triplo de h (colunas 5 e 6). Devido ao menor tamanho amostral, as estimativas reportadas nessa tabela possuem maior erro padrão do que aquelas mostradas anteriormente. Tabela A-4 Distribuição do Número de Turmas por Matrícula Total - 5º ano Matrículas Totais Número de Turmas Matrículas Totais Número de Turmas 26 1 96 42 27 1 97 27 30 2 98 44 32 1 99 57 33 4 100 49 34 1 101 45 35 6 102 21 37 1 103 39 41 2 104 31 43 4 105 28 44 4 106 9 45 2 107 13 47 2 109 4 48 2 110 4 49 2 111 4 50 4 112 4 51 8 113 7 52 6 114 4 53 2 116 12 54 12 118 12 57 6 120 4 58 4 121 25 59 6 122 12 60 2 123 8 61 16 124 16 62 8 125 16 63 20 126 32 64 23 127 12 65 33 128 16 66 28 129 16 67 41 130 24 68 36 131 16 69 22 132 29 70 27 133 16 71 25 134 16 72 2 135 28 73 3 136 4 74 9 137 24 75 6 138 21 76 9 139 13 77 2 140 24 78 6 141 4 79 12 146 5 80 3 147 9 81 6 152 5 82 15 154 5 83 6 155 5 84 15 157 5 85 18 160 5 86 9 162 10 87 12 163 5 88 15 164 5 89 27 165 10 90 22 166 15 91 12 167 11 92 12 169 10 93 27 173 10 94 31 174 5 95 27 233 7 Nota: Elaboração própria, com base no Censo Escolar 2015. Tabela A-5 Resultados do Primeiro Estágio e Formas Reduzidas por Ponto de Corte (seguindo Brollo et al., 2013). Tamanho da Sala Nota Matemática Nota Português (1) (2) (3) (4) (5) (6) Painel A: 5º ano Ponto 1 0,399 0,359 -0,014 -0,007 -0,017 -0,010 (0,285) (0,288) (0,010) (0,009) (0,011) (0,008) Ponto 2 0,656 *** 0,667 *** 0,002 0,005 0,002 0,005 (0,117) (0,114) (0,006) (0,005) (0,005) (0,004) Ponto 3 0,640 *** 0,604 *** 0,006 0,001 0,009 0,004 (0,135) (0,140) (0,006) (0,006) (0,007) (0,006) Ponto 4 0,668 *** 0,731 *** 0,003 -0,002 -0,002 -0,007 (0,184) (0,168) (0,013) (0,011) (0,014) (0,012) Observações 45.089 35.877 41.980 35.867 41.980 35.867 Painel B: 9º ano Ponto 1 0,293 *** 0,313 *** -0,001 -0,003 -0,001 -0,003 (0,068) (0,067) (0,002) (0,002) (0,003) (0,002) Ponto 2 0,114 * 0,123 ** -0,002 -0,003 -0,001 -0,001 (0,059) (0,058) (0,003) (0,002) (0,003) (0,002) Ponto 3 0,020 0,031 0,001 0,001 0,002 0,001 (0,061) (0,060) (0,004) (0,003) (0,004) (0,003) Ponto 4 0,023 -0,018 0,000 -0,005 0,003 -0,003 (0,082) (0,078) (0,005) (0,004) (0,006) (0,005) Ponto 5 0,090 0,047 0,001 -0,002 -0,005 -0,010 (0,127) (0,123) (0,009) (0,008) (0,011) (0,009) Ponto 6 0,015 0,067 0,003 -0,003 0,008 0,001 (0,226) (0,235) (0,016) (0,011) (0,018) (0,012) Ponto 7 -0,033 -0,106 0,014 0,006 0,018 0,006 (0,293) (0,298) (0,022) (0,015) (0,027) (0,017) Observações 319.258 264.751 288.312 264.730 288.312 264.730 Controle Alunos e INSE Não Sim Não Sim Não Sim Nota: Essa tabela apresenta os efeitos da forma reduzida (coeficiente π1 da equação (3)) do Tamanho da Sala Predito no tamanho médio da sala observado e nas notas dos alunos em Matemática e Português. Os coeficientes foram estimados interagindo a equação (3) com uma série de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte. Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 5º ano de escolas municipais da cidade de São Paulo e 9º ano de escolas estaduais de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. *** p < 0,01; ** p < 0,05; * p < 0,1. Tabela A-6 Efeitos do Tamanho da Sala nas Notas dos Alunos. Nota Matemática Nota Português (1) (2) (3) (4) Painel A: 5º ano Ponto 1 -0,028(0,018) -0,016(0,020) -0,033(0,022) -0,022(0,022) Ponto 2 0,004(0,009) 0,008(0,007) 0,003(0,008) 0,008(0,006) Ponto 3 0,012(0,012) 0,002(0,011) 0,017(0,013) 0,007(0,012) Ponto 4 0,005(0,022) -0,003(0,017) -0,004(0,024) -0,010(0,017) Obervações 41.980 35.867 41.980 35.867 Painel B: 9º ano Ponto 1 -0,004(0,007) -0,009(0,025) -0,004(0,008) -0,009(0,017) Ponto 2 -0,019(0,023) -0,024(0,039) -0,005(0,023) -0,010(0,029) Ponto 3 0,104(0,492) 0,015(0,440) 0,156(0,701) 0,021(0,308) Ponto 4 0,021(0,322) 0,738(8,223) 0,176(0,865) 0,486(5,402) Ponto 5 0,007(0,101) 0,037(0,632) -0,051(0,147) -0,111(0,477) Ponto 6 0,069(0,471) 0,019(0,615) 0,186(1,019) 0,058(0,462) Ponto 7 -0,215(1,037) -0,397(3,880) -0,277(1,349) -0,280(2,620) Observações 288.312 264.730 288.312 264.730 Controle Alunos e INSE Não Sim Não Sim Nota: Essa tabela apresenta as estimativas da equação (4) por Mínimos Quadrados em 2 Estágios (coeficiente β1 da equação (4)). Os coeficientes foram estimados interagindo a equação (4) com uma série de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte. A variável endógena é o tamanho médio da sala, que foi instrumentalizada pelo tamanho predito pela equação (2). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 5º ano de escolas municipais da cidade de São Paulo e 9º ano de escolas estaduais de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. Os resultados do efeito de interesse dado por β1 da equação (4) considerando a amostra na janela ótima h e variações indicam que não existem efeitos estatisticamente significantes do tamanho da sala nas notas dos alunos de 5° e 9° ano em matemática e português (tabelas A-9 e A-10). Embora menos precisos, os resultados encontrados estão de acordo com aqueles anteriormente reportados. Tabela A-7 Resultados do Primeiro Estágio na Janela Ótima - 5º ano. h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) Pooled -1,896 -2,007 -3,133 *** -3,297 *** -4,006 *** -3,954 *** (1,239) (1,225) (1,134) (1,120) (0,885) (0,873) Observações 10.063 7.496 15.794 11.609 23.047 16.874 Ponto 1 5,063 ** 4,079 -2,111 -1,232 -5,768 * -7,918 *** (1,868) (3,751) (6,509) (4,263) (3,103) (1,985) Observações 356 233 435 287 650 463 Ponto 2 -5,165 ** -5,791 *** -4,406 ** -4,585 ** -5,308 *** -5,561 *** (2,085) (1,893) (1,940) (1,872) (1,525) (1,503) Observações 2.132 1.636 3.317 2.483 5.899 4.388 Ponto 3 -0,063 -0,108 -1,014 -0,995 -2,001 -1,355 (1,457) (1,533) (1,528) (1,520) (1,365) (1,426) Observações 3.977 3.046 6.160 4.548 9.581 6.993 Ponto 4 1,516 * 0,288 1,389 *** 0,544 -2,064 -2,758 ** (0,716) (0,495) (0,365) (0,350) (1,570) (1,089) Observações 1.966 1.418 3.720 2.732 5.073 3.702 Controle Alunos e INSE Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local cuja variável explicativa de interesse é uma dummy que assume o valor 1 caso a observação esteja à direita do ponto de corte e 0 caso contrário e cuja variável resposta é o tamanho médio da sala. Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui alunos do 5º ano municipal da cidade de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. *** p < 0,01; ** p < 0,05; * p < 0,1. Tabela A-8 Resultados do Primeiro Estágio na Janela Ótima - 9º ano. h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) Pooled -0,084 0,238 -0,264 -0,001 -0,243 -0,058 (0,452) (0,464) (0,320) (0,314) (0,291) (0,286) Observações 37.480 27.495 86.818 62.969 109.852 79.577 Ponto 1 1,469 2,531 -0,923 -0,263 -3,112 ** -3,049 ** (2,377) (2,029) (1,806) (1,763) (1,314) (1,277) Observações 2.172 1.526 3.522 2.532 5.899 4.298 Ponto 2 -0,114 -0,016 -0,458 -0,554 -0,911 * -0,978 ** (0,749) (0,733) (0,562) (0,548) (0,470) (0,466) Observações 15.370 11.299 27.960 20.490 36.622 26.815 Ponto 3 1,363 * 1,510** 0,515 0,401 0,536 0,414 (0,695) (0,709) (0,530) (0,538) (0,469) (0,469) Observações 9.542 7.158 21.140 15.666 32.499 23.949 Ponto 4 -0,141 -0,017 0,178 0,374 0,214 0,461 (0,676) (0,690) (0,568) (0,536) (0,498) (0,465) Observações 15.239 11.130 26.789 19.505 36.529 26.676 Ponto 5 -0,318 -0,231 -0,798 -0,717 -0,478 -0,260 (1,092) (0,827) (0,792) (0,708) (0,712) (0,703) Observações 5.249 3.922 11.798 8.254 17.582 12.375 Ponto 6 0,021 0,406 -0,421 -0,588 0,401 0,068 (1,504) (1,404) (1,028) (1,025) (0,810) (0,861) Observações 7.469 5.282 11.560 8.152 17.802 12.339 Ponto 7 -0,985 0,160 -1,237 -0,251 0,453 1,106 (1,266) (0,480) (1,289) (0,855) (1,250) (1,094) Observações 2.937 1.921 4.532 3.128 6.517 4.547 Controle Alunos e INSE Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local cuja variável explicativa de interesse é uma dummy que assume o valor 1 caso a observação esteja à direita do ponto de corte e 0 caso contrário e cuja variável resposta é o tamanho médio da sala. Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui alunos do 9º ano estadual de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. ***p < 0,01; ** p < 0,05; * p < 0,1. Tabela A-9 Efeitos do Tamanho da Sala na Nota dos Alunos na Janela Ótima - 5º ano. NotaemMatematica Nota em Português h 2 ∗ h 3 ∗ h h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) Pooled 0,005 0,014 -0,006 -0,001 -0,005 -0,004 0,001 0,016 -0,004 0,001 -0,006 -0,003 (0,025) (0,020) (0,015) (0,012) (0,010) (0,009) (0,024) (0,018) (0,014) (0,011) (0,010) (0,009) Observações 8.735 7.494 13.649 11.607 19.871 16.869 8.735 7.494 13.649 11.607 19.871 16.869 Ponto 1 0,009 0,036 -0,074 0,034 -0,022 -0,006 0,043 -0,068 -0,126 -0,100 -0,019 -0,008 (0,023) (0,139) (0,169) (0,203) (0,019) (0,012) (0,030) (0,099) (0,310) (0,274) (0,018) (0,009) Observações 295 233 352 287 543 463 295 233 352 287 543 463 Ponto 2 0,015 0,017 0,006 0,014 -0,001 0,006 0,011 0,013 -0,003 0,006 -0,002 0,004 (0,015) (0,011) (0,015) (0,011) (0,014) (0,011) (0,016) (0,011) (0,017) (0,011) (0,013) (0,009) Observações 1.868 1.636 2.895 2.483 5.157 4.388 1.868 1.636 2.895 2.483 5.157 4.388 Ponto 3 0,068 -0,041 -0,010 -0,035 0,019 0,013 0,852 0,600 0,038 0,012 0,029 0,031 (1,748) (0,619) (0,058) (0,058) (0,033) (0,047) (15,515) (8,316) (0,106) (0,074) (0,038) (0,060) Observações 3.444 3.045 5.310 4.547 8.195 6.991 3.444 3.045 5.310 4.547 8.195 6.991 Ponto 4 -0,108 -0,540 -0,114 -0,255 -0,019 -0,030 -0,015 -0,204 -0,015 -0,037 -0,045 -0,054 (0,074) (0,955) (0,079) (0,191) (0,042) (0,024) (0,029) (0,398) (0,021) (0,079) (0,042) (0,047) Observações 1.712 1.418 3.195 2.731 4.378 3.700 1.712 1.418 3.195 2.731 4.378 3.700 Controle Alunos e INSE Não Sim Não Sim Não Sim Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local de segundo estágio dado por β1 na equação (4). Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 5º ano municipal da cidade de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. Tabela A-10 Efeitos do Tamanho da Sala na Nota dos Alunos na Janela Ótima - 9º ano. Nota em Matemática Nota em Português h 2 ∗ h 3 ∗ h h 2 ∗ h 3 ∗ h (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) Pooled 0,175 0,052 0,097 1,664 0,009 -0,215 0,167 0,080 0,109 -2,980 0,019 -0,292 (0,641) (0,147) (0,139) (508,260) (0,074) (1,094) (0,618) (0,199) (0,157) (911,413) (0,083) (1,476) Observações 29.782 27.491 68.240 62.963 86.332 79.570 29.782 27.491 68.240 62.963 86.332 79.570 Ponto 1 0,045 0,035 0,015 -0,003 -0,012 -0,014 0,130 0,079 0,003 -0,117 -0,010 -0,015 (0,135) (0,042) (0,047) (0,179) (0,015) (0,013) (0,353) (0,076) (0,052) (0,771) (0,017) (0,016) Observações 1.716 1.525 2.774 2.531 4.654 4.297 1.716 1.525 2.774 2.531 4.654 4.297 Ponto 2 0,006 0,018 -0,037 -0,040 -0,012 -0,024 0,093 1,414 -0,022 -0,021 -0,009 -0,018 (0,147) (1,968) (0,070) (0,054) (0,026) (0,022) (0,329) (1,222) (0,064) (0,045) (0,027) (0,022) Observações 12.059 11.299 21.911 20.489 28.894 26.813 12.059 11.299 21.911 20.489 28.894 26.813 Ponto 3 -0,044 -0,017 -0,093 -0,089 -0,056 -0,017 -0,042 -0,001 -0,082 -0,027 -0,041 0,029 (0,046) (0,031) (0,107) (0,134) (0,087) (0,062) (0,051) (0,037) (0,103) (0,086) (0,083) (0,073) Observações 7.676 7.157 16.973 15.665 25.898 23.947 7.676 7.157 16.973 15.665 25.898 23.947 Ponto 4 0,120 -2,274 0,022 0,091 -0,041 0,053 0,093 -2,628 -0,014 0,080 -0,038 0,059 (0,797) (86,994) (0,138) (0,143) (0,146) (0,072) (0,681) (1,67) (0,163) (0,133) (0,163) (0,079) Observações 12.098 11.129 21.087 19.504 28.722 26.675 12.098 11.129 21.087 19.504 28.722 26.675 Ponto 5 0,280 0,447 0,047 0,071 0,062 0,084 0,294 0,356 0,019 0,024 0,021 -0,039 (0,998) (1,701) (0,073) (0,090) (0,114) (0,242) (1,076) (1,428) (0,081) (0,081) (0,115) (0,232) Observações 4.170 3.922 8.988 8.252 13.437 12.372 4.170 3.922 8.988 8.252 13.437 12.372 Ponto 6 -0,036 -0,003 0,013 -0,033 -0,078 -0,219 0,352 0,095 0,072 0,004 -0,125 -0,480 (1,380) (0,173) (0,169) (0,110) (0,282) (2,826) (7,024) (0,323) (0,236) (0,101) (0,389) (6,072) Observações 5.701 5.281 8.959 8.151 13.708 12.337 5.701 5.281 8.959 8.151 13.708 12.337 Ponto 7 0,095 0,578 0,005 -0,113 0,000 0,006 0,195 0,505 0,049 0,044 -0,093 -0,018 (0,172) (1,759) (0,087) (0,584) (0,150) (0,035) (0,260) (1,510) (0,113) (0,320) (0,280) (0,056) Observações 2.257 1.921 3.563 3.128 5.077 4.547 2.257 1.921 3.563 3.128 5.077 4.547 Controle Alunos e INSE Não Sim Não Sim Não Sim Não Sim Não Sim Não Sim Nota: Cada célula representa o coeficiente de uma regressão linear local de segundo estágio dado por β1 na equação (4). Foi considerada apenas a amostra dentro da janela ótima h e variações (o dobro e triplo de h). Como controle, foram incluídas dummies de sexo, se o aluno é branco, homem, se já reprovou, se a mãe possui Ensino Fundamental completo, se o pai possui Ensino Fundamental completo, se o professor possui pós-graduação. O INSE, Indicador de Nível Socioeconômico da escola calculado pelo INEP, o número de salas de aula utilizadas e de funcionários foram utilizados como controle de escola. A amostra inclui todos os alunos do 9º ano estadual de São Paulo que fizeram a Prova Brasil 2015. Erros padrão reportados entre parênteses foram clusterizados a nível de escola. Tabela A-11 Janela Ótima e Número de Obervações à Esquerda e à Direita de Cada Ponto de Corte. h Obs. à Esquerda Obs. à Direita 2 ∗ h Obs. à Esquerda Obs. à Direita 3 ∗ h Obs. à Esquerda Obs. à Direita (1) (2) (3) (4) (5) (6) (7) (8) (9) Painel A: 5º ano Pooled 2,02 7.427 1.311 4,04 11.998 1.655 6,06 17.569 2.309 Ponto 1 3,01 266 29 6,02 289 63 9,03 3.466 197 Ponto 2 1,4 1.319 549 2,8 2.278 617 4,2 4.289 869 Ponto 3 2,26 2.875 570 4,52 4.649 662 6,78 7.357 842 Ponto 4 2,59 1.617 95 5,18 3.100 95 7,77 3.937 441 Painel B: 9º ano Pooled 1,61 20.275 9.508 3,22 40.871 27.373 4,83 51.537 34.800 Ponto 1 1,39 1.204 512 2,78 1.596 1.178 4,17 2.531 2.123 Ponto 2 3,19 7.400 4.659 6,38 11.976 9.936 9,57 14.864 14.031 Ponto 3 1,67 5.189 2.488 3,34 10.183 6.791 5,01 15.188 10.711 Ponto 4 2,25 7.540 4.558 4,5 8.446 12.642 6,75 17.511 11.212 Ponto 5 1,88 2.891 1.279 3,76 4.675 4.316 5,64 7.707 5.733 Ponto 6 3,04 3.973 1.728 6,08 5.528 3.431 9,12 8.622 5.086 Ponto 7 2,01 1.057 1.200 4,02 2.084 1.479 6,03 3.030 2.047 Nota: As janelas ótimas (h) foram calculadas seguindo o procedimento proposto por Calonico et al. (2014). A.3 Estatísticas Descritivas para Escolas em Municípios sem Escola Particular Tabela A-12 Estatísticas Descritivas de Escolas em Municípios Sem Escola Particular - 9º ano. Média D.P. Obs. P5 p10 p25 p50 p75 p90 p95 Matriculas Totais 78,0 39,0 780 24,5 32 49 74 103 126,5 139 Nº de Turmas 2,84 1,23 780 1 1 2 3 4 4 5 Nota: Essa tabela apresenta estatísticas descritivas para turmas, escolas e alunos de 5º ano da rede municipal da cidade de São Paulo e 9º ano da rede estadual de São Paulo. Os dados foram obtidos do Censo Escolar e da Prova Brasil no ano de 2015. mostra a distribuição das matrículas totais e do número de turmas para essas escolas. Mais uma vez, os resultados são robustos àqueles já descritos, indicando que não existem efeitos estatisticamente significantes do tamanho da sala nas notas dos alunos - colunas 3 a 6 do Painel E.
5. Evidências para Minas Gerais e Santa Catarina
A fim de trazer maior validade externa aos resultados encontrados, esta seção analisa os impactos de leis que determinam um número máximo de alunos por turma nas notas de alunos de 5° e 9° ano das redes estaduais de Minas Gerais e Santa Catarina. Para isso, utilizou-se a mesma abordagem anteriormente exposta na seção de Metodologia e Resultados deste trabalho.
Em Minas Gerais, a Lei N° 16.056, de 24 de Abril de 2006, estabelece que o número máximo de alunos por sala de aula deve ser de 25 alunos nos anos iniciais do Ensino Fundamental e 35 alunos nos anos finais. A Lei também afirma que este número poderá ser alterado pela Secretaria Estadual de Educação em casos excepcionais. Já em Santa Catarina, a Lei Complementar N° 170, de 7 de Agosto de 1998, determina um número de alunos por sala que possibilite adequada comunicação e aproveitamento, da seguinte forma: máximo de 30 alunos nos ciclos iniciais do ensino fundamental e 35 alunos nos demais ciclos. A Tabela 6 sintetiza os máximos estabelecidos para o 5° e 9° ano nesses estados.
Como feito para as análises anteriores referentes às redes municipal e estadual de São Paulo, as figuras 9 e 10 ilustram a relação de primeiro estágio para o 5° e 9° ano estadual de Minas Gerais e Santa Catarina. Essas figuras plotam o tamanho médio da sala, em número de alunos, para cada nível de matrícula total, e o tamanho da sala predito pela equação (2), conforme regra definida pela Tabela 6. Por essas figuras, é possível se ter uma ideia do quanto as escolas da respectiva rede respeitam o máximo estabelecido. Ou seja, de quão forte será o coeficiente de primeiro estágio.
As escolas estaduais de Minas Gerais são as que parecem seguir menos a regra (Figura 9), em comparação com as demais redes analisadas neste estudo. Tanto no 5° como 9° ano de Minas Gerais, embora exista uma relação entre o tamanho da sala predito pela regra e o observado, há evidências de que as turmas se dividam após o máximo estabelecido. Em Santa Catarina, por outro lado, a relação de primeiro estágio parece ser mais forte, especialmente no 9° ano (Figura 10).
Para formalmente testar a existência e magnitude de um primeiro estágio, estimou-se o coeficiente 𝜋1 da equação (3), reportado nas colunas 1 e 2 da Tabela 7. Esses coeficientes estão de acordo com os indícios mostrados nas análises gráficas feitas anteriormente (figuras 9 e 10), além de serem fortemente estatisticamente significantes. Em Minas Gerais, no 5° ano (Painel A), o Tamanho da Sala Predito impacta o tamanho médio observado em cerca de 0,22, tanto com como sem a inclusão de controles. No 9° ano (Painel B), esse efeito é um pouco mais forte, de aproximadamente 0,26. Já em Santa Catarina, esses efeitos são maiores em magnitude, ficando por volta de 0,4 no 9° ano (Painel D), em comparação com 0,3 no 5° ano (Painel C), também em linha com o exposto na Figura 12.
As demais colunas da Tabela 7 mostram os resultados da estimação de & da equação (4) por MQ2E para os estados de Minas Gerais (Paineis A e B) e Santa Catarina (Paineis C e D). É possível concluir que não existem evidências estatísticas de que aumentar um aluno na sala de aula tenha efeito nas notas em Matemática (colunas 3 e 4) e Português (colunas 5 e 6) da Prova Brasil, o que vai ao encontro dos resultados obtidos anteriormente. Além disso, tanto os coeficientes estimados como os respectivos desvios padrão são pontualmente muito próximos de zero, como também observado nas análises para São Paulo.
A fim de validar a hipótese H1 de aleatorização ao redor do(s) ponto(s) de corte, a Figura 11 reporta os resultados do teste de McCrary para toda a amostra pooled. Para isso, as matrículas totais foram normalizadas para zero de acordo com a distância de cada observação ao ponto de corte acima ou abaixo mais próximo, construindo-se intervalos simétricos de modo que nenhuma observação estivesse em mais de um intervalo ao mesmo tempo. Como não há um salto estatisticamente significante da densidade das matrículas ao redor de zero, pode-se dizer que, com 95% de confiança, existem evidências de que não há manipulação das matrículas. Logo, é possível concluir que a alocação dos alunos entre as salas é tão boa quanto se tivesse sido aleatorizada.
Validada a hipótese H1, é importante verificar a distribuição das covariadas determinadas pré tratamento ao redor dos pontos de corte. Assim como num experimento aleatório, espera-se que as características determinadas pré tratamento sejam iguais ao se comparar os indivíduos à esquerda e à direita dos pontos de corte. Em outras palavras, a running variable matrículas normalizadas não deve apresentar descontinuidade em nenhuma dessas características. As figuras 12 e 13 apresentam uma análise gráfica para verificar se tal descontinuidade existe ou não no 5° e 9° ano de Minas Gerais e Santa Catarina respectivamente. Analisando todos os gráficos apresentados, pode-se afirmar, com 95% de confiança, que existem evidências de que essas características estejam balanceadas.
Uma maneira de testar formalmente o balanceamento da amostra é por meio de uma regressão de MQO cuja variável resposta corresponde a cada uma da variáveis determinadas pré tratamento e cuja variável explicativa é uma dummy igual a 1 caso a observação esteja à direita do ponto de corte e 0 caso contrário. A Tabela 8 reporta os coeficientes dessas dummies para cada covariada determinada pré tratamento, que corresponde aos respectivos títulos das colunas. No 5° ano de Minas Gerais (Painel A) e 9° ano de Santa Catarina (Painel D), existem evidências de que as características sejam balanceadas, garantindo a validade dos resultados encontrados. Para o 9° ano de Minas Gerais (Painel B) e 5° ano de Santa Catarina (Painel C), somente uma variável (Branco e Já Reprovado) são respectivamente marginalmente significantes, de modo que isso não invalida os resultados apresentados.
Teste de Balanceamento das Covariadas Determinadas Pré Tratamento - Minas Gerais e Santa Catarina.
6. Conclusão
Mudanças no padrão demográfico da população brasileira terão diversos efeitos nos próximos anos. Um deles potencialmente será alterações na qualidade da educação pública. Nesse contexto, este trabalho teve como objetivo principal avaliar o impacto de uma possível política pública nas notas em Matemática e Português da Prova Brasil de alunos do 5° ano municipal da cidade de São Paulo e 9° ano estadual de São Paulo. Para isso, utilizou-se o respectivo número máximo de 35 alunos por turma no 5° ano municipal e 9° ano estadual, conforme especificado na Portaria Municipal n° 4.722, de 16 de Outubro de 2009, e Resolução Estadual SE-86, de 28 de Novembro de 2008.
O efeito de interesse foi calculado empregando-se técnicas de regressão descontínua fuzzy, onde o tamanho da sala predito pela função de Maimonides (Angrist & Lavy, 1999) foi utilizado como instrumento para o tamanho da sala observado, uma vez que as escolas não seguem perfeitamente a regra estabelecida. Os resultados de segundo estágio indicam que não há nenhum efeito estatisticamente significante do tamanho da sala nas notas dos alunos. Para verificar a sensibilidade dos efeitos encontrados a mudanças na amostra, foram também estimadas especificações com escolas de turno único, de turmas homogêneas e escolas em municípios sem escola particular, e todos eles corroboram com a conclusão citada anteriormente.
É importante ressaltar que os resultados aqui descritos são locais em dois sentidos. Primeiro, como se trata de regressão descontínua, eles são válidos para observações ao redor do(s) ponto(s) de corte. Segundo, pela literatura de variáveis instrumentais, o efeito é identificado somente para a população dos compliers. Portanto, não significa que aumentar indefinidamente o número de alunos por sala de aula não tenha impacto algum nas notas dos alunos. Com o intuito de trazer maior validade externa, foram estimados os efeitos para alunos de 5° e 9° anos das redes estados de Minas Gerais e Santa Catarina, que também indicaram não haver impacto estatisticamente significante do tamanho da sala nas notas dos alunos.
Para trabalhos futuros, seria interessante não só avaliar o impacto de políticas que estipulem um número máximo de alunos por turma nos demais estados que possuem algum limite formal como também compreender melhor como funciona na prática a alocação dos alunos entre as turmas, como as diretorias de ensino fiscalizam o cumprimento do número máximo de alunos por turma estabelecido, e ainda se há alguma punição caso esse máximo não seja respeitado. Apesar dessas políticas não mostrarem impactos sobre as notas dos alunos, existem outros fatores não menos importantes a serem analisados que ainda não foram explorados na literatura nacional, como efeitos sobre: taxa de reprovação e de abandono, futura inserção no mercado de trabalho, salário.
Em suma, é possível que a ausência de efeitos seja justificada por outros problemas estruturais muito mais graves e com maior impacto nas notas dos alunos que não estão sendo mensurados nesta dissertação. Um deles seria o alto índice de absenteísmo dos professores da rede pública de ensino no Brasil. Relatório do Tribunal de Contas do Estado (TCE) de São Paulo 2015 aponta que a média anual de ausência dos professores é de 36,5 dias na rede municipal da cidade de São Paulo, e de 28 dias na rede estadual. Uma outra causa seria a carência de recursos físicos, tecnológicos e material escolar de qualidade que permitam um ambiente que favoreça o aprendizado dos alunos. O mesmo relatório do TCE indica escolas com salas de aula sujas, cortinas rasgadas e carteiras quebradas. Por último, também devem ser considerados aspectos intrínsecos à realidade do aluno como dificuldades de acesso à escola por transporte público e ambiente familiar que inibe o desenvolvimento desse na escola. A análise desses fatores são fundamentais para o desenvolvimento de políticas públicas que visem à melhora do ensino público no Brasil. Sob condições de ensino mais favoráveis, é possível que políticas que estipulem um número máximo de alunos por turma tenha efeito sobre as notas dos alunos no Brasil.
-
1
Programme for International Student Assesment, aplicado trienalmente pela OCDE (Organização da Cooperação e Desenvolvimento Econômico).
-
2
O Ideb é um índice desenvolvido pelo INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) para mensurar a qualidade do ensino público. Consiste numa ponderação entre a taxa de aprovação e as médias de desempenho nos exames padronizados aplicados pelo INEP.
-
3
As seguintes redes de ensino estaduais possuem alguma regulação referente ao número máximo de alunos por turma: São Paulo, Amapá, Minas Gerais, Santa Catarina, Tocantins, Goiás, Mato Grosso, Sergipe, Pará, Maranhão, Pernambuco, Alagoas, Piauí, Paraná e Rio de Janeiro.
-
4
Segundo projeções do IBGE, espera-se que, de 2018 a 2030, a população em idade escolar do estado de São Paulo reduza-se em cerca de 1,3 milhão de pessoas, seguida por uma queda de cerca de 730 mil pessoas no estado de Minas Gerais.
-
5
De acordo com dados do Censo Escolar 2015, 57,47% dos alunos de 5° ano do estado de São Paulo são de escola municipal e 23,32% de estadual. Por outro lado, no 9° ano, 62,14% dos alunos são de escola estadual e 21,09% municipal.
-
6
O Ciclo I compreende do 1° ao 5° anos iniciais do ensino fundamental
-
7
Em novembro de 2014, a Portaria n° 6.572, de 25 de Novembro de 2014, diminuiu para 33 o número máximo de alunos por turma do 3° ao 9° ano do Ensino Fundamental. Entretanto, afirma que será uma medida gradual. Por isso, nos dados de 2015 analisados ainda não existem evidências de que essa nova portaria esteja sendo seguida.
-
8
Outras metodologias quase-experimentais seriam diferenças em diferenças, variáveis instrumentais, propensity score matching.
-
9
A ideia é análoga a testar o balanceamento, em termos de variáveis observadas, entre o grupo tratado e controle num experimento aleatório.
-
10
Aqui, é importante ressaltar que não temos acesso ao tamanho da sala observado para cada aluno (i), conforme explicado na seção de Dados, de modo que foi utilizado o tamanho médio da sala para um dado ano escolar e escola como proxy. Portanto, a variável Tamanho Salaea, assim como o Tamanho da Sala Preditoea variam somente entre ano escolares e escolas
-
11
A construção do INSE baseia-se nas respostas dadas pelos alunos aos questionários da Prova Brasil, incluindo medidas de: posse de bens no domicílio, contratação de serviços, renda familiar mensal e escolaridade dos pais. A medida é expressa numa escala contínua com média igual a 50 e desvio padrão igual a 10. Depois, para construir o INSE, são criados 7 níveis distintos: Nível I (medida até 30), Nível II (medida entre 30 e 40), Nível III (medida entre 40 e 50), Nível IV (medida entre 50 e 60), Nível V (medida entre 60 e 70), Nível VI (medida entre 70 e 80), e Nível VII (acima de 80).
-
12
Imbens e Lemieux (2008) escrevem que “from a practical point of view, one may just focus on the simple rectangular kernel, but verify the robustness of the results to different choices of bandwidth” Portanto, este estudo reporta especificações considerando o dobro e o triplo de h como janelas. Lee e Lemieux (2010) também argumentam que “While other kernels (triangular, Epanechnikov, etc.) could also be used, the choice of kernel typically has little impact in practice. As a result, the convenience of working with a rectangular kernel compensates for efficiency gains that could be achieved using more sophisticated kernels”
-
13
Regressões lineares locais fornecem uma maneira não paramétrica de estimar consistentemente o efeito tratamento de interesse (Hahn et al., 2001; e Porter, 2003).
-
14
O cálculo da janela ótima foi feito utilizando o pacote rdbwselect no software Stata, seguindo as instruções dadas em Calonico, Cattaneo, Farrell, e Titiunik (2016).
-
15
Apesar de censitária, nem todos os alunos cadastrados no Censo Escolar 2015 fizeram a Prova Brasil, conforme melhor explorado na próxima subseção.
-
16
Valor baseado nas informações do Censo Escolar 2015.
-
17
Foram também estimados modelos sem a inclusão de matrícula e matrícula ao quadrado, mas que não constam nessa versão por questão de espaço. Os resultados variam pouco entre as diferentes especificações.
-
18
A fim de trazer maior validade externa, a próxima seção descreve os resultados encontrados para outras redes de ensino que também possuem alguma regra que determina um número máximo de alunos por turma.
-
19
Foi utilizado o programa DcDensity disponibilizado pelo autor para o cálculos das densidades e intervalos de confiança.
-
20
No total, 460 escolas no 5° ano e 2976 no 9° ano possuíam um único turno, com base no Censo Escolar 2015 (ou seja, somente ensino matutino ou vespertino).
-
21
Dos 645 municípios do estado de São Paulo, 519 possuem escolas estaduais que ofereçam o 9° ano do Ensino Fundamental. Dessas, 247 (ou 47,59%) estão em municípios que não possuem escola particular. Como esses municípios são muito pequenos em termos populacionais, os alunos dessas escolas correspondem a apenas 5,22% do total de alunos do 9° ano estadual de São Paulo
-
22
Embora não esteja lista neste estudo, a distribuição do número de turmas por matrícula total está disponível sob demanda.
-
23
Portanto, não faz sentindo interpretar a existência de um primeiro estágio caso o coeficiente estimado seja positivo.
Apêndice A.
A.1 Descrição das Variáveis e Estatísticas DescritivasA.2 Resultados por Ponto de Corte
As figuras A-1 e A-2 plotam a relação de primeiro estágio para o 5° e 9° ano de uma maneira diferente do que a exposta na Figura 7: tanto agrupando os pontos de corte (análise pooled) como individualmente. Para essa análise, as matrículas totais foram normalizadas de acordo com a distância de cada observação ao ponto de corte acima ou abaixo mais próximo, construindo-se intervalos simétricos de modo que nenhuma observação estivesse em mais de um intervalo ao mesmo tempo. Posteriormente, calculou-se o tamanho médio da sala em bins de um aluno à esquerda e à direita de cada um desses pontos com intervalos de 95% confiança.
Pela Figura A-1, no 5° ano, a descontinuidade se mostra estatisticamente significante no gráfico pooled e no segundo ponto de corte (70 alunos matriculados). Os resultados para os demais pontos de corte devem ser analisados com cautela, uma vez que o tamanho amostral é muito pequeno em seus arredores, resultando em intervalos de confiança imprecisos. Por exemplo, no segundo ponto de corte, não há nenhuma turma com 36 alunos e há apenas uma turma com 37 alunos. A Tabela A-4 mostra a distribuição do número de turmas por matrícula total para o 5° ano. No 9° ano, por outro lado, não existem evidências de descontinuidade em nenhuma especificação (Figura A-2), além de que os intervalos de confiança são mais precisos do que no 5° ano devido ao maior tamanho amostral.22
Seguindo Brollo et al. (2013), a Tabela A-5 mostra os coeficientes de primeiro estágio (colunas 1 e 2) para o 5° (Painel A) e 9° ano (Painel B). Essa abordagem consiste em interagir a equação (3) com um conjunto de dummies que assumiram o valor 1 caso as matrículas totais estivessem do ponto médio abaixo ao ponto médio acima do respectivo ponto de corte, obtendo numa mesma estimação o coeficiente de cada um dos pontos de corte. Verifica-se que, no 5° ano, existem evidências fortemente significantes de um primeiro estágio para todos os pontos de corte, exceto no ponto 1. Já no 9° ano, pode-se afirmar que há um primeiro estágio nos dois primeiros pontos de corte. Os resultados da forma reduzida (colunas 3 a 6) indicam que não há efeitos do tamanho da sala predito pela regra nas notas dos alunos. Pela mesma abordagem, a Tabela A-6 reporta as estimativas de segundo estágio, mostrando que não existem efeitos de aumentar o tamanho da sala nas notas dos alunos de 5° (Painel A) e 9° ano (Painel B).
Os coeficientes estimados das equações 3 e 4 considerando apenas observações que estejam dentro da respectiva janela ótima h calculada segundo abordagem de Calonico et al. (2014) estão representados nas tabelas A-7 a A-10. O cálculo de h foi realizado individualmente para o caso pooled e cada um dos pontos de corte. h varia conforme descrito na Tabela B8, que também reporta o número de alunos à esquerda e à direita dos pontos de corte dentro da respectiva janela h. Para mostrar a sensibilidade dos resultados obtidos a diferentes janelas, essas tabelas reportam estimativas considerando o dobro e o triplo de h.
As tabelas A-7 e A-8 expõem os resultados de primeiro estágio de uma regressão linear local com kernel retangular para o 5° e 9° ano respectivamente, onde o instrumento utilizado foram dummies que assumem o valor 1 se os alunos estivessem à direita de cada um dos respectivos pontos de corte, e 0 caso estivessem à esquerda (sempre dentro da respectiva janela). Nesse caso, como é esperado que salas à direita da descontinuidade tenham tamanho menor do que à esquerda, o sinal esperado do coeficiente de primeiro estágio é negativo.23 No 5° ano, corroborando com a análise gráfica anterior, há evidências de um primeiro estágio fortemente significante no primeiro ponto de corte para todas as janelas (colunas 1 a 6). Também no 5° ano, os efeitos na estimação pooled foram significantes para o dobro e triplo de h (colunas 3 a 6). Já no 9° ano, existem evidências de um primeiro estágio no primeiro e segundo ponto de corte somente para o triplo de h (colunas 5 e 6). Devido ao menor tamanho amostral, as estimativas reportadas nessa tabela possuem maior erro padrão do que aquelas mostradas anteriormente.
Resultados do Primeiro Estágio e Formas Reduzidas por Ponto de Corte (seguindo Brollo et al., 2013).
Os resultados do efeito de interesse dado por β1 da equação (4) considerando a amostra na janela ótima h e variações indicam que não existem efeitos estatisticamente significantes do tamanho da sala nas notas dos alunos de 5° e 9° ano em matemática e português (tabelas A-9 e A-10). Embora menos precisos, os resultados encontrados estão de acordo com aqueles anteriormente reportados.
A.3 Estatísticas Descritivas para Escolas em Municípios sem Escola ParticularApêndice B.
B.1 Resolução SE 86, de 28/11/2008 - Resolução Estadual de São Paulo que Limita o Número de Alunos por SalaArt. 2° Na organização do atendimento à demanda escolar nas escolas estaduais, sempre que houver disponibilidade de recursos físicos, deverão ser observados como critérios para organização e composição de classes/turmas os seguintes referenciais quanto à média de alunos por classe:
-
I - 30 alunos para as classes das séries/anos iniciais do ensino fundamental;
-
II - 35 alunos para as classes das séries/anos finais do ensino fundamental;
-
III - 40 alunos para as classes do ensino médio;
-
IV - 40 alunos para as turmas de educação de jovens e adultos, nos dois níveis de ensino: fundamental e médio;
-
V - 15 a 20 alunos para as turmas do Projeto Intensivo no Ciclo - PIC de 3a e 4a séries do ensino fundamental;
-
VI - 12 a 15 alunos na oferta de serviços de apoio pedagógico especializado, SAPE(s), e para o atendimento escolar de alunos com deficiência, a partir dos princípios da educação inclusiva, em conformidade com o disposto na Resolução n° 11/2008;
-
VII - as turmas de recuperação paralela serão constituídas de 15 a 20 alunos e organizadas em conformidade com as diretrizes fixadas na Resolução n° 40/2008;
Parágrafo único - Casos excepcionais deverão ser submetidos à análise da Diretoria Ensino e à homologação anual da respectiva Coordenadoria.
B.2 Portaria n° 4722, de 16 de Outubro de 2009 - Portaria Municipal de São Paulo que Limita o Número de Alunos por SalaArt. 20 As classes do 1° ano do Ciclo I do ensino fundamental regular serão formadas com até 32 (trinta e dois) alunos.
-
§1° Nos demais anos do ensino fundamental regular, as classes devem ser formadas com até 35 (trinta e cinco) alunos.
-
§2° Nas Emees, que atendem, exclusivamente, os alunos com necessidades educacionais especiais, as classes de ensino fundamental serão formadas com, em média, 10 (dez) alunos.
Referências bibliográficas
-
Angrist, J. D., & Lavy, V. (1999). Using Maimonides’ rule to estimate the effect of class size on scholastic achievement. The Quarterly Journal of Economics, 114(2), 533-575. http://dx.doi.org/10.1162/003355399556061
» http://dx.doi.org/10.1162/003355399556061 -
Angrist, J. D. , Lavy, V. , Leder-Luis, J., & Shany, A. (2017, junho). Maimonides rule redux (Working Paper). National Bureau of Economic Research (NBER). http://dx.doi.org/10.3386/w23486
» http://dx.doi.org/10.3386/w23486 - Angrist, J. D., & Pischke, J.-S. (2008). Mostly harmless econometrics: An empiricist’s companion Princeton University Press.
-
Breton, T. R. (2014). Evidence that class size matters in 4th grade mathematics: An analysis of TIMSS 2007 data for Colombia. International Journal of Educational Development, 34, 51-57. http://dx.doi.org/10.1016/j.ijedudev.2013.04.003
» http://dx.doi.org/10.1016/j.ijedudev.2013.04.003 -
Brollo, F., Nannicini, T., Perotti, R., & Tabellini, G. (2013). The political resource curse. American Economic Review, 103(5), 1759-1796. http://dx.doi.org/10.1257/aer.103.5.1759
» http://dx.doi.org/10.1257/aer.103.5.1759 -
Calonico, S., Cattaneo, M. D., Farrell, M. H., & Titiunik, R. (2016). rdrobust: Software for regression discontinuity designs. The Stata Journal, 17(2), 372-404. http://dx.doi.org/10.1177/1536867X1701700208
» http://dx.doi.org/10.1177/1536867X1701700208 -
Calonico, S. , Cattaneo, M. D. , & Titiunik, R . (2014). Robust nonparametric confidence intervals for regression-discontinuity designs. Econometrica, 82(6), 2295-2326. http://dx.doi.org/10.3982/ECTA11757
» http://dx.doi.org/10.3982/ECTA11757 -
De Paola, M., Ponzo, M., & Scoppa, V. (2013). Class size effects on student achievement: Heterogeneity across abilities and fields. Education Economics, 21 (2), 135-153. http://dx.doi.org/10.1080/09645292.2010.511811
» http://dx.doi.org/10.1080/09645292.2010.511811 -
Finn, J. D., & Achilles, C. M. (1990). Answers and questions about class size: A statewide experiment. American Educational Research Journal, 27(3), 557-577. http://dx.doi.org/10.3102/00028312027003557
» http://dx.doi.org/10.3102/00028312027003557 - Folger, J., & Breda, C. (1989). Evidence from Project STAR about class size and student achievement. Peabody Journal of Education, 67(1), 17-33.
-
Funkhouser, E. (2009). The effect of kindergarten classroom size reduction on second grade student achievement: Evidence from California. Economics of Education Review, 28(3), 403-414. http://dx.doi.org/10.1016/j.econedurev.2007.06.005
» http://dx.doi.org/10.1016/j.econedurev.2007.06.005 -
Hahn, J., Todd, P., & Van der Klaauw, W. (2001). Identification and estimation of treatment effects with a regression-discontinuity design. Econometrica, 69(1), 201-209. http://dx.doi.org/10.1111/1468-0262.00183
» http://dx.doi.org/10.1111/1468-0262.00183 -
Hoxby, C. (2000, agosto). Peer effects in the classroom: Learning from gender and race variation (Working Paper). National Bureau of Economic Research (NBER). http://dx.doi.org/10.3386/w7867
» http://dx.doi.org/10.3386/w7867 - Imbens, G. W., & Lemieux, T. (2008). Regression discontinuity designs: A guide to practice. Journal of Econometrics, 142(2), 615-635.
-
Jepsen, C., & Rivkin, S. (2009). Class size reduction and student achievement the potential tradeoff between teacher quality and class size. Journal of Human Resources, 44(1), 223-250. http://dx.doi.org/10.3368/jhr.44.E223
» http://dx.doi.org/10.3368/jhr.44.E223 -
Krueger, A. B. (1999). Experimental estimates of education production functions. The Quarterly Journal of Economics, 114(2), 497-532.http://dx.doi.org/10.1162/003355399556052
» http://dx.doi.org/10.1162/003355399556052 -
Krueger, A. B., & Whitmore, D. M. (2001). The effect of attending a small class in the early grades on college-test taking and middle school test results: Evidence from Project STAR. The Economic Journal, 111(468), 1-28. http://dx.doi.org/10.1111/1468-0297.00586
» http://dx.doi.org/10.1111/1468-0297.00586 -
Lee, D. S., & Lemieux, T. (2010). Regression discontinuity designs in economics. Journal of Economic Literature, 48(2), 281-355. http://dx.doi.org/10.1257/jel.482.281
» http://dx.doi.org/10.1257/jel.482.281 -
Leuven, E., Oosterbeek, H., & Ronning, M. (2008). Quasi-experimental estimates of the effect of class size on achievement in Norway. The Scandinavian Journal of Economics, 110(4), 663-693. http://dx.doi.org/10.1111/j.1467-9442.2008.00556.x
» http://dx.doi.org/10.1111/j.1467-9442.2008.00556.x -
McCrary, J. (2008). Manipulation of the running variable in the regression discontinuity design: A density test. Journal of Econometrics, 142(2), 698-714. http://dx.doi.org/10.1016/j.jeconom.2007.05.005
» http://dx.doi.org/10.1016/j.jeconom.2007.05.005 - Oliveira, J. M. d. (2010). Custo-efetividade de políticas de redução do tamanho da classe e ampliação da jornada escolar: Uma aplicação de estimadores de matching.
-
Porter, J. (2003). Estimation in the regression discontinuity model CiteSeer. http://dx.doi.org/10.E1.133.540
» http://dx.doi.org/10.E1.133.540 -
Rivkin, S. G., Hanushek, E. A., & Kain, J. F. (2005). Teachers, schools, and academic achievement. Econometrica, 73(2), 417-458. http://dx.doi.org/10.1111/j.1468-0262.2005.00584.x
» http://dx.doi.org/10.1111/j.1468-0262.2005.00584.x -
Sapelli, C.,& Illanes, G. (2016). Class size and teacher effects in higher education. Economics of Education Review, 52,19-28. http://dx.doi.org/10.1016Zj.econedurev.2016.01.001
» http://dx.doi.org/10.1016Zj.econedurev.2016.01.001 - Word, E. R., et al. (Orgs.). (1990). The State of Tennessee’s Student/Teacher Achievement Ratio (STAR) Project: Technical report (1985-1990) ERIC.
Datas de Publicação
-
Publicação nesta coleção
16 Out 2020 -
Data do Fascículo
Jul-Sep 2020
Histórico
-
Recebido
23 Fev 2019 -
Aceito
15 Jan 2020