Diferencial de desempenho dos estudantes cotistas no Exame Nacional de Desempenho de Estudantes: evidências sobre as instituições de ensino superior federais

DESEMPEÑO DIFERENCIAL DE LOS ESTUDIANTES CON CUOTAS EN EL EXAMEN NACIONAL DE RENDIMIENTO ESTUDIANTIL: EVIDENCIA SOBRE INSTITUCIONES FEDERALES DE EDUCACIÓN SUPERIOR

RESUMO

Investiga-se o diferencial de desempenho entre os estudantes cotistas e não cotistas no Exame Nacional de Desempenho de Estudantes (ENADE) entre 2013 e 2015 com base em dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, assim como se há efeito heterogêneo entre os tipos de cotas disponíveis: étnico-racial, renda, escola pública, combinação e outros. Foram utilizados dois métodos: balanceamento por entropia e pareamento por escore de propensão para múltiplos tratamentos. Os resultados apontam que o efeito das cotas foi significativo, porém negativo sobre a nota bruta. No modelo de múltiplos tratamentos, constata-se efeito negativo e significante em cotas étnico-racial, renda e outros, contudo foram positivos e significativos os efeitos em escola pública e combinação. Conclui-se que o desempenho é afetado de maneira heterogênea a depender do tipo de cota. Ademais, em média, o cotista apresenta desempenho abaixo do não cotista no ENADE.

PALAVRAS-CHAVE: diferencial de desempenho; estudantes cotistas; Exame Nacional de Desempenho de Estudantes

RESUMEN

El diferencial de rendimiento entre los estudiantes con la cuota en el Examen Nacional de Rendimiento Estudiantil entre 2013-2015 se investiga utilizando datos del Instituto Nacional de Estudios Pedagógicos, como si hubiera un efecto heterogéneo entre los tipos de cuota disponibles: étnico-racial, ingresos, escuela pública, combinación y otros. Se utilizaron los métodos: Balance por entropía y correspondencia por puntaje de propensión para múltiples tratamientos. Los resultados muestran que el efecto de la cuota fue significativo, pero negativo en la calificación bruta. En el modelo de tratamiento múltiple, hay un efecto significativo y negativo sobre los orígenes étnicos y raciales, los ingresos y otros cuotas. Sin embargo, fueron positivos y significativos en las escuelas públicas y combinadas. Se concluye que el desempeño se ha visto afectado de manera heterogénea según el tipo de cuota. Además, en promedio, el cuotista tiene un desempeño inferior al no cuotista en ENADE.

PALABRAS CLAVE diferencial de rendimiento; cuota de estudiantes; Examen Nacional de Rendimiento Estudiantil

ABSTRACT

The performance differential between quota and non-quota students at the National Exam for Evaluating Student Achievement between 2013-2015 is investigated using data from the National Institute for Pedagogical Studies, as well as whether there is a heterogeneous effect between the types of available quotas: ethnic-racial, income, public school, combination, and others. Two methods were used: Balancing by Entropy and Matching by Propensity Score (Pareamento por Escore de Propensão) for multiple treatments. The results show that the quota effect was significant, but negative on the gross grade. In the multiple treatment model, there is a negative and significant effect on ethnic-racial, income, and others quotas. However, they were positive and significant in public and combination schools. It is concluded that the performance is affected in a heterogeneous way depending on the type of quota. In addition, on average, quota students perform below non-quota ones in ENADE.

KEYWORDS performance differential; quota students; National Exam for Evaluating Student Achievement

INTRODUÇÃO

As ações afirmativas¹ têm como objetivo tornar equânime a oportunidade entre os grupos de indivíduos que historicamente se encontram em situação desigual. Entendem-se por desigualdade a questão discriminatória e o acesso limitado a recursos. Destarte, conforme Mayorga e Souza (2012), essa política busca promover oportunidades aos grupos desfavorecidos, pretendendo conquistar uma sociedade mais igualitária.

A legitimação das políticas de ações afirmativas nas universidades brasileiras sucede a Lei nº 12.711, de 29 de agosto de 2012, conhecida como Lei de Cotas (Brasil, 2012). Essa legislação reserva, no mínimo, 50% das vagas em instituições federais para estudantes do ensino médio público, dos quais 50% devem ser de famílias com renda igual ou inferior a 1,5 salário mínimo per capita e os outros 50% para renda superior a 1,5 salário mínimo per capita. Com essa legislação, fica reservada uma porcentagem para estudantes autodeclarados pretos, pardos ou indígenas, considerando a representatividade destes nos estados. A Lei nº 13.409, de 28 de dezembro de 2016, incluiu nesse conjunto pessoas com deficiência.

A perda de meritocracia é frequentemente usada como argumento contra cotas educacionais (Santos, 2013; Queiroz e Santos, 2007). Além disso, alguns autores ressaltam também a queda da qualidade em razão dos efeitos dos pares, enquanto outros autores alegam que as cotas ferem a igualdade de direitos do cidadão (Daflon, Feres Junior e Campos, 2013; Bittar e Almeida, 2006). Portanto, cotas educacionais podem até mesmo incentivar mudanças quanto à obtenção de capital humano (Arabage e Souza, 2017).

Por outro lado, grupos que se manifestam a favor das cotas as consideram uma ferramenta de reparação e/ou prevenção à discriminação, visto que combate as desigualdades (Daflon; Feres Junior; Campos, 2013).

Na literatura, não há consenso sobre o gap de desempenho educacional, pois, enquanto alguns pesquisadores apontam que estudantes não cotistas apresentam maior desempenho (Velloso, 2005; Queiroz e Santos, 2007), outros afirmam que há diferencial de desempenho em alguns cursos ou em nenhum deles (Valente e Berry, 2017; Gutterres, 2015; Childs e Stromquist, 2015).

Neste artigo, investiga-se o desempenho dos estudantes cotistas e não cotistas nas universidades federais brasileiras com dados do Exame Nacional de Desempenho de Estudantes (ENADE) para os anos de 2013 a 2015. O objetivo é averiguar se existe diferença no desempenho desses estudantes e a magnitude desta, se houver diferencial. Além disso, explora-se a heterogeneidade dos grupos de cotistas² existentes para captar os diferentes efeitos dos tipos de cotas no ­ENADE. Considerando a falta de consenso na literatura em relação ao desempenho dos estudantes, esta pesquisa visa contribuir para o debate acerca da temática.

Na metodologia, aplicou-se o balanceamento por entropia com o pareamento por escore de propensão (PEP) (Watson e Elliot, 2016; Hainmueller, 2012), com o propósito de, assim, equilibrar com maior robustez as variáveis associadas ao desempenho no ENADE. Dado que o estudante tem a possibilidade de ingressar na instituição de ensino superior (IES) por meio da cota na qual se enquadre, realizou-se um modelo multinomial logit de múltiplos tratamentos, o qual considerou uma variável de tratamento categórica³ (Rosenbaum e Rubin, 1983).

Os resultados do procedimento aplicado por Watson e Elliot (2016) apontam que o efeito das cotas foi significativo, porém negativo sobre a nota bruta do ENADE. Para o modelo de múltiplos tratamentos, foi encontrado o efeito médio do tratamento sobre os tratados (EMTT), pelo qual se constatou que os tipos de cota étnico-racial (-3%), renda (-8,8%) e outros (-6,8%) mostraram efeitos negativos e significantes sobre a nota bruta geral no ENADE, no entanto as cotas de escola pública (3,2%) e combinação (2%) apresentaram efeitos positivos e significativos sobre a nota. Ou seja, estudantes que ingressaram por meio dessas cotas têm maior rendimento quando comparados ao grupo controle.

Em sequência, há mais quatro seções, além dessa introdução. A seção seguinte contém o referencial teórico, abrangendo aspectos teóricos e empíricos da literatura sobre as ações afirmativas nas universidades no Brasil e no exterior. Na continuação, apresenta-se a abordagem metodológica, seguida pela seção na qual são interpretados os resultados. Por fim, na última seção são apresentadas as considerações finais.

REVISÃO DA LITERATURA

AS AÇÕES AFIRMATIVAS NAS UNIVERSIDADES EM ÂMBITO INTERNACIONAL

O debate sobre as ações afirmativas nos Estados Unidos, por exemplo, é mais antigo do que no Brasil. Desde 1960, busca-se implementar medidas com o objetivo de minimizar a desigualdade de oportunidades enfrentada pelas minorias.

Os argumentos usados contra políticas afirmativas baseiam-se no desrespeito à meritocracia e à dissociação de raça como determinantes para o desempenho educacional. Muitos críticos às ações afirmativas omitem que, na história norte-americana, sempre houve discriminação positiva⁴ para os homens brancos (Oliven, 2007).

Na década de 1960, a Universidade da Califórnia foi a pioneira e introduziu as ações afirmativas com o intuito de promover a igualdade de oportunidade. ­Todavia, em 1977, iniciaram-se reclamações sobre a redução da qualidade na universidade. Assim, o processo de admissão da instituição, que combina o desempenho no ensino médio com o scholastic assessment test (SAT), tornou-se mais rigoroso, de maneira que a admissão dos estudantes por causa das ações afirmativas passou a ter peso reduzido (Moehlecke, 2004).

Sendo a primeira universidade a revogar a raça como critério de admissão nas universidades, na segunda metade da década de 1990, a Universidade da Califórnia pôde verificar, em 2001, que a representatividade dos negros atingiu níveis semelhantes à dos anos 1960. Em 1996, também passou a ser encerrada a questão racial na Universidade do Texas, que começou o regime de porcentagem⁵, similarmente adotado pela Universidade da Califórnia e na Flórida (Cortes, 2010; Dickson, 2006; Moehlecke, 2004). A porcentagem utilizada para admissão na Universidade da Califórnia, 4%, é bem menor do que a da Universidade do Texas, 10%, enquanto na Flórida, com o programa intitulado Florida’s Talented 20 Program, os 20% dos melhores alunos da turma do ensino médio são admitidos em uma universidade pública do estado (Hinrichs, 2012).

O regime de porcentagem não apresenta os mesmos resultados das ações afirmativas para os negros, mas foi capaz de aumentar a representatividade destes nas universidades (Moehlecke, 2004; Dickson, 2006). Ainda sobre os Estados Unidos, tem-se que, em Washington e Nebraska, os eleitores votaram pelo fim das ações afirmativas (Silva, 2014; Hinrichs, 2012).

Assim como nos Estados Unidos, a introdução de ações afirmativas na Malásia tem afetado o interesse pelo próprio ingresso na universidade de maneiras diferentes tanto para cotistas quanto para não cotistas. O governo malaio iniciou, em 1969, o que chamou de nova política econômica, que, entre outros aspectos (trabalhista, econômico)⁶, incluía o balanceamento racial no acesso à educação e o fim do acesso às universidades com base no desempenho individual. Ou seja, o governo tentava garantir o acesso à educação superior aos malaios em relação às minorias chinesa e indiana no país (Sowell, 2017).

O ingresso preferencial tanto na educação como no emprego pode gerar um sentimento de futuro garantido aos malaios, reduzindo o interesse pela melhor performance entre cotistas. Se, por um lado, a minoria chinesa foi obrigada a melhorar sua performance educacional e profissional, uma vez que as vagas eram escassas, por outro os malaios se sentiam menos pressionados. Houve também alteração no incentivo de quem não era beneficiado pelas cotas, por causa da questão do mérito envolvida, o que culminou com a saída de dezenas de milhares de chineses para estudar em Cingapura (Horowitz, 1985).

AS AÇÕES AFIRMATIVAS NAS UNIVERSIDADES BRASILEIRAS

Considerando as especificidades de cada universidade, alguns estudos foram realizados a fim de obter uma análise mais precisa sobre algumas IES brasileiras. Nesse contexto, na Universidade de Brasília (UnB), na Universidade Estadual de Campinas (Unicamp) e na Universidade Federal da Bahia (UFBA), por meio do Índice Diferencial de Desempenho (IDD), constatou-se que as médias entre os alunos cotistas e não cotistas se mostraram semelhantes, e, portanto, o escore no vestibular não deve ser usado unicamente como método de previsão do desempenho do discente na IES (Childs e Stromquist, 2015). Grupos contrários às cotas ressaltam que esse resultado se deve à qualidade de algumas escolas públicas, como os institutos federais e escolas militares. Os estudantes que frequentam essas instituições elevam a média do grupo e levam vantagem no ingresso universitário na UFBA (Guimarães et al., 2010).

Levando em conta o primeiro semestre dos cursos na UnB, um estudo constatou que os estudantes cotistas e não cotistas apresentaram média com diferenças insignificantes, apontando que essa diferença de pontuação é maior na seleção do que no decorrer do curso (Cardoso, 2008).

Na UFBA, alunos não cotistas exibiram rendimento superior em 13 dos 48 cursos analisados, utilizando-se o coeficiente de rendimento (CR)⁷. Já os cotistas tiveram maior rendimento nas áreas de artes e humanidades. Todavia, vale destacar que esse resultado está intimamente ligado a cursos denominados de baixo prestígio⁸. Além disso, alunos com origem em escola privada, independentemente da cor/raça, têm melhores escores e rendimento do que os alunos da rede pública (Peixoto et al., 2016; Queiroz e Santos, 2007).

Na UnB, também foi constatada grande representatividade dos alunos cotistas nas áreas de artes e humanidades. Verificou-se grande número de estudantes cotistas inscritos, porém a efetivação é superior entre os não cotistas (Cardoso, 2008). Em 2004, por meio do Argumento Final (AF)⁹, viu-se que a demanda dos cotistas se concentra nos cursos menos competitivos, gerando autosseleção. Além disso, nos cursos mais demandados, as porcentagens de mães de alunos com maior escolaridade e de estudantes do ensino privado são mais elevadas (Velloso, 2005).

Quanto à influência da educação parental para o ingresso na universidade, ao analisar universidades com e sem cotas, observou-se que esse elemento exerce menor influência em universidades nas quais a lei de cotas foi implementada (Arabage e Souza, 2017). Ademais, entre 2004 e 2012, constatou-se, nos ciclos do ENADE, a diminuição da influência da escolaridade dos pais para que um estudante ingresse no ensino superior, imputando alteração do perfil socioeconômico dos estudantes do ensino superior no Brasil (Ristoff, 2014). Percebe-se que os cursos de alta demanda, como Medicina e Odontologia, são compostos principalmente de não cotistas, corroborando com o resultado encontrado por Velloso (2005) e Waltenberg e Carvalho (2012). Mendes Junior (2014) afirma que, embora cotistas da Universidade do Estado do Rio de Janeiro (UERJ) tenham desempenho pior em termos de CR, eles se saem melhor em relação às taxas de graduação e de evasão dos cursos, pois apresentam maior persistência na graduação.

Nas instituições estaduais, federais e privadas, quanto maior o prestígio do curso, menor é a participação dos estudantes cotistas, conforme dados do ENADE 2008. Quanto ao desempenho por raça, alguns autores apontam que os estudantes negros apresentam desempenho inferior, de 3 e 5% nas instituições públicas e privadas, respectivamente, quando comparados aos estudantes brancos (Waltenberg e Carvalho, 2012). Outros pesquisadores ressaltam que os “alunos claros” obtêm médias mais elevadas somente nas carreiras de alto prestígio, e, no restante das carreiras, o rendimento de “alunos escuros” é superior (Velloso, 2005). Velloso (2005) afirma que as ações afirmativas na UnB dobraram a possibilidade de negros ingressarem no ensino superior. Resultado semelhante foi encontrado por Cardoso (2008) para alguns cursos.

Nessa perspectiva de análise do desempenho dos estudantes no ENADE, os resultados sugerem que, nas IES tanto públicas como privadas, os cotistas de escola pública e pela combinação da cota com outra ação afirmativa obtêm escores maiores do que os que não são cotistas. Além disso, estudantes cotistas, por causa da baixa renda, apresentam situação diferente dos demais cotistas, tendo em vista que estes mostraram desempenho inferior aos outros estudantes em ambos os tipos de instituições (Valente e Berry, 2017; Gutterres, 2015).

Outros aspectos não ligados a desempenho também são analisados por pesquisadores. Na Universidade Federal de Sergipe (UFS), observou-se aumento da autoestima dos alunos cotistas, embora haja tensões de cunho econômico de cotistas com não cotistas e professores (Neves, Faro e Schmitz, 2016). Embates entre discentes e docentes também foram constatados no Conselho Universitário da Universidade Federal do Rio Grande do Sul (UFRGS), ao discutir as políticas compensatórias, como, por exemplo, reserva de vagas no ensino superior, ampliando o debate sobre a relação Estado, justiça social e democracia (Batista, 2015).

BASE DE DADOS E PROCEDIMENTOS METODOLÓGICOS

BALANCEAMENTO POR ENTROPIA COM ESCORE DE PROPENSÃO

O objetivo da avaliação quantitativa de políticas públicas é verificar se o grupo de estudantes que receberam algum tratamento, como os cotistas (grupo de tratamento), se diferencia de alguma forma em relação ao grupo que não recebeu o tratamento, chamado de grupo controle. A melhor maneira para fazer essa comparação é que o cenário do grupo dos tratados e do controle seja o mais parecido possível em termos de variáveis observadas, excetuando a variável de resultado. No caso deste estudo, a variável de resultado é a nota do estudante no ENADE. Métodos como o vizinho mais próximo ou o escore de propensão são bastante comuns, porém, em algumas situações, eles não conseguem equilibrar adequadamente todas as distribuições de variáveis observadas (Hainmueller e Xu, 2013).

Introduzido por Rosenbaum e Rubin (1983), o procedimento de pareamento por PEP compara o grupo de tratados com o grupo controle visando determinar um contrafactual por meio da semelhança na probabilidade de receber o tratamento, de modo que os vieses de seleção sejam amenizados em razão dos ajustes na diferença entre os grupos.

O método do balanceamento por entropia objetiva corrigir essas falhas de equilíbrio, dado que, na entropia¹⁰, se atribuem pesos¹¹ que satisfazem a um grande conjunto de condições para atingir o nível de equilíbrio desejado. Esse método gera ponderações aos dados, possibilitando o equilíbrio ponderado em todos os momentos das distribuições da covariável de tratamento e de controle, isto é, média, variância e assimetria, respectivamente, primeiro, segundo e terceiro momentos. Por consequência, o uso eficiente dos pesos evita possíveis perdas de informações relevantes.

Com os propósitos de equilibrar adequadamente todas as distribuições das covariáveis e reduzir o viés de seleção, isto é, obter um grupo ideal de comparação aos tratados, utilizou-se o balanceamento por entropia conjuntamente com o PEP.

No pareamento por PEP, as unidades de controle recebem um peso calculado em função desse PEP, o qual é comumente estimado por meio de uma regressão probit ou logit. Se esse modelo estiver corretamente especificado, então o peso estimado assegura que a distribuição da covariável das unidades de controle reponderadas corresponda à distribuição no grupo de tratamento.

No entanto, na prática, essa abordagem muitas vezes não consegue equilibrar conjuntamente todas as covariáveis. Em contraste com outros métodos de matching, o balanceamento por entropia garante alto equilíbrio das covariáveis entre os grupos de tratamento e controle, mesmo em amostras pequenas.

Hainmueller (2012) desenvolveu esse método, o qual permite ponderar um conjunto de dados tais que as distribuições das variáveis nas observações reponderadas satisfaçam a um conjunto de condições especiais de momentos, de forma que exista equilíbrio exato sobre o primeiro (média), o segundo (variância) e o terceiro (assimetria) momentos das distribuições de variáveis independentes nos grupos de tratamento e controle. Esse método permite que o pesquisador especifique um nível de equilíbrio desejável para as covariadas, usando um conjunto de condições associadas aos momentos da distribuição. A vantagem desse método sobre os algoritmos logit/probit reside na capacidade de implementar diretamente o equilíbrio exato.

A ideia por trás do balanceamento por entropia é encontrar ponderações para as observações que minimizem a distância métrica entre os dois grupos, de tratamento e controle, considerando as restrições de momento (média, variância e assimetria), a normalidade e a não negatividade.

O método dá-se da seguinte forma. Considere uma amostra com n ₁ observações pertencentes ao grupo dos tratados e n ₀ aos estudantes do grupo controle, os quais foram selecionados aleatoriamente de uma população de tamanho N ₁ e N ₀ , respectivamente (n ₁ ≤ N ₁ en₀ ≤ N ₀ ). A D _i ∈ {1,0} é uma variável de tratamento binária, a qual assume o valor igual a 1 se o estudante i pertencer ao tratamento e 0 se pertencer ao grupo controle. X consiste em uma matriz que contém as observações de J variáveis exógenas de pré-tratamento, e X _ij corresponde ao valor da j-ésima covariada do aluno i, tal que X _i = [X _i1 , X _i2 , ..., X _iJ ] se refere ao vetor de características do estudante i e X _j ao vetor coluna com j-th característica (covariada).

O balanceamento por entropia generaliza a abordagem de ponderação do PEP ao estimar os pesos diretamente de um conjunto de restrições de equilíbrio que exploram o conhecimento do pesquisador sobre os momentos de amostra. Considere w _i o peso do balanceamento por entropia escolhido para cada unidade de controle, o qual foi encontrado pelo seguinte esquema de reponderação que minimiza a distância métrica de entropia (Equação 1):

$\begin{array}{c}minH\\ wi\end{array}\left(w\right)={\sum }_{\left\{iVD=0\right\}}^{n_0}h\left(w_i\right)$ (1)

A Equação 1 está sujeita às restrições de equilíbrio (Equação 2), normalização (Equação 3) e não negatividade (Equação 4):

${\sum }_{\left\{i|D=0\right\}}{w}_i{c}_{ri}\left(X_i\right)=m_{r}comr\in 1,\dots ,R)$ (2)

${\sum }_{\left\{i|D=0\right\}}{w}_i=1$ (3)

$\omega i\ge 0\mathrm{}\mathrm{p}\mathrm{a}\mathrm{r}\mathrm{a}\mathrm{}\mathrm{t}\mathrm{o}\mathrm{d}\mathrm{o}\mathrm{}\mathrm{i},\mathrm{}\mathrm{t}\mathrm{a}\mathrm{l}\mathrm{}\mathrm{q}\mathrm{u}\mathrm{e}\mathrm{}D=0$ (4)

Em que:

• H(ω) =  a função agrupada da distância métrica entre os grupos de tratamento e controle;
• h(.) =  distância métrica para cada observação desses grupos.

Esses pesos w _i são ponderações dadas às unidades de observação encontradas por meio desse método, que deixa os grupos de tratamento e controle semelhantes em termos de média, variância e assimetria. O esquema de reponderação consiste em três características. Em primeiro lugar, a função h(.) é uma distância métrica escolhida das classes gerais de estimadores empíricos de discrepância mínima definidos por Read e Cressie (1988). Os autores optaram por usar o método de Kullback (1959), definido por $h\left(w_i\right)=w_i\log \left(w_i/q_i\right)$, com peso estimado w _i e peso base q _i 1/n ₀ .

Inicialmente, escolhe-se a covariada que será incluída na reponderação. Para cada covariada, especifica-se um conjunto de restrições de balanceamento (Equação 2) para equiparar os momentos das distribuições das covariadas entre os grupos de tratamento e controle reponderados. As restrições de momentos podem ser a média (primeiro momento), a variância (segundo momento) e a assimetria (terceiro momento). Uma restrição típica do balanceamento é formulada de tal forma que m _r contenha o momento de uma covariada específica X _j para o grupo de tratamento, e a função de momento para o grupo de controle é especificada como: $c_{ri}\left(X_{ij}\right)=X_{ij}^r$ ou $c_{ri}\left(X_{ij}\right)={\left(X_{ij}-{\mu }_j\right)}^r$, com média ${\mu }_j.c_{ri}\left(X_i\right)=m_r$ descreve um conjunto de restrições R impostas aos momentos das covariadas no grupo de controle reponderado.

Dessa maneira, o balanceamento por entropia procura, para um conjunto de estudantes, pesos w _i , os quais minimizam a Equação 1, a distância de entropia entre W, sujeita às restrições de momento na Equação 2, a restrição de normalização na Equação 3, a qual afirma que a soma dos pesos é igual a 1, e a restrição de não negatividade (Equação 4), que impõe a inexistência de pesos negativos.

PAREAMENTO POR ESCORE DE PROPENSÃO COM MÚLTIPLOS TRATAMENTOS

No processo de seleção para ingresso na IES, o estudante tem a possibilidade de optar por ingressar via cotas, haja vista suas condições. Para encontrar o efeito da heterogeneidade do tipo de cota sobre a nota bruta no ENADE, considerou-se uma nova variável de tratamento, a qual assumirá múltiplos valores.

Utilizou-se a metodologia do PEP com múltiplos tratamentos, dado que a variável de tratamento é definida como categórica. A metodologia abordada por Imbens (2000) para o PEP indica uma situação em que o aluno i possui múltiplos tratamentos em razão dos diferentes tipos de cota.

Sendo T _i (t) uma função de tratamento, em que t indica o nível de tratamento para cada tipo de cota, t =1, 2, ...k; assim, T _i (0) consiste na categoria em que o estudante i não ingressou por meio de cotas.

Para a identificação de múltiplos tratamentos, Rosenbaum e Rubin (1983) estabelecem que a fraca suposição de independência condicional (FSIC) necessita da interdependência de cada tratamento com cada um dos resultados potenciais Y(t), bem como da independência local entre cada resultado e o tratamento de interesse, sendo este independente de D(t) - D(t) é um indicador binário, enquanto T indica nível de tratamento. Ao analisar um estudante pertencente ao tratamento T _i (t), desconsideram-se as demais categorias, passando a avaliar T _i (t) como uma variável binária. Ademais, na Equação 5, X corresponde ao vetor de variáveis de pré-tratamento. Por exemplo, neste estudo, existem cinco possibilidades de cota: t = 1, 2, 3, 4, 5, como descrito no Quadro 1. Supõe-se que um aluno i ingressou por critério étnico-racial (t = 1), então não se levam mais em conta as demais categorias, passando a avaliar T _i (t) como uma variável binária D(t). Nesse exemplo, D(t) = 1 se o aluno ingressou por critério étnico-racial e D(t) = 0 se não ingressou por cotas.

Dessa forma, a FSIC é equivalente a:

$D\left(t\right)\perp Y\left(t\right)|X$ (5)

Quadro 1 -
Variáveis na amostra.

Variável	Descrição
Tratamentos
Cotista	1 se ingressou por meio da política de cotas; 0 caso contrário
Cotas	0 se não ingressou por meio de cotas; 1 se ingressou por critério étnico-racial; 2 se ingressou por critério de renda; 3 se ingressou por critério de escola pública ou particular com bolsa; 4 se ingressou por combinação de critérios e 5 se ingressou por outro critério.
Resultado
Nota_bruta_geral	Nota total no ENADE
Covariadas
Sexo	1 se masculino; 0 se feminino
Raça	1 se negro; 0 se não negro
Est_civil	1 se solteiro; 0 se outro
Ens_médio	1 se todo ou a maior parte ocorreu em escola pública; 0 caso contrário
Tipo_ensmed
Tradicional	1 se tradicional; 0 caso contrário
Profissionalizante técnico	1 se profissionalizante técnico; 0 caso contrário
Bolsa	1 se bolsista; 0 caso contrário
Emprego	1 se trabalha 40 horas semanais ou mais; 0 caso contrário
Educ_mãe1	1 se mãe não possui nenhuma escolaridade ou até o 5º ano; 0 caso contrário
Educ_mãe2	1 se mãe possui graduação; 0 caso contrário
Educ_pai1	1 se pai não possui nenhuma escolaridade ou até o 5º ano; 0 caso contrário
Educ_pai2	1 se pai possui graduação; 0 caso contrário
Rend_fam	1 se renda mensal da família for até 1,5 salário mínimo; 0 caso contrário
Idade	Idade em anos
Idade1	1 se tem idade entre 16 e 25 anos
Idade2	1 se tem idade entre 26 e 40 anos
Tempo	Diferença de anos entre a realização do ENADE e o ano de ingresso na graduação
Prestígio	1 se o curso que o aluno está é considerado de prestígio; 0 caso contrário
Região do curso
Norte	1 se localizado no Norte; 0 caso contrário
Nordeste	1 se localizado no Nordeste; 0 caso contrário
Sul	1 se localizado no Sul; 0 caso contrário
Centro-Oeste	1 se localizado no Centro-oeste; 0 caso contrário

• ENADE: Exame Nacional de Desempenho de Estudantes.
• Fonte: com base nos dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) de 2013 a 2015.

A Equação 5 indica que o tratamento é ortogonal, ou seja, é não correlacionado com a variável de resultado, condicionada às variáveis de pré-tratamento X. Como o objetivo é a estimação da média do resultado potencial, E[Y(t)], deve-se garantir que a média dos Y _i (t) esteja representada na subamostra das observações que recebem o tratamento D _i (t) = 1, ainda quando D _i (t) = 0, e a variável Y _i (t) seja sempre desconhecida.

Dadas a condicionalidade das variáveis explicativas (X) e a falta de relevância de outros resultados potenciais definidos pela FSIC, estima-se o resultado médio condicionado do tratamento com base em médias condicionais mediante a Equação 6:

$E\left[Y\left(t\right)\right]=E\left[E\left[Y\left(t\right)|X\right]\right]$ (6)

A Equação 6 mostra que a média da variável de resultado Y(t) (nota geral do ENADE) é calculada com base nas médias condicionadas às variáveis de pré-tratamento.

Assim, é possível definir o escore de propensão generalizado (EPG) como a probabilidade condicional de um particular nível de tratamento, considerando as variáveis observáveis, que se iguala à esperança condicional da variável de tratamento binário, de acordo com Imbens (2000), podendo ser representado pela Equação 7:

$e\left(t,x\right)=Pr\left(T=t|X=x\right)=E\left[D\left(t\right)|X=x\right]$ (7)

A Equação 7 aponta para a probabilidade de o indivíduo receber o tratamento, dadas as variáveis de pré-tratamento, como, por exemplo, se o aluno concluiu todo ou a maior parte do ensino médio em escola pública, a probabilidade de ele ser cotista na universidade.

Considerando a FSIC e o EPG, essa suposição pode ser representada pela Equação 8:

$D\left(t\right)\perp Y\left(t\right)\left|e\right(t,x)$ (8)

A Equação 8 é uma nova suposição que o método faz. Inicialmente, a condicionalidade dá-se nas variáveis de pré-tratamento (Equação 5). Em seguida, essa condicionalidade ocorre na probabilidade de receber o tratamento, levando-se em conta essas variáveis (Equação 8). Dado o EPG para múltiplos tratamentos, expressa-se a suposição de sobreposição pela Equação 9:

$D\left(t\right)\perp X\left|e\right(t,x)$ (9)

As Equações 8 e 9 significam que o tratamento é independente dos resultados potenciais e independente também das variáveis de pré-tratamento.

Mudanças no nível de tratamento implicam mudanças no argumento condicionante. Assim, faz-se necessário condicionar a todo o conjunto de K + 1 escores, {e(t,x)} ∈ T. O k representa o total de tratamentos observados - neste estudo, k = 5. K +1 significa considerar todos os tratamentos mais o grupo que não é tratado.

A metodologia de múltiplos tratamentos é semelhante ao caso binário, em que se estima de início o PEP, e(t, x) (Equação 7), em um modelo que possua múltiplos tratamentos, o que significa aqui vários tipos de cota. Em seguida, estima-se o efeito do nível de tratamento t sobre a variável de resultado (nota do ENADE). O efeito é estimado por meio do pareamento de Kernel¹² para cada nível de tratamento em relação aos demais. No que se refere à análise individual dos níveis de tratamento, tem-se que D(t) = 1 para estudante pertencente a tratamento t, enquanto D(t) = 0 para estudante pertencente a outra categoria.

VARIÁVEIS E BASES DE DADOS

A fim de verificar o desempenho dos estudantes cotistas no ENADE no período de 2013 a 2015, construiu-se uma amostra com dados que se referem ao quarto ciclo do exame. Cada ciclo da prova corresponde a um triênio de avaliação¹³, de modo que, ao final deste, a maioria dos cursos seja avaliada.

Os dados utilizados foram disponibilizados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Em consonância com a Lei de Cotas nº 12.711, não foram consideradas na amostra as IES estaduais nem as privadas.

Empregaram-se como variáveis explicativas: sexo do aluno, raça, idade, ensino médio (público ou privado), emprego, educação parental e renda familiar (Waltenberg e Carvalho, 2012; Melguizo e Wainer, 2016; Arabage e Souza, 2017; Valente e Berry, 2017). A variável binária indica dois grupos: tratados (cotistas) e controle (estudantes com características semelhantes às dos cotistas, porém não cotistas).

A variável prestígio foi criada com base nos cursos que obtiveram nota de corte no Exame Nacional do Ensino Médio (ENEM) acima de 700 pontos nas maiores universidades brasileiras. A variável tempo representa a diferença entre o ano de realização do ENADE e o ano de ingresso na graduação, visando captar o impacto da permanência sobre a nota do estudante. Variáveis geográficas também foram consideradas no modelo. No Quadro 1, estão descritas as variáveis utilizadas.

RESULTADOS

ANÁLISE DESCRITIVA

A Tabela 1 traz as estatísticas descritivas da variável de resultado, considerando o tipo de cota. Constata-se que o critério escola pública alcançou a maior média na nota bruta, 50,22, seguida por combinação, 49,85, enquanto outros teve a menor média, 41,56.

Tabela 1 -
Estatística descritiva da variável de resultado por tipos de cota.

Tipos de cota	Nota Bruta ENADE
	2013-2015		2013		2014		2015
	Média	DP	Média	DP	Média	DP	Média	DP
Étnico-racial	46,311	15,987	47,530	17,823	44,491	15,444	49,186	15,539
Renda	45,212	15,534	48,156	16,709	43,629	15,320	47,901	15,067
Escola pública	50,222	14,875	51,841	15,029	48,816	15,027	52,456	14,093
Combinação	49,849	15,327	50,028	15,670	48,434	15,210	52,389	15,084
Outros	41,564	14,883	47,312	13,974	40,630	14,691	46,702	15,372

• ENADE: Exame Nacional de Desempenho de Estudantes; DP: desvio padrão.
• Fonte: com base nos dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) de 2013 a 2015.

Na Tabela 2, tem-se as estatísticas descritivas da variável de resultado e de controle para os estudantes cotistas e não cotistas nas IES federais para os anos de 2013 a 2015. Os estudantes não cotistas apresentam maior média na nota bruta do exame em todo o período, sendo a diferença destes para a nota dos estudantes cotistas 1,4 ponto em 2013, 2 pontos em 2014 e 1,7 ponto em 2015.

Tabela 2 -
Estatísticas descritivas das variáveis da amostra por tipos de cota e por ano.

Variáveis	2013-2015				2013				2014				2015
	Cotistas		Não cotistas		Cotistas		Não cotistas		Cotistas		Não cotistas		Cotistas		Não cotistas
	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP
Nota bruta ENADE	48,078	15,431	50,111	15,597	50,568	15,602	52,061	15,005	46,280	15,407	48,254	15,678	51,410	14,667	53,153	15,178
Sexo	0,37849	0,48502	0,45081	0,49757	0,29506	0,45613	0,34684	0,47597	0,38490	0,48658	0,48001	0,49960	0,40197	0,49032	0,45585	0,49805
Raça	0,16282	0,36921	0,07751	0,26740	0,14763	0,35478	0,05775	0,23329	0,16451	0,37074	0,08848	0,28399	0,16575	0,37188	0,06521	0,24690
Est_civil	0,75533	0,42989	0,79813	0,40139	0,86150	0,34546	0,89405	0,30777	0,71461	0,45160	0,76136	0,42625	0,80876	0,39329	0,81756	0,38620
Ens. Médio	0,94400	0,22990	0,48087	0,499636	0,91927	0,27244	0,36377	0,48109	0,94823	0,22155	0,55657	0,46679	0,94500	0,22799	0,38181	0,48583
Tipo Tradicional	0,76083	0,42658	0,84560	0,36132	0,86523	0,34152	0,91133	0,28427	0,71546	0,45120	0,80854	0,39345	0,82714	0,37814	0,88793	0,31544
Tipo Prof. Técnico	0,09572	0,29422	0,07690	0,26644	0,08904	0,28485	0,06190	0,24099	0,08545	0,27955	0,08229	0,27481	0,12520	0,33097	0,07475	0,26299
Bolsa	0,48327	0,49972	0,46048	0,49843	0,64046	0,47992	0,61473	0,48666	0,50653	0,49996	0,48500	0,49977	0,34875	0,47660	0,28740	0,45255
Emprego	0,24525	0,43024	0,23174	0,42195	0,07010	0,25535	0,05840	0,23450	0,25561	0,43621	0,24392	0,42944	0,30236	0,45931	0,32898	0,46985
Educ_mãe1	0,36090	0,48026	0,20639	0,40471	0,26551	0,44166	0,12582	0,33166	0,41417	0,49259	0,25739	0,43720	0,27018	0,44408	0,14091	0,34794
Educ_mãe2	0,10449	0,30590	0,22715	0,41899	0,13766	0,34459	0,26841	0,44314	0,09000	0,28620	0,19961	0,39971	0,12571	0,33154	0,26414	0,44088
Educ_pai1	0,45761	0,49820	0,27087	0,44441	0,37206	0,48342	0,18865	0,39124	0,51468	0,49979	0,32731	0,46923	0,35230	0,47771	0,19319	0,39481
Educ_pai2	0,08661	0,28127	0,20869	0,40637	0,10980	0,31269	0,24437	0,42972	0,07222	0,25886	0,18185	0,38523	0,11240	0,31588	0,24958	0,43277
Rend_fam	0,24364	0,42928	0,13855	0,34548	0,24070	0,42756	0,12143	0,32663	0,27344	0,44573	0,16962	0,37530	0,16879	0,37459	0,07552	0,26376
Idade1	0,53984	0,49841	0,59897	0,49010	0,67391	0,46884	0,72272	0,44766	0,47887	0,49956	0,54303	0,49814	0,63173	0,48236	0,64470	0,47861
Idade2	0,37164	0,48325	0,34260	0,47458	0,29798	0,45743	0,26012	0,43871	0,40461	0,49082	0,38022	0,48544	0,32251	0,46747	0,31130	0,46303
Tempo	3,9055	1,2225	4,2997	1,5709	3,8748	1,0572	4,1951	1,2476	3,8838	1,2346	4,3501	1,6511	3,9759	1,2621	4,2536	1,5779
Prestígio	0,00062	0,02505	0,00137	0,03703	0	0	0,00189	0,04349	0,00029	0,01723	0,006255	0,02500	0,00177	0,04208	0,00281	0,05300
Região Norte	0,18750	0,39032	0,13562	0,34239	0,09384	0,29165	0,08436	0,27794	0,24486	0,43001	0,16130	0,36781	0,08554	0,27970	0,11056	0,31360
Região Nordeste	0,28213	0,45004	0,27837	0,44819	0,32343	0,46784	0,28975	0,45365	0,27250	0,44525	0,27549	0,44676	0,28703	0,45240	0,27704	0,44754
Região Sul	0,17164	0,37708	0,13906	0,34601	0,23144	0,42181	0,16332	0,36966	0,14524	0,35235	0,12902	0,33523	0,21061	0,40777	0,14577	0,35288
Região Centro-Oeste	0,06555	0,24751	0,09949	0,29932	0,07502	0,26346	0,11039	0,31338	0,06083	0,23902	0,09166	0,28855	0,07312	0,26035	0,11060	0,31364

• DP: desvio padrão; ENADE: Exame Nacional de Desempenho de Estudantes.

Como esperado, cotistas têm maior representatividade de negros (16,2%), de egressos de escolas públicas do ensino médio (94,4%) e de famílias com renda de até 1,5 salário mínimo (24,3%). Apenas 7,7% dos estudantes não cotistas são negros, 48% cursaram o ensino médio em escolas públicas e, em média, 13,8% das famílias dos não cotistas possuem renda de até 1,5 salário mínimo. Nota-se que os estudantes cotistas têm maior representatividade feminina, possuem pais com menor escolaridade e concluem suas graduações em menor tempo do que os não cotistas.

RESULTADOS DOS MODELOS

Resultados do modelo de balanceamento por entropia

As condições de momentos da distribuição das covariáveis de controle são apresentadas na Tabela 3. Observam-se diferenças significativas entre o grupo de tratados (cotistas) e o de controle (não cotistas) nos três momentos da distribuição. As variáveis que possuem distribuição mais semelhante entre tratados e controle são Idade1, uma vez que os dois grupos têm observações na faixa etária entre 16 e 25 anos, renda familiar de até 1,5 salário mínimo e dummy indicativa de um curso de prestígio. Com exceção dessas variáveis, a média, a variância e a assimetria de todas as outras são estatisticamente diferentes entre os grupos antes do balanceamento por entropia.

Tabela 3 -
Condições de momentos das covariadas antes do balanceamento por entropia.

Covariadas	Tratados			Controles			Diferenças			Valor p
	Média	Variância	Assimetria	Média	Variância	Assimetria	Média	Variância	Assimetria
Sexo	0,3787	0,2353	0,5002	0,4512	0,2476	0,1962	-0,0752	-0,0123	0,304	0,000
Raça	0,1627	0,1362	1,828	0,07748	0,07148	3,161	0,08522	0,06472	-1,333	0,000
Est_civil	0,7552	0,1849	-1,187	0,7979	0,1612	-1,484	-0,0427	0,0237	297	0,000
Ens. Médio	0,944	0,055284	-3,863	0,481	0,2496	0,07618	0,463	-0,19431	-3,863	0,000
Tipo Tradicional	0,7609	0,1819	-1,223	0,8456	0,1306	-1,912	-0,0847	0,0513	689	0,000
Tipo Prof. Técnico	0,09558	0,08645	2,751	0,07689	0,07098	3,176	0,01869	0,01547	425	0,000
Bolsa	0,4831	0,2497	0,06775	0,4602	0,2484	0,1597	0,0229	0,0013	-0,0919	0,000
Emprego	0,2455	0,1852	1,183	0,232	0,1782	1,27	0,0135	0,007	1,181	0,000
Educ_mãe1	0,361	0,2307	0,579	0,2065	0,1639	1,45	0,1545	0,0668	-0,871	0,048
Educ_mãe2	0,1045	0,09357	2,586	0,2271	0,1755	1,303	-0,1226	-0,08193	1,283	0,000
Educ_pai1	0,4577	0,2482	0,17	0,2709	0,1975	1,031	0,1868	0,0507	-1,030	0,007
Educ_pai2	0,08658	0,07909	2,94	0,2087	0,1651	1,434	-0,1221	-0,08601	-1,431	0,000
Rend_familiar	0,2436	0,1842	1,195	0,1385	0,1193	2,094	0,1051	0,0649	-899	0,483
Idade1	0,5396	0,2484	-0,1589	0,5987	0,2403	-0,4027	-0,0591	0,0081	0,2438	0,079
Idade2	0,372	0,2336	0,5297	0,3428	0,2253	0,6623	0,0292	0,0083	-0,1326	0,000
Tempo	3,906	01,495	0,8005	4,3	2,469	1,482	-0,394	-0,974	-1,481	0,000
Prestígio	0,0006292	0,0006289	39,83	0,001377	0,001375	26,89	0,00075	-0,00075	12,94	0,285
Região Norte	0,1876	0,1524	1,601	0,1357	0,1173	2,128	0,0519	0,0351	-527	0,000
Região Nordeste	0,2821	0,2025	0,9686	0,2785	0,2009	0,9884	0,0036	0,0016	0,7677	0,000
Região Sul	0,1714	0,1421	1,744	0,139	0,1197	2,804	0,0324	0,0224	-1,060	0,000
Região Centro-Oeste	0,06554	0,06124	3,511	0,0995	0,0896	2,676	-0,0339	-0,02836	835	0,000

Seguindo Hainmueller (2012), pode-se combinar o balanceamento por entropia com o PEP, de modo que a estimação dos PEP passa a considerar os pesos do balanceamento. Sendo assim, os Gráficos 1 e 2, ambos gerados no Stata Statistical Software, apresentam a diferença na distribuição linear desses escores antes e depois da utilização desse algoritmo. Verificando a sobreposição ajustada dos dois grupos, comprova-se que os escores se mostraram balanceados. Na Tabela 4, após o balanceamento por entropia, as diferenças entre as variáveis associadas ao desempenho no ENADE nos dois grupos passam a ser insignificantes, mostrando-se adequadamente balanceados.

Gráfico 1 -
Escore de propensão antes do balanceamento por entropia.

Gráfico 2 -
Escore de propensão após balanceamento por entropia.

Tabela 4 -
Condições de momentos das covariadas após o balanceamento por entropia.

Covariadas	Tratados			Controles			Diferenças			Valor p
	Média	Variância	Assimetria	Média	Variância	Assimetria	Média	Variância	Assimetria
Sexo	0,3787	0,2353	0,5002	0,3787	0,2353	0,5002	0	0	0	0,982
Raça	0,1627	0,1362	1,828	0,1627	0,1362	1,828	0	0	0	0,853
Est_civil	0,7552	0,1849	-1,187	0,7552	0,1849	-1,187	0	0	0	0,804
Ens. Médio	0,944	0,05284	-3,863	0,944	0,05284	-3,863	0	0	0	0,722
Tipo Tradicional	0,7609	0,1819	-1,223	0,7609	0,1819	-1,223	0	0	0	0,771
Tipo Prof. Técnico	0,09558	0,08645	2,751	0,09558	0,08645	2,751	0	0	0	0,813
Bolsa	0,4831	0,2497	0,06775	0,4831	0,2497	0,06775	0	0	0	0,971
Emprego	0,2455	0,1852	1,183	0,2455	0,1852	1,183	0	0	0	0,960
Educ_mãe1	0,361	0,2307	0,579	0,361	0,2307	0,579	0	0	0	0,907
Educ_mãe2	0,1045	0,09357	2,586	0,1045	0,09357	2,586	0	0	0	0,654
Educ_pai1	0,4577	0,2482	0,17	0,4577	0,2482	0,17	0	0	0	0,810
Educ_pai2	0,08658	0,07909	2,94	0,08659	0,07909	2,94	-0,00001	0	0	0,694
Rend_fam	0,2436	0,1842	1,195	0,2436	0,1842	1,195	0	0	0	0,831
Idade1	0,5396	0,2484	-0,1589	0,5396	0,2484	-0,1589	0	0	0	0,989
Idade2	0,372	0,2336	0,5297	0,372	0,2336	0,5297	0	0	0	0,871
Tempo	3,906	1,495	0,8005	3,906	1,495	0,8005	0	0	0	0,979
Prestígio	0,0006292	0,0006289	39,83	0,0006293	0,0006289	39,83	0,0000001	0	0	0,762
Região Norte	0,1876	0,1524	1,601	0,1876	0,1524	1,601	0	0	0	0,952
Região Nordeste	0,2821	0,2025	0,9686	0,2821	0,2025	0,9686	0	0	0	0,988
Região Sul	0,1714	0,1421	1,744	0,1714	0,1421	1,744	0	0	0	0,938
Região Centro-Oeste	0,06554	0,06124	3,511	0,06554	0,06124	3,511	0	0	0	0,667

O EMTT foi estimado considerando-se os PEP calculados com a ponderação pela entropia para a variável de resultado (Tabela 5). Constata-se que o efeito das cotas sobre a nota bruta geral foi negativo e significativo, com diferencial de 4%. Efetivamente, os estudantes cotistas, levando-se em consideração a média dos cursos no ENADE, obtêm nota abaixo da obtida pelos não cotistas em 2 pontos.

Tabela 5 -
Impacto das cotas sobre a nota do ENADE.

Variável de Resultado	Cotistas	Não cotistas	EMTT	(%)	DP	teste t
Nota bruta ENADE	48,079	50,117	-2,038	-4,06	0,10	-20,37

• ENADE: Exame Nacional de Desempenho de Estudantes; EMTT: efeito médio do tratamento sobre os tratados; DP: desvio padrão.

Essa diferença média de desempenho entre os dois grupos representa desvio padrão de 0,13, o que significa que um aluno cotista está, em média, no percentil 44, enquanto o não cotista fica em média no percentil 49 da distribuição de nota, entretanto é preciso levar em consideração que esse diferencial é impactado de maneira diferente a depender do tipo de cota. Essas heterogeneidades mostram que as ações afirmativas precisam ser analisadas por aspectos distintos.

Resultados do modelo com múltiplos tratamentos

Por meio do PEP, tenta-se mitigar o viés de seleção originado pelas variáveis observadas por intermédio do pareamento dos grupos mediante os escores estimados no modelo, de tal forma a simular um experimento aleatório. O PEP foi estimado como a probabilidade de o estudante pertencer a uma das categorias da variável cotas. Considerou-se como base para estimação desse modelo a categoria dos estudantes não cotistas. Os resultados do modelo multinomial logit estão na Tabela 6. O sinal dos coeficientes indica que há covariadas associadas, tanto positiva quanto negativamente, à probabilidade de a variável discreta (tipos de cota) assumir os valores definidos (D = 1).

Tabela 6 -
Resultado do modelo multinomial logit.

Variáveis	Tratamentos
	Étnico-racial		Renda		Escola pública		Combinação		Outros
	Coeficiente	Valor p	Coeficiente	Valor p	Coeficiente	Valor p	Coeficiente	Valor p	Coeficiente	Valor p
Sexo	0,0822127	0,080	-0,0391799	0,418	-0,1892341	0,000	-0,1541321	0,000	-0,2690981	0,000
Raça	2,42146	0,000	0,0338291	0,649	-0,2010925	0,000	1,163633	0,000	0,3061779	0,000
Est_civil	0,2761764	0,000	0,2583822	0,000	0,2453653	0,000	0,2101809	0,000	-0,1574784	0,000
Ens.Médio	1,735686	0,000	2,517273	0,000	4,288343	0,000	3,331698	0,000	0,6021486	0,000
Tipo Tradicional	0,3985074	0,000	-0,0827084	0,284	0,3427349	0,000	0,142501	0,025	-1,13519	0,000
Tipo Prof. Técnico	0,2281606	0,015	-0,3149657	0,004	0,2892724	0,000	-0,0648523	0,443	-1,110021	0,000
Bolsa	0,018347	0,639	0,1825231	0,000	0,1907278	0,000	0,1859019	0,000	-0,1652407	0,000
Emprego	-0,3368237	0,000	-0,2168624	0,001	-0,2528883	0,000	-0,2364539	0,000	0,3402165	0,000
Educ_mãe1	0,0187951	0,690	0,1024509	0,077	-0,0249382	0,263	0,0533111	0,237	0,19389	0,000
Educ_mãe2	-0,2304234	0,000	-0,433509	0,000	-0,1659937	0,000	-0,3681685	0,000	-0,0539236	0,367
Educ_pai1	0,0135826	0,763	-0,2572064	0,004	-0,0358129	0,091	0,0484722	0,625	0,360556	0,000
Educ_pai2	-0,0933321	0,139	-0,2572064	0,006	-0,1274693	0,000	-0,2766585	0,000	-0,1238162	0,069
Rend_fam	0,1562583	0,000	0,595882	0,000	-0,0759462	0,001	0,0328715	0,460	0,0762599	0,052
Idade1	0,0689564	0,468	0,3335827	0,003	0,5391591	0,000	0,2952196	0,001	-1,113874	0,000
Idade2	0,1750883	0,046	0,0568177	0,588	0,1743214	0,000	0,0099819	0,901	-0,3514717	0,000
Tempo	-0,0451715	0,000	-0,1473223	0,000	-0,0964815	0,000	-0,1537905	0,000	-0,2394884	0,000
Prestígio	-0,1345502	0,751	-12,39588	0,000	-0,5024968	0,198	0,8982139	0,058	-0,8170621	0,274
Região Norte	-0,1706847	0,013	-0,3060784	0,000	-0,4895727	0,000	-0,376322	0,000	0,9092588	0,000
Região Nordeste	0,6446868	0,000	-0,1331396	0,030	0,0152833	0,511	-0,2085642	0,000	0,3523564	0,000
Região Sul	0,8628803	0,000	0,0765335	0,282	0,3142073	0,000	-0,6270097	0,000	0,0235961	0,699
Região Centro-Oeste	0,8434541	0,000	-0,6612338	0,000	-0,6670581	0,000	-0,9724663	0,000	-0,1493261	0,045
Constante	-6,312464	0,000	-5,820389	0,000	-5,739137	0,000	-5,925265	0,000	-1,637878	0,000

Observa-se que os meninos estão associados à maior probabilidade de ser cotista por meio do critério étnico-racial. Para estudantes negros, solteiros, com ensino médio público do tipo tradicional, o efeito foi positivo e significativo¹⁴. A alta escolaridade da mãe e o fato de o estudante trabalhar estão ligados à redução da probabilidade de ingresso por essa cota. Quanto à idade do estudante, esta indica que, quanto maior a idade, maior a probabilidade de ter ingressado por esse critério.

As variáveis indicadoras de estado civil, ensino médio público, renda familiar e primeira faixa de idade aumentam a probabilidade de o estudante ter ingressado por meio do critério renda. Os estudantes com menor probabilidade de ter ingressado por esse tipo de cota são os que estudaram em ensino médio técnico, em todas as regiões, com exceção do sul, que trabalham e que ingressaram em curso de prestígio. Por outro lado, estudantes bolsistas, com renda familiar de até 1,5 salário mínimo e com idade entre 16 e 25 anos tendem a aumentar a probabilidade.

Em relação à cota por escola pública, é verificado que estudantes provenientes de escola pública ou profissionalizante, que sejam bolsistas e que estejam na Região Sul tendem a ter maior probabilidade de terem ingressado por esse critério. Um efeito negativo, ou seja, em que a probabilidade de ingresso por essa cota é reduzida, observa-se para os meninos, os estudantes que trabalham, os que têm renda familiar baixa e cujos pais têm escolaridade mais elevada.

No critério combinação, as variáveis que indicam raça, ensino médio público e recebimento de bolsa, por exemplo, estão associadas ao aumento da probabilidade de o estudante ter ingresso por meio desse critério.

Variáveis como sexo, estado civil, ensino médio tradicional e profissionalizante, bolsa, idade, tempo e Região Centro-Oeste, por exemplo, reduzem a probabilidade de terem ingressado por outros critérios que não os quatro mencionados anteriormente. Todavia, o efeito é positivo para raça, ensino médio, baixa escolaridade dos pais e Região Nordeste.

Neste trabalho, foi utilizado o algoritmo de pareamento de Kernel, aplicado em Heckman, LaLonde e Smith (1999), no PEP. Esse método pareia todos os indivíduos da amostra, atribuindo menores pesos às observações do grupo controle que são menos semelhantes no rol de variáveis observadas, buscando deixar os dois grupos análogos. Pode-se verificar o pareamento por meio da análise do balanceamento das variáveis utilizadas na estimação por intermédio de histogramas para o grupo de tratados e controle. Os histogramas para cada tipo de cota, isto é, étnico-racial, renda, escola pública, combinação e outros, foram gerados no Stata Statistical Software e encontram-se nos Gráficos 3, 4, 5, 6 e 7, nos quais as distribuições apresentam PEP semelhantes, indicando que tais PEP podem ser pareados.

Gráfico 3 -
Sobreposição do escore de propensão: étnico-racial.

Gráfico 4 -
Sobreposição do escore de propensão: renda.

Gráfico 5 -
Sobreposição do escore de propensão: escola pública.

Gráfico 6 -
Sobreposição do escore de propensão: combinação.

Gráfico 7 -
Sobreposição do escore de propensão: outros.

Na Tabela 7, encontram-se os resultados do EMTT, cujo efeito se dá pela diferença entre os seus resultados médios. O EMTT encontrado para a variável de resultado entre os tipos de cota foi realizado após a estimação do PEP e remoção de parcela do viés atribuído pelas variáveis observadas.

Tabela 7 -
Impacto dos múltiplos tratamentos sobre a variável de resultado.

Cotas		Nota bruta ENADE
Étnico-racial	Tratados	46,318
	Controles	47,759
	EMTT	-1,441
		(-3,02%)
	teste t	-4,81
Renda	Tratados	45,203
	Controles	49,574
	EMTT	-4,371
		(-8,82%)
	teste t	-11,97
Escola pública	Tratados	50,230
	Controles	48,680
	EMTT	1,550
		(3,18%)
	teste t	11,70
Combinação	Tratados	49,825
	Controles	48,844
	EMTT	0,98
		(2%)
	teste t	3,55
Outros	Tratados	41,565
	Controles	44,601
	EMTT	-3,03
		(-6,8%)
	teste t	-12,92

• ENADE: Exame Nacional de Desempenho de Estudantes; EMTT: efeito médio do tratamento sobre os tratados.

Constata-se que os tipos de cota étnico-racial, renda e outros mostraram efeitos negativos e significantes sobre a nota bruta geral, cuja diferença entre cotistas e não cotistas ficou entre 1,4 e 4,3 pontos em desfavor dos estudantes cotistas. Ou seja, para esses tipos de cota, o estudante não cotista obtém nota bruta no ENADE superior e estatisticamente significante em relação ao cotista.

Por outro lado, os estudantes que ingressaram por meio de cotas de escola pública ou de uma combinação de cotas obtiveram diferencial de desempenho superior aos estudantes não cotistas, com uma diferença estatisticamente significante de 1,5 e 1 ponto, respectivamente.

Os resultados apresentados na Tabela 7 indicam que, considerando indivíduos com características semelhantes nos dois grupos, os alunos que ingressam nas IES federais por cota racial e por cota de renda obtêm desempenho abaixo de seus colegas não cotistas ao final do ensino superior, com um diferencial de maior impacto para esse último tipo de cota. A questão da renda permeia todo o ensino superior, uma vez que alunos mais pobres provavelmente precisam trabalhar, além de estudar, reduzindo, assim, o tempo dedicado aos estudos. Além disso, é possível observar que os estudantes cotistas advindos pelo critério de escolas públicas conseguem superar o desempenho de seus pares não cotistas. Esse resultado pode sugerir que há escolas públicas de maior qualidade no ensino médio e que conseguem colocar seus melhores alunos em uma universidade, embora esse resultado não possa ser comprovado com a análise realizada, sendo, portanto, apenas uma hipótese.

CONSIDERAÇÕES FINAIS

Este artigo teve como objetivo expandir a frequente discussão que há na literatura sobre a relação entre cotas e desempenho. Para isso, foi investigado se há diferencial de desempenho entre os estudantes cotistas e não cotistas na nota do ENADE, assim como se existe diferencial de rendimento entre os tipos de cota, visando, assim, trazer novas evidências acerca da temática.

Observou-se que os estudantes não cotistas, em média, apresentaram maior nota bruta no exame em todos os anos analisados. Todavia, a diferença dos não cotistas para a nota dos estudantes cotistas foi de 1,4 ponto em 2013, 2 pontos em 2014 e 1,7 ponto em 2015. Logo, esses resultados são heterogêneos de acordo com o tipo de cota. Estudantes cotistas de origem escolar pública e outros apresentaram, respectivamente, maior e menor desempenho, com diferença de 8,6 pontos entre os dois tipos.

Os resultados da combinação do PEP com entropia apontam que o EMTT foi significativo, porém negativo, sobre a nota bruta. No modelo de múltiplos tratamentos, constata-se que os tipos de cota étnico-racial, renda e outros mostraram efeitos negativos e significantes sobre a nota bruta, cujos efeitos foram de 3, 8,8 e 6,8% a menos, se comparados com as demais categorias, respectivamente. Contudo, as cotas de escola pública e combinação entre cotas apresentaram efeitos positivos e significativos sobre a nota, cuja diferença no desempenho foi de 3,2 e 2%, respectivamente.

Conclui-se que os estudantes que ingressaram nas universidades federais por meio de cotas tiveram, em média, desempenho inferior aos não cotistas, mas, a depender do tipo de cota e dada a heterogeneidade dos resultados, os cotistas podem até mesmo alcançar maior desempenho.

Observando para além da análise de desempenho no ensino superior, é possível apontar para outro resultado das ações afirmativas que pode ser explorado em pesquisas futuras: o aumento da ascensão educacional intergeracional. Tanto o pai quanto a mãe dos estudantes cotistas possuem proporção de baixa escolaridade estatisticamente superior aos pais dos não cotistas. Portanto, as ações afirmativas podem proporcionar redução das desigualdades educacionais ao longo das gerações, o que pode ser traduzido em menor desigualdade intergeracional de rendimentos do trabalho.

REFERÊNCIAS

• ARABAGE, A. C.; SOUZA, A. P. Quotas in Public Universities and Labor Outcomes: Evidence for Rio de Janeiro. 2017. Disponível em: Disponível em: https://www.anpec.org.br/encontro/2017/submissao/files_I/i12-b5f4ed270a38c87ebfd4108955315997.pdf Acesso em: 13 nov. 2017.
  » https://www.anpec.org.br/encontro/2017/submissao/files_I/i12-b5f4ed270a38c87ebfd4108955315997.pdf
• BATISTA, N. C. Políticas públicas de ações afirmativas para a educação superior: o Conselho Universitário como arena de disputas. Ensaio: Avaliação e Políticas Públicas em Educação, v. 23, n. 86, p. 95-128, 2015. https://doi.org/10.1590/S0104-40362015000100004
  » https://doi.org/https://doi.org/10.1590/S0104-40362015000100004
• BITTAR, M.; ALMEIDA, C. E. M. Mitos e controvérsias sobre a política de cotas para negros na educação superior. Educar em Revista, n. 28, p. 141-159, 2006. https://doi.org/10.1590/S0104-40602006000200010
  » https://doi.org/https://doi.org/10.1590/S0104-40602006000200010
• BRASIL. Lei nº 12.711, de 29 de agosto de 2012. Dispõe sobre o ingresso nas universidades federais e nas instituições federais de ensino técnico de nível médio e dá outras providências. Brasília. Presidência da República, 2012. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2012/lei/l12711.htm/ Acesso em: 2 mar. 2018.
  » http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2012/lei/l12711.htm/
• CARDOSO, C. B. Efeitos da política de cotas na Universidade de Brasília: uma análise do rendimento e da evasão. 2008. Dissertação (Mestrado em Educação) - Universidade de Brasília, Brasília, 2008.
• CHILDS, P.; STROMQUIST, N. P. Academic and diversity consequences of affirmative action in Brazil. Compare: A Journal of Comparative and International Education, v. 45, n. 5, p. 792-813, 2015. https://doi.org/10.1080/03057925.2014.907030
  » https://doi.org/https://doi.org/10.1080/03057925.2014.907030
• CORTES, K. E. Do bans on affirmative action hurt minority students? Evidence from the Texas Top 10% Plan. Economics of Education Review, v. 29, n. 6, p. 1110-1124, 2010. https://doi.org/10.1016/j.econedurev.2010.06.004
  » https://doi.org/https://doi.org/10.1016/j.econedurev.2010.06.004
• DAFLON, V. T.; FERES JUNIOR, J.; CAMPOS, L. A. Ações afirmativas raciais no ensino superior público brasileiro: um panorama analítico. Cadernos de Pesquisa, v. 43, n. 148, p. 302-327, 2013. https://doi.org/10.1590/S0100-15742013000100015
  » https://doi.org/https://doi.org/10.1590/S0100-15742013000100015
• DICKSON, L. M. Does ending affirmative action in college admissions lower the percent of minority students applying to college? Economics of Education Review, v. 25, n. 1, p. 109-119, 2006. https://doi.org/10.1016/j.econedurev.2004.11.005
  » https://doi.org/https://doi.org/10.1016/j.econedurev.2004.11.005
• GUIMARÃES, A. S. A. et al Social inclusion in Brazilian universities: The case of UFBA. São Paulo: Centro de Estudos da Metrópole, 2010. (Texto para Discussão, 8).
• GUTTERRES, R. S. Alunos que ingressaram no ensino superior por ações afirmativas apresentam melhor desempenho? Uma análise empregando a decomposição de Oaxaca para o ENADE 2012. 2015. Dissertação (Mestrado em Economia do Desenvolvimento) - Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2015.
• HAINMUELLER, J. Entropy balancing for causal effects: a multivariate reweighting method to produce balanced samples in observational studies. Political Analysis, v. 20, p. 25-46, 2012. http://doi.org/10.1093/pan/mpr025
  » https://doi.org/http://doi.org/10.1093/pan/mpr025
• HAINMUELLER, J.; XU, Y. Ebalance: A Stata Package for entropy balancing. Journal of Statistical Software, v. 54, n. 7, p. 1-18, ago. 2013. http://doi.org/10.18637/jss.v054.i07
  » https://doi.org/http://doi.org/10.18637/jss.v054.i07
• HECKMAN, J. J.; LALONDE, R. J.; SMITH, J. A. The economics and econometrics of active labor market programs. In: ASHENFELTER, O.; CARD, D. (orgs.). Handbook of labor economics. Amsterdã: Elsevier, 1999. v. 3A. p. 1865-2097.
• HINRICHS, P. The effects of affirmative action bans on college enrollment, educational attainment, and the demographic composition of universities. Review of Economics and Statistics, v. 94, n. 3, p. 712-722, 2012.
• HOROWITZ, D. Ethnic groups in conflict. Berkeley: University of California Press, 1985.
• IMBENS, G. The role of the propensity score in estimating dose-response functions. Biometrika, v. 87, n. 3, p. 706-710, 2000.
• KULLBACK, S. Information Theory. Nova York: Wiley, 1959.
• MAYORGA, C.; SOUZA, L. M. Ação afirmativa na universidade: a permanência em foco. Psicologia Política, v. 12, n. 24, p. 263-281, 2012.
• MELGUIZO, T.; WAINER, J. Toward a set of measures of student learning outcomes in higher education: evidence from Brazil. Higher Education, v. 72, n. 3, p. 381-401, 2016. https://doi.org/10.1007/s10734-015-9963-x
  » https://doi.org/https://doi.org/10.1007/s10734-015-9963-x
• MENDES JUNIOR, A.A.F. Uma análise de progressão dos alunos cotistas sob a primeira ação afirmativa brasileira no ensino superior: o caso da universidade do Estado do Rio de Janeiro. Ensaio: Avaliação e Políticas Públicas em Educação, v. 22, n. 82, p. 31-56, 2014. https://doi.org/10.1590/S0104-40362014000100003
  » https://doi.org/https://doi.org/10.1590/S0104-40362014000100003
• MOEHLECKE, S. Ação afirmativa: história e debates no Brasil. Cadernos de Pesquisa, n. 117, p. 197-217, 2002. https://doi.org/10.1590/S0100-15742002000300011
  » https://doi.org/https://doi.org/10.1590/S0100-15742002000300011
• MOEHLECKE, S. Ação afirmativa no ensino superior: entre a excelência e a justiça racial. Educação & Sociedade, v. 25, n. 88, p. 757-776, 2004. https://doi.org/10.1590/S0101-73302004000300006
  » https://doi.org/https://doi.org/10.1590/S0101-73302004000300006
• NEVES, P. S. C.; FARO, A.; SCHMITZ, H. As ações afirmativas na Universidade Federal de Sergipe e o reconhecimento social: a face oculta das avaliações. Ensaio: Avaliação e Políticas Públicas em Educação, v. 24, n. 90, p. 127-160, 2016. https://doi.org/10.1590/S0104-40362016000100006
  » https://doi.org/https://doi.org/10.1590/S0104-40362016000100006
• OLIVEN, A. C. Ações afirmativas, relações raciais e política de cotas nas universidades: Uma comparação entre os Estados Unidos e o Brasil. Educação, v. 30, n. 1, p. 29-51, 2007.
• PEIXOTO, A. L. A. et al Cotas e desempenho acadêmico na UFBA: um estudo a partir dos coeficientes de rendimento. Avaliação: Revista da Avaliação da Educação Superior, v. 21, n. 2, p. 569-592, 2016. https://doi.org/10.1590/S1414-40772016000200013
  » https://doi.org/https://doi.org/10.1590/S1414-40772016000200013
• QUEIROZ, D. M.; SANTOS, J. T. Sistema de cotas e desempenho de estudantes nos cursos da UFBA. In: BRANDÃO, A. A. (org.). Cotas raciais no Brasil: a primeira avaliação. Rio de Janeiro: DP&A, 2007. p. 115-135.
• READ, T. R. C.; CRESSIE, N. A. C. Goodness-of-fit statistics for discrete multivariate data. Nova York: Springer, 1988.
• RISTOFF, D. O novo perfil do campus brasileiro: uma análise do perfil socioeconômico do estudante de graduação. Avaliação, Campinas, v. 19, n. 3, p. 723-747, 2014. https://doi.org/10.1590/S1414-40772014000300010
  » https://doi.org/https://doi.org/10.1590/S1414-40772014000300010
• ROSENBAUM, P.; RUBIN, D. Assessing sensitivity to an unobserved binary covariate in an observational study with binary outcome. Journal of the Royal Statistical Society, Series B, v. 45, n. 2, p. 212-218, 1983. https://doi.org/10.1111/j.2517-6161.1983.tb01242.x
  » https://doi.org/https://doi.org/10.1111/j.2517-6161.1983.tb01242.x
• SANTOS, J. T. O impacto das cotas nas universidades brasileiras (2004-2012): Introdução. In: SANTOS, J. T. (org.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p. 9-13.
• SILVA, T. D. M. G. O impacto das ações afirmativas no ensino superior e o desempenho dos alunos. 2014. Dissertação (Mestrado em Economia) - Fundação Getúlio Vargas, Rio de Janeiro, 2014.
• SOWELL, T. Ação afirmativa ao redor do mundo: um estudo empírico sobre cotas e grupos preferenciais. São Paulo: É Realizações, 2017.
• VALENTE, R. R.; BERRY, B. J. L. Performance of students admitted through affirmative action in Brazil. Latin American Research Review, v. 52, n. 1, p. 18-34, 2017. http://doi.org/10.25222/larr.50
  » https://doi.org/http://doi.org/10.25222/larr.50
• VELLOSO, J. Vestibular com cotas para negros na UnB: candidatos e aprovados nos exames (Preliminar). Brasília: Núcleo de Estudos para o Ensino Superior & Faculdade de Educação, Universidade de Brasília, 2005.
• WALTENBERG, F.; CARVALHO, M. Cotas aumentam a diversidade dos estudantes sem comprometer o desempenho? Sinais Sociais, v. 7, n. 20, p. 36-77, 2012.
• WATSON, S. K.; ELLIOT, M. Entropy balancing: a maximum-entropy reweighting scheme to adjust for coverage error. Quality & Quantity, v. 50, n. 4, p. 1781-1797, 2016. https://doi.org/10.1007/s11135-015-0235-8
  » https://doi.org/https://doi.org/10.1007/s11135-015-0235-8

• 1
  De acordo com Moehlecke (2002), são ações que buscam a igualdade de oportunidade a todos e que assumem diferentes formas, como: ações voluntárias, leis e orientações com base em decisões jurídicas. O sistema de cotas, por exemplo, determina uma porcentagem a ser ocupada em área específica por grupo(s) definido(s).
• 2
  A Lei nº 12.711, de 29 de agosto de 2012, estabelece que as universidades públicas federais devem reservar 50% das vagas para estudantes que cursaram o ensino médio em escola pública, com subcotas para os estudantes com renda per capita de até 1,5 salário mínimo, e a outra metade para estudantes negros, pardos e indígenas cuja proporção entre as etnias se baseia no último censo do Instituto Brasileiro de Geografia e Estatística (IBGE).
• 3
  Variáveis que não possuem valores quantitativos, sendo estas definidas por categorias.
• 4
  Expressão utilizada pelo autor para destacar que os homens brancos se beneficiaram historicamente, em detrimento dos negros, e que há vantagens sociais daquele grupo, tendo em vista que não concorria com mulheres nem com minorias.
• 5
  Pode ser simplificado como um Plano dos 10% Melhores, no qual, nas escolas do Texas, os 10% dos melhores alunos do último ano do ensino médio que se candidatarem a uma vaga em universidades do Texas serão automaticamente aceitos.
• 6
  Antes das cotas raciais, os malaios conseguiam ocupar somente 20% das vagas. Os gestores estabeleceram preferências aos bumiputeras (os “filhos da terra”), a começar pela mudança na língua em que as disciplinas eram ministradas (do inglês para o malaio), passando por garantias de que os empregos refletissem as proporções de cada raça na população do país, o que implicou reserva de 50% das vagas de empregos aos malaios nos diversos setores da economia.
• 7
  O CR é calculado para todos os alunos do curso por meio das notas obtidas e da carga horária das disciplinas cursadas.
• 8
  Autores como Queiroz e Santos (2007), Waltenberg e Carvalho (2012) e Peixoto et al. (2016) classificam os cursos como de baixo, médio e alto prestígio, e o termo prestígio está atrelado à concorrência do curso. Logo, cursos de alto prestígio são muito demandados (bastante concorridos). Analogamente ocorre com os de baixo prestígio.
• 9
  Com base no escore bruto dos alunos que prestaram o vestibular, cria-se uma nota padronizada, que é usada para classificar os estudantes de acordo com a quantidade de vagas disponível, sendo esta calculada somente para os estudantes que atingirem, no mínimo, escore bruto de 66 pontos.
• 10
  Entropia é uma medida da distinção de dois grupos de indivíduos ou objetos. ­Quanto maior a entropia entre dois grupos, menos distintas as caraterísticas pertencentes a esses grupos serão. A ideia de utilizar tal medida aqui é escolher dois grupos de indivíduos, cuja diferença entre eles seja apenas se são cotistas ou não, porém que tenham a maior entropia possível. Isto é, que sejam o mais semelhante possível em termos das variáveis que são observáveis. Para mais detalhes, ver Hainmueller (2012).
• 11
  O uso do termo peso refere-se a uma medida obtida por meio da medida de entropia, que atribui a cada indivíduo o quão semelhante ele é a outro grupo. Essa semelhança é mensurada com base nas variáveis observadas. Assim, indivíduos do grupo controle que tenham características bastante semelhantes ao grupo de tratamento terão peso maior.
• 12
  Esse método gera um conjunto de ponderação para cada unidade do grupo controle, de forma a deixar os grupos de tratamento e controle semelhantes.
• 13
  Constituindo-se como componente curricular obrigatório, o ENADE vem sendo realizado anualmente desde 2004 e a cada três anos para cada área do conhecimento. ­Assim, no ano I, foram avaliados cursos das áreas da saúde, ciências agrárias e áreas afins e cursos superiores de tecnologia; no ano II, cursos de graduação das áreas de ciências exatas, licenciaturas e áreas afins e cursos superiores de tecnologia; e, por fim, no ano III, cursos de graduação das áreas de ciências sociais aplicadas, ciências humanas e áreas afins, além de cursos superiores de tecnologia. A finalidade do exame é avaliar o desempenho dos estudantes das mais diversas áreas do conhecimento. A nota varia entre 0 e 100, contém 40 questões entre múltipla escolha e discursivas, sendo 25% de formação geral e 75% de formação específica do respectivo curso.
• 14
  Considera-se um coeficiente estatisticamente diferente de 0 se o valor p for menor do que 0,05.

• ERRATA
  https://doi.org/10.1590/s1413-24782020250064erratum
  No artigo “Diferencial de desempenho dos estudantes cotistas no Exame Nacional de Desempenho de Estudantes: evidências sobre as instituições de ensino superior federais”, DOI: 10.1590/s1413-24782020250064, publicado no periódico Rev. Bras. Educ. v. 25, e250064, 2020. Epub Dec 21, 2020, página 29.
  Onde se lia: Antonia Amanda Araujo é mestranda em educação pela Universidade Federal do Ceará (UFC).
  Leia-se: Antonia Amanda Araujo é mestranda em economia pela Universidade Federal do Ceará (UFC).

Datas de Publicação

• Publicação nesta coleção
  21 Dez 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  20 Jan 2020
• Aceito
  12 Jun 2020