Resumo
Objetivou-se conhecer os fatores associados ao desempenho de alunos em provas para avaliar a qualidade do aprendizado que compõem o Sistema Permanente de Avaliação da Educação Básica (Spaece). Para tanto, empregou-se a metodologia denominada Análise Envoltória de Dados ( Data Envelopment Analysis – DEA) para estimar a eficiência relativa de unidades escolares do município de Sobral (CE). Evidenciou-se que a presença nas unidades escolares de bibliotecas, de laboratórios de informática, de quadra de esportes e de salas para atendimento especial constitui fator significativo associado ao elevado desempenho dos alunos, impactando, portanto, na eficiência escolar.
Análise Envoltória de Dados; Eficiência Escolar; Avaliação de Sistemas; Educação Fundamental
Abstract
The objective of this article is to know the factors that can influence the learning outcomes of students through the Permanent Evaluation System of Basic Education (Spaece). To this end, the methodology called Data Envelopment Analysis (DEA) was used to evaluate the relative efficiency of school units in the municipality of Sobral (CE). It was evident that the presence of libraries, computer labs, sports courts and rooms for special care in school units are significant factors that can contribute to the high performance of students, thus impacting school efficiency.
Data Envelopment Analysis; School Efficiency; Systems Evaluation; Elementary Education
Resumen
El objetivo del estudio fue onocer los factores asociados al desempeño de los estudiantes en las pruebas para evaluar la calidad de los aprendizajes que conforman el Sistema de Evaluación Permanente de la Educación Básica (Spaece). Para ello, se utilizó la metodología denominada Data Envelopment Analysis – DEA para estimar la eficiencia relativa de las unidades escolares en el municipio de Sobral (CE). Se evidenció que la presencia en las unidades escolares de bibliotecas, laboratorios de computación, canchas deportivas y salas de cuidados especiales es un factor significativo asociado al alto desempeño de los estudiantes, impactando así en la eficiencia escolar.
Análisis Envolvente de Datos (DEA; Eficiencia Escolar; Evaluación de Sistemas; Educación Elemental
1 Introdução
No Brasil, a qualidade da Educação Básica vem sendo aferida mediante o Índice de Desenvolvimento da Educação Básica (Ideb), conforme o Decreto nº 6.094 – Plano de Metas Compromisso Todos pela Educação ( BRASIL, 2007 )1 , que, em seu artigo 3º, estabeleceu que “A qualidade da Educação Básica será aferida, objetivamente, com base no Ideb, calculado e divulgado periodicamente pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep)”. Criado em 2007, o Ideb mensura a qualidade do aprendizado do alunado utilizando dados como a média de proficiência nos exames que aferem habilidades em Língua Portuguesa e em Matemática e as taxas de aprovação registradas no Censo Escolar ( INEP, 2019 ).
Ressalte-se, no entanto, que o termo “qualidade” é relativo, pois o que representaria boa qualidade, numa dada sociedade, não necessariamente manteria esse status se transposto para outra realidade ou período histórico ( KLEIN, 2003 ; MUNIZ, 2016 ; MUNIZ, 2018 ). Essa noção de qualidade é uma exigência da sociedade contemporânea, “cujas características mais visíveis são a diversidade cultural e a conscientização cada vez maior dos direitos cidadãos” ( ANDRIOLA, 2000 ).
Outrossim, Andriola (2000) ponderou que a procura pela qualidade consiste no aperfeiçoamento do objeto analisado, sendo um dos objetivos mais ambiciosos da avaliação educacional. Corroborando esse posicionamento, Sousa e Oliveira (2010) assinalam que, ao realizar um processo avaliativo, espera-se, explicitamente, verificar quão distante se está da situação desejável e, a partir daí, definir elementos para modificar a situação em direção ao padrão desejado. Ponderaram, ainda, que, no Brasil, a efetivação de processos avaliativos intensificou-se somente a partir de 1995, com o fortalecimento do Sistema de Avaliação da Educação Básica (Saeb), criado em 1990. Em decorrência de tais desdobramentos, a consolidação do Saeb estimulou ainda as propostas de avaliação no âmbito de governos estaduais, iniciativas que passaram a ter centralidade nas políticas em curso ( KLEIN; FONTANIVE, 2009 ).
A iniciativa do Governo Federal em criar o Saeb promoveu a gênese de sistemas estaduais de avaliação, que “foram concebidos em complementaridade ao Saeb, o que significa que suas características (matriz curricular, metodologia de análise, banco de itens etc.) seriam originalmente compatíveis ou assim foram constituindo-se no decorrer do tempo” ( SOUSA; OLIVEIRA, 2010 , p. 811-812).
Bonamino e Sousa (2012) também discorrem sobre a relação existente entre a criação do Saeb, em 1990, e a adoção de sistemáticas próprias de avaliação por parte dos estados. Consoante as autoras, dado que o Saeb, inicialmente, era de forma amostral, os estados sentiram a necessidade de implantar avaliações que contemplassem todas as escolas de suas instâncias. Essa situação ocorreu em Minas Gerais, que criou, em 1991, o Sistema de Avaliação da Educação Pública (Simave), e no Ceará, com o Sistema Permanente de Avaliação da Educação Básica (Spaece), criado em 1992.
2 A experiência do Ceará
O Estado do Ceará vem empregando as proficiências obtidas pelos alunos no Spaece como um dos mecanismos para nortear políticas públicas educacionais. Mediante esse sistema, são avaliados alunos dos Ensinos Fundamental e Médio nas disciplinas de Língua Portuguesa e de Matemática, para identificar níveis de proficiência e de evolução dos resultados ( MUNIZ, 2016 ).
O conjunto das informações coletadas pelo Spaece permite diagnosticar a qualidade da educação pública em todo o Estado, produzindo resultados por aluno, turma, escola, município e Crede2 . Ao mesmo tempo, os indicadores servem de base à implementação de políticas e de novas e criativas práticas pedagógicas nas escolas e municípios que se valem das informações produzidas. O Spaece constitui-se numa ação essencial para promover o debate público e favorecer a promoção de ações orientadas para a democratização do ensino, e capazes de garantir igualdade de oportunidades educacionais ( CEARÁ, 2008 , p. 13).
Somente a partir de 2007, o Spaece passou a abranger de forma censitária o 2º ano do Ensino Fundamental e as três séries do Ensino Médio. Logo, os focos do Spaece passaram a ser: avaliação da Alfabetização (Spaece-Alfa: 2º ano); avaliação do Ensino Fundamental (5º e 9º anos) e avaliação do Ensino Médio (1ª, 2ª e 3ª séries), com a instituição do “Prêmio Escola Nota Dez”, por meio da Lei nº 14.371, de 19 de junho de 2009. A referida Lei prevê que o prêmio seja destinado para até 150 escolas públicas que apresentarem os critérios de: (I) ter, pelo menos, 20 alunos matriculados no 2º ano do Ensino Fundamental regular; (II) ter o IDE-Alfa situado no intervalo entre 8,5 e 10,0. As escolas com os menores resultados também são contempladas com apoio financeiro, por meio de parceria com as escolas vencedoras, de modo a também elevarem seus índices de proficiência e de aprovação ( MUNIZ, 2016 ).
No ano de 2011, a aprovação da Lei Estadual nº 15.052 passou a contemplar, com premiações financeiras, as 150 escolas de 5º ano com melhores e piores índices. Evidencia-se, então, que o prêmio passou a ser encarado como política indutora de melhoria de resultados. Há, portando, relação com as políticas de responsabilização, de accountability 3 ( BROOKE, 2006 ), ou seja, de prestação de contas e serviços prestados à população. Por sua vez, as consequências dessas políticas podem variar com efeitos low-stakes e high-stakes 4 ( BONAMINO; SOUSA, 2012 ).
Nesse caso em específico, considera-se uma responsabilização forte, que é a adoção de premiações financeiras, dado que está associada à avaliação. Nessa esteira, Araújo, Leite e Andriola (2019) , assinalam que o Prêmio Escola Nota 10 faz uso dos resultados da avaliação em larga escala para verificar a eficiência da aprendizagem dos alunos. Ressaltam, ainda, que no Estado do Ceará, ocorre a vinculação da distribuição do Imposto sobre Circulação de Mercadorias e Serviços (ICMS) a outros indicadores municipais, ocasionando a mobilização de prefeitos em busca de melhorar os indicadores educacionais de seus respectivos municípios.
Dessa forma, criou-se cenário favorável para que os municípios cearenses induzissem suas próprias sistemáticas de avaliação, assim como implementassem estratégias institucionais para aprimorar os resultados educacionais, com foco em indicadores nacionais, tais como o Saeb e o Ideb, e indicadores locais, como o Spaece.
3 O padrão de qualidade educacional sobralense
Nesse âmbito, o município cearense de Sobral tem se destacado. Consoante o IBGE cidades (2019), o referido município possui uma das maiores taxas de escolarização do Brasil: na faixa etária de 6 a 14 anos de idade, alcançou-se 97,9%. Outros resultados educacionais corroboram a eficácia do sistema público de Ensino Municipal. Para ilustrar, Sobral obteve as mais elevadas notas do país no Ideb de 2017; nos anos iniciais do Ensino Fundamental obteve 9,1 (o índice brasileiro foi 5,5); enquanto nos anos finais obteve 7,2 (o índice brasileiro foi 4,4). Em uma década, a nota dessa cidade no 5º ano dos anos iniciais do Ensino Fundamental deu um salto significativo: passou de 4,9 (em 2007) para 9,1 (em 2017), conforme o Gráfico 1 .
Consoante o Gráfico 1 , houve evolução continuada dos resultados educacionais municipais em todas as edições do Ideb. Ao alcançar resultado 9,1, Sobral situou-se muito acima da média nacional, que é 5,8 nessa etapa de Ensino. A esse respeito, Klein (2019 , p. 246) pondera que “as metas do Ideb deveriam ser mais altas e consistentes em relação às metas do Todos pela Educação”, posto que também baseiam-se na distribuição de proficiências dos estudantes em relação à OCDE e ao PISA.
Outrossim, o resultado obtido por Sobral o catapultou ao mais alto desempenho educacional no país ( MEDEIROS, 2019 ). Além das ações focadas na alfabetização das crianças, o município executa um conjunto de políticas públicas centrado em três eixos:
-
Fortalecimento da gestão escolar: Diretores e coordenadores são selecionados por meio de concurso público, com análise de currículo e formação, e não por indicação política.
-
Qualificação do trabalho nas aulas: Professores têm ações de formação continuada para auxiliar no planejamento de aulas e no desenvolvimento de materiais didáticos específicos às disciplinas.
-
Valorização dos profissionais: Lei municipal garante o pagamento de bonificação e gratificação diretamente no contracheque dos professores, atrelado ao alcance de metas de aprendizagem.
Estas ações vêm refletindo-se nos resultados educacionais, pois, em nível estadual, Sobral destaca-se por boas proficiências no Spaece e pelo quantitativo de escolas premiadas com o Prêmio Escola Nota 10. Na edição de 2017, no Spaece, os alunos desse município conquistaram proficiências consideradas altíssimas para o 5º ano do Ensino Fundamental: 290,4 em Língua Portuguesa e 305,6 em Matemática. Essas proficiências foram superiores às médias estaduais, cujo resultado em Língua Portuguesa foi 225,3 e em Matemática foi 230,9.
Assim sendo, pode-se indagar: será que esse município também consegue manter equidade em relação à aprendizagem nas disciplinas de Língua Portuguesa e de Matemática em todas as suas unidades escolares? Ou ainda: quais fatores escolares estão associados a esses excelentes resultados? Diante disso, objetivou-se conhecer qual a composição e o uso de insumos das escolas de maior eficiência educacional de Sobral. Para tanto, empregou-se a metodologia denominada Análise Envoltória de Dados ( Data EnvelopmentAnalysis – DEA ), que é um modelo não paramétrico, utilizado em pesquisas para identificar fronteiras de eficiência quanto ao uso de recursos humanos e financeiros, sendo uma das técnicas de avaliação de eficiência mais empregadas no setor público ( CAVALCANTE; LEITE, 2013 ).
A modelagem DEA pode contribuir para a compreensão desses casos de sucesso, especificamente, por permitir a construção de uma fronteira “apoiada” nas unidades de análise que mais se destacam em termos de eficiência. Essa modelagem permite avaliar a eficiência relativa de unidades com base em múltiplas entradas e saídas, possibilitando maior compreensão das causas que estão proporcionando as alterações de produtividade nas unidades em análise ( CAVALCANTE; ANDRIOLA, 2012 ).
Diante dessas potencialidades, aplicou-se essa metodologia por meio do software conhecido por Análise Envoltória de Dados ( DEA-Solver ), da Empresa Multinacional SAITECH na versão profissional 7.0, cuja descrição dar-se-á adiante.
4 Análise Envoltória de Dados (DEA): breve descrição
A modelagem denominada Data EnvelopmentAnalysis , (Análise Envoltória de Dados), DEA, busca avaliar a eficiência5 relativa de unidades produtivas, as Decision Making Units (DMU). Para tanto, é imperativo que elas realizem as mesmas atividades, ou seja, que haja similaridade entre as DMUs, assim como os recursos que empregam e as atividades que desenvolvem. O método DEA permite avaliar a eficiência por duas maneiras diferentes: com orientação a input , que visa à minimização dos fatores de produção (insumos), mantendo um nível fixo de produção; e orientação a output , no qual se busca a maximização do nível de produção, mantendo os insumos fixos ( CAVALCANTE, 2011 ; CAVALCANTE; LEITE, 2013 ).
Chaves e Thomaz (2008) assinalam que o DEA é uma técnica relevante para apoio à tomada de decisões de natureza gerenciais, pois possibilita avaliar cenários alternativos, com base nas melhores práticas identificadas através da modelagem matemática. Desse modo, essa técnica de modelagem e de avaliação, permite que se escolham as melhores práticas, levando-se em consideração múltiplos critérios estabelecidos a priori ( CAVALCANTE; ANDRIOLA, 2012 ).
Essa técnica originou-se dos estudos de Farrel (1957) , que propôs um método próprio e inovador para estimar a eficiência de processos. Posteriormente, Charnes, Cooper e Rhodes (1978) , deram continuidade aos estudos de Farrel, operacionalizando um método de estimação de eficiência, denominando-o Análise Envoltória de Dados.
Cavalcante e Leite (2013) e Chaves e Thomaz (2008) salientaram que desde o surgimento do método DEA, vários modelos foram introduzidos à sua versão original, especificamente, o modelo CCR ( CHARNES; COOPER; RHODES, 1978 ) que tem como propriedade principal a proporcionalidade entre inputs e outputs na fronteira, ou seja, o aumento na quantidade dos inputs provocará acréscimo proporcional no valor dos outputs; o modelo BCC (BANKER; CHARNES; COOPER, 1984 apud CAVALCANTE; LEITE, 2013 ) ou VRS ( Variable Returnsto Scale ), que representa um retorno variável de escala e pode abranger tanto orientações para inputs , como orientações para outputs . A respeito desse modelo, Rosano-Penã (2008, p. 94) enfatiza que o mesmo “forma uma fronteira convexa eficiente com as melhores unidades, independentemente da escala de operação e, assim, passa a ‘envelopar’ as unidades ineficientes para cada escala de produção”.
Portanto, a técnica DEA permite estimar a eficiência relativa das unidades produtivas através do comparativo entre as unidades analisadas (DMUs), de modo a identificar aquelas mais eficientes, ou seja, as que obtêm maior produtividade mediante os recursos de que dispõe. Isso representa que estas DMUs alcançaram os 100% de eficiência almejada e, portanto, atingiram a fronteira de eficiência, representados pelo escore 1 (ρ = 1,0), enquanto as demais foram consideradas unidades de menor eficiência. Contudo, a metodologia sinaliza que essas unidades têm condições de melhorar sua eficiência desde que se espelhem em seus benchmarks .
As potencialidades da metodologia DEA, em específico, a estimação de uma fronteira de eficiência em que se situam as unidades eficientes, é ilustrada por Souza Júnior e Gasparini (2006) na Figura 1 .
A Figura 1 ilustra uma função de produção, na qual o input é representado pela variável X e o output é representa pela variável Y. A máxima quantidade de produto que X pode gerar é representada por f(x), ou seja, a função de produção. Observa-se que os pontos B e D atingiram a fronteira de eficiência; são, pois, as unidades eficientes. O ponto D, por exemplo, utilizou a mesma quantidade de insumos de C, porém obteve resultados superiores. Já o ponto C, situou-se abaixo da fronteira, implicando em menor eficiência, pois embora C tenha utilizado a mesma quantidade de recursos (insumos) que D, obteve resultados inferiores ( outputs ).
Consoante Rosano-Peña (2008) a aplicação da DEA exige uma sequência de passos. Primeiramente, selecionam-se as DMUs. É importante ressaltar que as unidades produtivas selecionadas devem ser homogêneas, isto é, devem produzir os mesmos bens e serviços, utilizando insumos equivalentes. No escopo deste artigo, as DMUs serão representadas pelas escolas públicas municiais de Sobral. O passo seguinte é a classificação dos insumos e produtos, ou seja, quais fatores devem ser selecionados para vigorar como inputs e outputs . Aqui, consideraram-se fatores pertinentes ao funcionamento das referidas unidades escolares. Por fim, executa-se o método utilizando os softwares disponíveis. Para essa produção, adotou-se o software DEA – Solver da Empresa Multinacional SAITECH na versão profissional 7.0.
Outro procedimento fundamental a ser esclarecido está na escolha da modelagem DEA. Neste artigo, optou-se pelo DEA SBM (essa última sigla para Slacks-Based-Measure ), uma medida baseada em folgas ( slack ). Dadas suas potencialidades, dentre as quais, o modelo contempla a minimização dos pesos tanto dos fatores de inputs como dos fatores de outputs , representando assim menores desperdícios ( WILHELM, 2013 ), optou-se pelo modelo SBM-O-V que é o método DEA com medidas baseadas nas folgas, orientadas pelos produtos (O de outputs ) e com retornos variáveis de escalas (V), consoante a opinião de Wilhelm (2013) .
Outrossim, Wilhelm (2013 , p. 39) esclarece que “a medida SBM é baseada nos excessos de consumo e nas folgas na produção relativamente às quantidades observadas”. Nessa direção, além de identificar a eficiência ou ineficiência das organizações em análise, essa medida fornece às organizações ineficientes orientação para identificar planos de produção eficientes com a eliminação dos excessos e folgas existentes. As folgas são, portanto, as quantidades extras a serem reduzidas nos insumos para que o produtor atinja o conjunto eficiência após todos os insumos terem sido reduzidos para atingir a isoquanta6 .
A seguir, apresentam-se as equações do modelo de programação linear DEA de Avaliação de Eficiência intitulado SBM ( Slacks-Based-Measure ) orientado a inputs ou outputs , cuja modelagem matemática tem a formalização matemática abaixo apresentada.
Sujeito a:
Na função objetivo Func Obj (1) acima descrita, o parâmetro ρ representa o índice de eficiência do Modelo DEA, que resultará num valor numérico compreendido entre 0 e 1. Seu valor máximo de eficiência (ρ = 1) será alcançado somente quando as folgas por excesso dos inputs , que são as variáveis s+, e as folgas por falta dos outputs , que são as variáveis s–, forem nulas.
Atentando-se quanto às especificidades mencionadas que afetam o Modelo SBM, o presente estudo adotou a referida técnica analítica, cujos resultados serão apresentados na terceira seção. A seguir, delimitam-se os insumos e os produtos empregados na estimação da eficiência das escolas.
5 Inputs e Outputs u sados no estudo
Os Inputs e os Outputs compõem indicadores de qualidade adotados para valorar a eficiência relativa das escolas quanto aos resultados educacionais obtidos, que refletem a qualidade do aprendizado dos alunos. Nesse âmbito, faz-se pertinente mencionar que a adoção de indicadores implica, em muitas situações, em unificar dados quantitativos e qualitativos, como único modo de compreender, globalmente, a complexidade da realidade educacional.
Assim, elegeram-se fatores estruturais, como por exemplo, bibliotecas, salas de leituras, salas de atendimento para alunos com deficiência, laboratórios de informática, quadras de esportes, por considerá-los inputs de suma importância para uma instituição de Ensino, porquanto estes demonstram alta associação ao aprendizado discente ( ANDRIOLA, 2000 ). Selecionaram-se também fatores pertinentes às proficiências, ou seja, o desempeno dos alunos no Spaece nas disciplinas de Língua Portuguesa e de Matemática, portanto, às proficiências obtidas pelos alunos de Sobral no Spaece (consideradas outputs ) nessas disciplinas avaliadas nas turmas de 5º anos dos anos iniciais do Ensino Fundamental.
A escolha por essa sistemática de avaliação da aprendizagem adotada no Ceará justifica-se por tratar-se de uma atividade de responsabilização high stakes , ou seja, que adota medidas como apoio financeiro, contendo em sua essência a ideia de gestão por resultados. Outrossim, Sousa e Oliveira (2010) destacam a continuidade do Spaece enquanto política pública como um dos fatores do sucesso educacional do Ceará. Para esses autores, a configuração que assume essa sistemática de avaliação parece a mais inovadora, no sentido de articular diversas vertentes, dimensões e fluxos.
No presente estudo, os fatores de inputs consideraram os seguintes insumos: número de funcionários da escola, matrículas registradas no Censo Escolar, matrículas nas turmas de 5º ano dos anos iniciais do Ensino Fundamental, matrículas na Educação Especial, sala de atendimento especial, biblioteca, sala de leitura, laboratório de informática e quadra de esportes.
Para os fatores de outputs , foram considerados os seguintes produtos:
-
Proficiências em Língua Portuguesa, na edição do Spaece2017, no 5º ano e
-
Proficiências em Matemática, no Spaece2017, no 5º ano.
Convém aclarar que, para estabelecer o quantitativo de fatores a ser utilizado na pesquisa, adotaram-se as orientações de Nunamaker (1985) , que advoga que o número de DMUs deve ser, no mínimo, três vezes maior do que a soma de produtos e insumos incluídos na especificação. As DMUs são as 34 escolas públicas do município de Sobral que possuem turmas de 5º ano no Ensino Fundamental que participaram do Spaece, em 2017. Por sua vez, as informações atinentes aos fatores utilizados na pesquisa são de domínio público e encontram-se disponibilizadas em sites oficiais, tais como o portal do Inep, do Spaece e do QEdu.
6 Análise e interpretação dos dados
Por tratar-se de estudo voltado aos resultados, utilizou-se a modelagem DEA BCC-O, ou seja, orientada aos outputs. Não obstante, também se empregou a modelagem DEA SBM O-V ( Slacks-Based Measure ), orientada aos outputs e com retornos variáveis de escalas. A intenção foi identificar o modelo que mais bem explica a realidade em estudo. A Tabela 1 apresenta os resultados oriundos dos dois modelos: DEA BCC-O e DEA SBM O-V.
Conforme evidenciado na Tabela 1 , não houve diferença significativa em relação à média de eficiência obtida pelas unidades escolares nas análises com as duas modelagens, posto que ambas obtiveram valores médios em torno de 0,94. Essa diferença é mais perceptível com relação ao desvio-padrão, que variou de 0,06 na modelagem SBM a 0,05 no modelo BCC. Apesar dessa sutil diferença, observa-se homogeneidade entre as unidades analisadas. No comparativo das análises com os dois modelos, percebe-se também que não houve DMUs impróprias para análise, ou seja, não foram identificadas unidades escolares com dados inapropriados ou inconsistentes. Evidencia-se, ainda, que o número de DMUs avaliadas foi 34, assim como o quantitativo das DMUs consideradas eficientes (16 unidades) e ineficientes (18 unidades) nos dois modelos.
No que tange à eficiência média, seu valor pode variar de 0 a 1, sendo 1 o maior escore a ser alcançado pelas unidades analisadas. Conforme a Tabela 1 , o Valor Máximo, que é a eficiência máxima alcançada pelas DMUs, foi 1, o que representa 100% de eficiência em ambos os modelos. Quanto ao valor Mínimo, que é a menor eficiência obtida pelas DMUs, houve tênue diferença entre as modelagens, variando de 0,82 no SBM, para 0,83 no BCC. Na Tabela 2 consta a relação nominal das 16 DMUs eficientes, consoante os resultados dos dois Modelos Analíticos.
Observou-se que as unidades escolares eficientes foram as mesmas, independentemente do modelo empregado. Por não haver diferença significativa entre ambos e pelas potencialidades do modelo SBM-O-V, optou-se por este, pois emprega as folgas, ou seja, aponta excessos de inputs nas DMUs para que se alcance a fronteira de eficiência. O Gráfico 2 contém os valores da Eficiência Relativa (ρ) das 34 DMUs (unidades escolares) analisadas.
O Gráfico 2 informa as 16 DMUs que atingiram a fronteira de eficiência (ρ = 1), ou seja, que alcançaram 100% de eficiência contando com os insumos disponibilizados. Essas unidades escolares obtiveram melhor produtividade mediante os recursos utilizados, ou seja, alcançaram o melhor resultado possível com base nos insumos de que dispunham. Evidencia-se, também, que as unidades escolares com menor eficiência não estão com médias tão baixas, visto que o menor Escore (ρ) foi 0,824. Apesar de não atingirem 100% de eficiência, essas 18 DMUs alcançaram patamares entre 82% e 94%, o que, convenha-se, é uma eficiência escolar elevada e bastante significativa.
Os resultados também apontam que Sobral está conseguindo induzir certa equidade entre as suas unidades educacionais no que tange ao uso dos insumos disponibilizados (inputs) , conforme o Gráfico 2 retratou. Esta última informação é muito relevante, pois permite inferir-se que a aprendizagem dos alunos nas disciplinas de Língua Portuguesa e de Matemática está se desenvolvendo e se consolidando em praticamente todas as escolas municipais analisadas. Não há nenhuma escola com resultados muito discrepantes em relação às demais, embora existam unidades que precisam espelhar-se em seus benchmarks , que são as escolares eficientes.
Na Tabela 3 , apresentam-se as escolas que foram mais referenciadas pelos Modelos Analíticos, sendo consideradas benchmarks para as demais DMU.
A Frequência de Referência representa a quantidade de vezes em que as DMU analisadas foram referenciadas durante as modelagens. Conforme as informações da Tabela 3 , a DMUs Francisco Aguiar foi referenciada nove vezes, conduzindo-a a ser modelo para as demais escolas. Esta é, portanto, uma das potencialidades dessa modelagem matemática: identificar unidades escolares que sirvam de modelo (benchmark ) para o conjunto de escolas do sistema educacional analisado.
O modelo possibilita, ainda, visualizar as projeções entre os fatores (inputs) escolhidos, de modo que as unidades escolares possam aprimorar sua eficiência. Essas informações são disponibilizadas pelo DEA na aba Projection , conforme os dados brindados pela Tabela 4 .
Conforme a Tabela 4 , a DMUs Francisco Aguiar foi a unidade eficiente mais referenciada, constituindo-se em benchmark para as unidades de menor eficiência. Convém, então, observar os fatores ( inputs ) que mais impactaram sobre os resultados obtidos em termos de proficiência dos alunos ( outputs ), para que as demais escolas possam orientar-se. Tomando como exemplo os dados da Tabela 4 , observa-se que todos os insumos utilizados foram bem empregados pela DMUs Francisco Aguiar. O DEA não apontou a necessidade de realizar nenhuma alteração nos fatores ( inputs ), pois a referida escola apropriou-se adequadamente dos insumos que lhe foram disponibilizados.
No extremo oposto, encontra-se a DMUs Dinorah Ramos, que obteve o menor escore (ρ = 0,82) entre as unidades analisadas. Observam-se diferenças entre o valor real e os valores projetados para alguns dos fatores ( inputs ) da DMUs Dinorah Ramos. Por exemplo, no que tange ao número de funcionários, o DEA-Solver projetou redução de 3% no valor desse fator, sem haver, provavelmente, comprometimento dos resultados escolares.
Quanto ao número de matrículas cadastradas no Censo Escolar, o DEA-Solver projetou redução de 23,5%, enquanto o número de matrículas em Educação Especial teria que ser reduzido em quase 36%. Logicamente que estes quantitativos (número de matrículas) mereceriam ser analisados e associados a outros indicadores do alunado, tais como o número de transferências, de reprovações e de deserções, de modo a que se pudesse ter um diagnóstico válido da escola Dinorah Ramos.
No que diz respeito ao Laboratório de Informática, o DEA-Solver apontou a necessidade de se reduzir, em quase 54%, os insumos que o compõem (número de computadores), talvez porque estes não estejam funcionando a contento, ou porque mereçam manutenção mais cuidadosa e sistemática. É mais benéfico ao desenvolvimento do alunado ter acesso a menos computadores, porém todos funcionando à perfeição, do que dispor de máquinas impróprias para o uso educacional.
Após os ajustes idealizados serem efetivados sobre estes insumos ( inputs ), em teoria e com alta probabilidade, poderiam-se obter melhores resultados ( outputs ) no que tange às proficiências dos alunos. Dessa forma, a modelagem aponta que se poderia obter incremento nas proficiências dos alunos (5º ano) ao redor de 25% em Língua Portuguesa e quase 17% em Matemática.
Decerto, não se está a asseverar que as alterações efetivadas nos insumos acarretarão impactos nos resultados educacionais da escola Dinorah Ramos, pois já foi referido que a modelagem DEA permite traçar um cenário probabilístico para os gestores tomarem decisões com maior precisão. Tampouco se está a sugerir realizar as alterações idealizadas pelo DEA, sem, contudo:
-
Conhecer-se com maior profundidade a realidade das instituições educacionais e
-
Desconsiderar-se a complexidade intrínseca a um sistema burocrático, hierárquico, estruturado, politizado e permeado por relações humanas com certo grau de heterogeneidade nos interesses, nas motivações, nas visões de mundo, de sociedade, de Educação e de ser, que, de um modo geral, afeta as instituições educacionais, conforme ponderou Tragtenberg (2018) .
Não obstante, há de se convir que os Modelos Analíticos baseados na metodologia DEA constituem poderosa ferramenta para apoio à tomada de decisão e, por este motivo, orienta-se que os gestores ministrem atenção maior à escola Dinorah Ramos, assim como às demais escolas de menor eficiência, de modo a que se possam introduzir mudanças internas, para que estas possam evoluir em relação aos melhores resultados alcançados pelas demais instituições analisadas, tais como a escola Francisco Aguiar.
7 Considerações Finais
O estudo aqui relatado mostra algumas tendências que merecem destaque. Por exemplo, os resultados da modelagem DEA SBM-O-V apontaram que em, praticamente todas as unidades escolares de menor eficiência, o total de alunos com deficiência precisa ser reduzido, posto que há uma quantidade considerável de discentes matriculados nessas turmas. Há que se enfatizar, por oportuno, que, consoante o Art. 58 da Lei de Diretrizes e Bases da Educação (LDB nº 9.394/96), entende-se por Educação Especial a modalidade de Educação oferecida preferencialmente na rede regular de Ensino, para educandos com deficiência, transtornos globais do desenvolvimento e altas habilidades ou superdotação ( BRASIL, 1996 ). Para lidar com esses discentes, o corpo docente deve ter formação específica para tal. Caso isto não ocorra, a eficiência escolar provavelmente será afetada, sobretudo quando há excesso de alunos com deficiência em relação ao total de alunos matriculados na unidade escolar, como parece ser o caso das escolas com menor eficiência.
Por outro lado, ao implementar salas de aula para atendimento especial em praticamente todas as escolas pesquisadas, Sobral está dando enorme salto a caminho de uma inclusão relevante e significativa. A institucionalização da Educação Especial configura-se como estratégia de inclusão escolar destes alunos no sistema regular de Ensino, visando a garantir o acesso e à permanência dos mesmos nas escolas, com atenção especial às suas necessidades adaptativas. Nessa perspectiva, a inclusão traz benefícios para todos os atores sociais envolvidos, e não somente para a pessoa com deficiência, visto que seus efeitos são sentidos por toda a sociedade.
O modelo apontou como fatores de maior peso, os de ordem estrutural, como a sala de atendimento educacional especializado, em que os estudantes com necessidades educacionais especiais contam com apoio de profissionais especializados para lhes auxiliar em seu processo de Ensino-aprendizagem, a presença de bibliotecas nas escolas, de salas de leitura, de laboratórios de informática e de quadra de esportes nessas unidades educativas, como fatores que contribuem para que as escolas desempenhem bem seu trabalho, e em decorrência, destaquem-se nas avaliações externas, tais como o Spaece, e nos índices do Ideb. Ademais, ao garantir que as instituições de Ensino disponham desses fatores, os gestores municipais caminham rumo à equidade educacional, aspecto vital à sociedade.
Cumpre ressaltar que as 34 unidades escolares analisadas se constituem como espaços formativos de considerável complexidade, pois, além das turmas tidas como convencionais (anos iniciais aos finais do Ensino Fundamental), há turmas de Educação Especial e de Educação de Jovens e Adultos (EJA). A complexidade da gestão nas escolas concretiza-se a partir de quatro aspectos: (1) porte da escola; (2) número de turnos de funcionamento; (3) complexidade das etapas ofertadas pela escola e (4) número de etapas/modalidades oferecidas ( INEP, 2014 ). Dessa forma, quanto mais avançada a idade dos alunos e as etapas oferecidas, maior o trabalho da gestão escolar, dado que se gerencia número maior de docentes e de discentes. Portanto, são necessários mais arranjos para a organização das matrizes curriculares, com maiores desafios para a obtenção de boas taxas de rendimento escolar.
Para concluir, este estudo apresentou uma aplicação da modelagem DEA para avaliar a eficiência das unidades educativas de Sobral, sendo considerado importante que os gestores educacionais conheçam os resultados oriundos dessa ferramenta analítica, de modo a adotar soluções cabíveis para as unidades escolares de menor eficiência, com o fito de induzir o avanço em relação às proficiências dos alunos. Embora pareça audacioso, é possível ao município de Sobral progredir, ainda mais, em relação à aprendizagem dos alunos de sua rede de Ensino. Como o asseverou o filósofo grego Heráclito de Éfeso (540 a 470 a.C.), considerado o Pai da Dialética: grandes resultados requerem grandes ambições.
Referências
- ANDRIOLA, W. B. Calidad educativa y efectividad escolar: conceptos y características. Educação em Debate, Fortaleza, v. 1, n. 39, p. 7-14, 2000.
-
ARAÚJO, K. H.; LEITE, R. H.; ANDRIOLA, W. B. Prêmios para escolas e professores com base no desempenho acadêmico discente: a experiência do estado do Ceará (Brasil). Revista Linhas, Florianópolis, v. 10, p. 303-325, 2019. https://doi.org/10.5965/1984723820422019303
» https://doi.org/10.5965/1984723820422019303 -
BONAMINO, A.; SOUSA, S. Z. Três gerações de avaliação da Educação Básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012. https://doi.org/10.1590/S1517-97022012005000006
» https://doi.org/10.1590/S1517-97022012005000006 - BRASIL. Decreto nº 6.094, de 24 de abril de 2007. Dispõe sobre a implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração com Municípios, o Distrito Federal e os Estados. Diário Oficial da União, Brasília, DF, 25 abr. 2007.
- BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da Educação Nacional. Diário Oficial da União, Brasília, DF, 21 dez. 1996.
-
BROOKE, N. O futuro das políticas de responsabilização educacional no Brasil. Cadernos de Pesquisa, São Paulo, v. 36, n. 128, p. 377-401, maio/ago.2006. https://doi.org/10.1590/S0100-15742006000200006
» https://doi.org/10.1590/S0100-15742006000200006 - CAVALCANTE, S. M. A. Avaliação da eficiência acadêmica dos cursos de graduação da Universidade Federal do Ceará (UFC): utilização de indicadores de desempenho como elementos estratégicos de gestão. Tese (Doutorado em Educação) – Programa de Pós-Graduação em Educação, Universidade Federal do Ceará, Fortaleza, 2011.
- CAVALCANTE, S. M. A.; ANDRIOLA, W. B. Avaliação da eficiência dos cursos de graduação da Universidade Federal do Ceara (UFC) através da Análise Envoltória de Dados (DEA). Revista Iberoamericana de Evaluación Educativa, v. 5, p. 291-313, 2012.
- CAVALCANTE, S. M. A.; LEITE, R. H. A aplicação da técnica de Análise Envoltória de Dados na avaliação de cursos de graduação da Universidade Federal do Ceará. In: LEITE, R. H.; RIBEIRO, A. P. M. (org.). Avaliação educacional: veredas, fronteira de eficiência. Fortaleza: UFC, 2013. p. 95-110.
- CEARÁ. Secretaria de Educação. Sistema Permanente de Avaliação da Educação Básica do Ceará – Spaece 2008. Boletim pedagógico de avaliação: matemática: 5º ano do ensino fundamental. Juiz de Fora: CAED, 2008.
-
CHAVES, A.C; THOMAZ, A. C. F. Gestão pública e pesquisa Operacional: avaliação de desempenho em Agências da Previdência Social. Revista do Serviço Público, Brasília, DF, v. 59, n. 2, p. 221-236, 2008. https://doi.org/10.21874/rsp.v59i2.146
» https://doi.org/10.21874/rsp.v59i2.146 - CHARNES, A.; COOPER, W.; RHODES, E. Measuring the efficiency of decision making units. European Journal of Operational Research, London, v. 2, n. 6, p. 429-444, Nov. 1978.
-
FARREL, M. J. The measurement of productive efficiency. Journal of the Royal Statistical Society, v. 120, n. 3, p. 253-290, 1957. https://doi.org/10.2307/2343100
» https://doi.org/10.2307/2343100 -
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Indicador para mensurar a complexidade da gestão nas escolas a partir dos dados do Censo Escolar da Educação Básica. Brasília, DF, 2014. Disponível em: https://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2014/escola_complexidade_gestao/nota_tecnica_indicador_escola_complexidade_gestao.pdf Acesso em: 10 set. 2019
» https://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2014/escola_complexidade_gestao/nota_tecnica_indicador_escola_complexidade_gestao.pdf -
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Índice de Desenvolvimento da Educação Básica (IDEB). Brasília, DF, 2019. Disponível em: http://provabrasil.inep.gov.br/web/guest/educacao-basica Acesso em: 2 set. 2019.
» http://provabrasil.inep.gov.br/web/guest/educacao-basica -
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. IDEB – Resultados e Metas. Brasília, DF, 2019. Disponível em: http://ideb.inep.gov.br/resultado/resultado/resultadoBrasil.seam?cid=6775229 Acesso em: 31 out. 2019.
» http://ideb.inep.gov.br/resultado/resultado/resultadoBrasil.seam?cid=6775229 -
INTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA – IBGE. Cidades. Rio de Janeiro: IBGE, 2019. Disponível em: http://www.cidades.ibge.gov.br/v3/cidades/municipio/2308906 Acesso em: 15 ago. 2019.
» http://www.cidades.ibge.gov.br/v3/cidades/municipio/2308906 - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Indicador para mensurar a complexidade da gestão nas escolas a partir dos dados do Censo Escolar da Educação Básica. Brasília, DF, 2014. (Nota técnica, nº 040).
- KLEIN, R. Por uma educação de qualidade. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 11, n. 38, p. 115-120, jan./mar. 2003.
-
KLEIN, R. Uma solução para a divergência de diferentes padrões no SAEB. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.27, n.103, p. 229-249, abr./jun. 2019. https://doi.org/10.1590/s0104-40362019002702060
» https://doi.org/10.1590/s0104-40362019002702060 - KLEIN, R.; FONTANIVE, N. Alguns indicadores de qualidade educacional no Brasil de hoje. São Paulo Perspectivas, São Paulo, v. 23, n. 1, p. 19-28, 2009.
-
MEDEIROS, K. Na onda de Sobral: qual o segredo da cidade cearense com o melhor ensino fundamental?. Disponível em: https://www.uol.com.br/ecoa/reportagens-especiais/a-experiencia-de-sobral-
» https://www.uol.com.br/ecoa/reportagens-especiais/a-experiencia-de-sobral- - MUNIZ, R. F. Os efeitos de uma sistemática de avaliação municipal na aprendizagem de alunos de 2º ano dos anos iniciais em escolas do município de Jijoca de Jericoacoara (CE). Dissertação (Mestrado em Educação) – Programa de Pós-Graduação em Educação Brasileira, Universidade Federal do Ceará, Fortaleza, 2016.
- MUNIZ, S. M. Avaliação da aprendizagem de alunos com Deficiência Intelectual: a experiência de professores do Ensino Fundamental em Jijoca de Jericoacoara (CE). Dissertação (Mestrado em Educação) – Programa de Pós-Graduação em Educação Brasileira, Universidade Federal do Ceará (UFC), Fortaleza, 2018.
-
NUNAMAKER, T. R. Using Data Envelopment Analysis to measure the efficiency of non-profit organizations: a critical evaluation. Managerial and Decision Economics, v. 6, n. 1, p. 293-323, Mar. 1985. https://www.jstor.org/stable/2487220
» https://www.jstor.org/stable/2487220 -
QEdu. Aprendizado dos alunos: Sobral.. Disponível em: https://www.qedu.org.br/cidade/3692-sobral/aprendizado . Acesso em: 16 out. 2019.
» https://www.qedu.org.br/cidade/3692-sobral/aprendizado -
ROSANO-PEÑA, C. R. Um modelo de avaliação da eficiência da Administração Pública através do método Análise Envoltória de Dados (DEA). Revista de Administração Contemporânea, Curitiba, v. 12, n. 1, p. 83-106, jan./mar. 2008. https://doi.org/10.1590/S1415-65552008000100005
» https://doi.org/10.1590/S1415-65552008000100005 -
SOUSA, S. Z.; OLIVEIRA, R. P. Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, v. 40, n. 141, p. 793-822, dez. 2010. https://doi.org/10.1590/S0100-15742010000300007
» https://doi.org/10.1590/S0100-15742010000300007 -
SOUZA JÚNIOR, C. V. N.; GASPARINI, C. E. Análise da equidade e da eficiência dos estados no contexto do federalismo fiscal brasileiro. Estudos Econômicos, São Paulo, v. 36, n. 4, p. 803-832, out./dez. 2006. https://doi.org/10.1590/S0101-41612006000400006
» https://doi.org/10.1590/S0101-41612006000400006 -
TRAGTENBERG, M. A escola como organização complexa. Educação e Sociedade, Campinas, v. 39, n. 142, p.183-202, jan./mar. 2018. https://doi.org/10.1590/es0101-73302018191196
» https://doi.org/10.1590/es0101-73302018191196 -
WILHELM, V. E. Data Envelopment Analysis - DEA. Curitiba, 2013. Disponível em: https://docs.ufpr.br/~volmir/DEA.pdf Acesso em: 12/ nov. 2019.
» https://docs.ufpr.br/~volmir/DEA.pdf
-
1
Segundo o artigo 1º do Decreto n 6.094: “O Plano de Metas Compromisso Todos pela Educação é a conjugação dos esforços da União, Estados, Distrito Federal e Municípios, atuando em regime de colaboração, das famílias e da comunidade, em proveito da melhoria da qualidade da Educação Básica”.
-
2
A sigla Crede refere-se à Coordenadoria Regional de Desenvolvimento da Educação, setor da Secretaria de Educação do Ceará responsável por promover o acompanhamento dos municípios. Há, atualmente, 20 Credes no Ceará.
-
3
Consoante Brooke (2006 , p. 378), a expressão accountability remete-se às “políticas de responsabilização, mediante as quais se tornam públicas as informações sobre o trabalho das escolas e consideram-se os gestores e outros membros da equipe escolar como corresponsáveis pelo nível de desempenho alcançado pela instituição”.
-
4
Os termos low-stakes e high-stakes designam os impactos decorrentes de políticas públicas de premiação e seus efeitos mais fracos ou mais fortes sobre as dinâmicas internas das escolas, e sobre as estratégias adotadas para o alcance de melhores resultados.
-
5
A literatura especializada na área educacional tem empregado o termo eficácia escolar, que está associado à obtenção de resultados proeminentes. Não obstante, nesse trabalho, o termo eficiência designa a capacidade de as escolas operacionalizarem suas atividades de modo otimizado, isto é, empregando o mínimo de insumos para obter os melhores resultados, em termos de qualidade do aprendizado discente, averiguado através das proficiências.
-
6
Conforme Wilhelm (2013 , p. 26) “isoquanta é a curva que representa a quantidade de insumos necessários para produzir um nível fixo de produtos. Diferentes produtores localizados na mesma isoquanta produzem o mesmo nível dos produtos, apesar de poderem empregar níveis diferentes de insumos”.
Datas de Publicação
-
Publicação nesta coleção
23 Jul 2021 -
Data do Fascículo
Jan-Mar 2022
Histórico
-
Recebido
23 Jan 2020 -
Aceito
16 Nov 2020