Data Envelopment Analysis (DEA): uma análise da eficiência no Spaece das escolas estaduais da região 4 do município de Fortaleza (CE)

Data Envelopment Analysis (DEA): An analysis of the efficiency in Spaece of State Schools in Region 4 of the Municipality of Fortaleza (CE)

Data Envelopment Analysis (DEA): Un análisis de la eficiencia en SPAECE de las Escuelas Estatales en la Región 4 de la ciudad de Fortaleza (CE)

Resumo

Neste artigo propõe-se avaliar a eficiência das escolas estaduais do Ensino Médio da região 4 do município de Fortaleza (CE) por meio dos resultados obtidos no Spaece, nas edições de 2022 e 2023. Para tanto, foi utilizado o método quadripolar e a modelagem por meio do Data Envelopment Analysis (DEA), com retornos variáveis de escala (Variable Returns to Scale - VRS), modelo BCC-O orientado pelos outputs, introduzido por Banker, Charnes e Cooper (1984) para verificar a eficiência das escolas estaduais da região 4 do município de Fortaleza. Avaliou-se a proficiência em língua portuguesa e matemática das edições de 2022 e 2023 do Spaece das 21 escolas estaduais da região 4. Os resultados após aplicação do software OSDEA-GUI-v0.2.jar revelaram que das 21 escolas, 9 escolas foram consideradas com valor objetivo 1 eficiente tanto em língua portuguesa como em matemática. A partir do Benchmark foram identificadas 2 escolas com maior incidência como DMU referência e levantado as melhores práticas dessas escolas que podem servir de exemplo para as outras escolas menos eficientes.

Análise Envoltória de Dados; Sistema Permanente de Avaliação da Educação Básica no Ceará; Ensino Médio; Eficiência Escolar

Abstract

This article aims to evaluate the efficiency of state high schools in region 4 of the municipality of Fortaleza (CE) using the results obtained in the Spaece in the 2022 and 2023 editions. The quadrupole method and Data Envelopment Analysis (DEA) modeling with Variable Returns to Scale (VRS), an output-oriented BCC-O model introduced by Banker, Charnes, and Cooper (1984), were used to verify the efficiency of state schools in region 4 of the municipality of Fortaleza. The proficiency in Portuguese and Mathematics in the 2022 and 2023 editions of the Spaece of 21 state schools in region 4 was evaluated. After applying the OSDEA-GUI-v0.2.jar software, the results revealed that of the 21 schools, 09 schools were considered to have an objective value of 1 efficient in both Portuguese and Mathematics. Based on the Benchmark, 2 schools with the highest incidence as reference DMUs and the best practices of these schools were identified, which can serve as an example for the other less efficient schools.

Data Envelopment Analysis; Permanent Evaluation System for Basic Education in Ceará; Middle school; School Efficiency

Resumen

Este artículo tiene como objetivo evaluar la eficiencia de las escuelas secundarias estatales de la región 4 del municipio de Fortaleza (CE) a partir de los resultados obtenidos en el Spaece en las ediciones de 2022 y 2023. Para ello, se utilizó el método cuádruple y la modelización de Análisis Envolvente de Datos (DEA) con Rendimientos Variables a Escala (RVA), un modelo BCC-O orientado al output introducido por Banker, Charnes y Cooper (1984), para verificar la eficiencia de las escuelas estatales de la región 4 del municipio de Fortaleza. Se evaluó la competencia en portugués y matemáticas de las ediciones de 2022 y 2023 del Spaece de las 21 escuelas estatales de la región 4. Los resultados tras aplicar el software OSDEA-GUI-v0.2.jar revelaron que, de las 21 escuelas, 09 se consideraron con un valor objetivo de 1 eficientes tanto en portugués como en matemáticas. A partir del Benchmark se identificaron 2 escuelas con mayor incidencia como DMUs de referencia y se analizaron las mejores prácticas de estas escuelas, que pueden servir de ejemplo para las demás escuelas menos eficientes.

Data Envelopment Analysis; Sistema Permanente de Evaluación de la Educación Básica en Ceará; Secundaria; Eficiencia escolar

1 Introdução

A Educação é um direito, conforme está prescrita na Constituição Federal (CF) de 1988, no seu artigo 205, que é “um direito de todos”, isto é, permanecer matriculado na escola e aprendendo. Mas, o que estão aprendendo, como e por que, serão indagações a serem realizadas sobre o sistema educacional e sua qualidade, como nos lembra (Vianna, 2000, 1989).

É a partir dessa inquietação que o Ministério da Educação (MEC), instituiu as avaliações em larga escala, onde estados e municípios buscaram criar seus próprios sistemas de avaliação, se antecipando, quanto ao parecer diagnóstico de suas redes de Ensino, a exemplo do estado do Ceará, que no ano de 1992, implementou o Sistema Permanente de Avaliação da Educação Básica do Ceará (Spaece), que no ano de 2022, completou 30 anos de existência, servindo de modelo para o restante do país. O Spaece avalia os alunos cearenses em língua portuguesa e matemática, aplicado de forma censitária, no 2^o, 5^o e 9^oano do Ensino Fundamental e em todas as séries do Ensino Médio, que é foco da pesquisa, possibilitando mapear os descritores/habilidades desenvolvidas ou não, por meio do uso da matriz do Spaece (Santos; Ciasca, 2012).

Logo a busca por essa qualidade, perpassa pela eficiência que segundo Rosano-Peña (2008), na economia e na administração a definição de eficiência pode ser estabelecida como a competência de fazer uso, da melhor maneira possível, dos poucos recursos disponíveis para alcançar o melhor desempenho nos trabalhos socialmente indispensáveis. Dessa forma, em uma unidade produtiva, a eficiência se traduz no emprego de esforços (meios) para a obtenção de um máximo de resultados (fins), ou seja, eficiência seria a capacidade administrativa de produzir o máximo de resultados com o mínimo de recursos, energia e tempo.

Por se tratar de tema de reconhecida complexidade, que requer diferentes tratamentos, no que se refere à estrutura científica, histórica, política, humana, educacional e institucional. Os procedimentos metodológicos basearam-se, conforme a proposição do método quadripolar que para Gouveia (2021, p. 3) é uma “abordagem multidisciplinar em que combina o qualitativo e o quantitativo, propondo um instrumento de investigação dinâmico, assente no resultado da interação entre quatro polos: epistemológico; teórico; técnico e morfológico”. E para estimar a eficiência das escolas no Spaece, aplicou-se a modelagem Data Envelopment Analysis (DEA) que conforme Barbosa (2018, p. 4) “é uma técnica não paramétrica que utiliza a programação linear para calcular e comparar as eficiências de diferentes sistemas produtivos”.

As etapas desta pesquisa constituem-se nos objetivos específicos propostos, tais como: (1) analisar os dados do Spaece, referente aos resultados obtidos pelas escolas da Região 4 nas edições de 2022 e 2023; (2) identificar a(s) escola(s) eficiente(s) por meio da modelagem DEA - aplicando o modelo clássico BCC-O utilizando o software OSDEA-GUI-v0.2.jar; (3) descrever a partir do benchmark, as principais ações desenvolvidas pela(s) escola(s) eficiente(s), a fim de garantir o sucesso no Spaece; e, por fim, expõe as considerações complementares, fazendo referência às escolas que obtiveram a eficiência em suas práticas.

2 Polo Epistemológico

Este polo compreende a discussão alicerçada nos pressupostos filosóficos que permeiam o assunto estudado. Com base nisso, a epistemologia apoia-se nas condições de objetivação dos conhecimentos científicos. Do mesmo modo, “[...] compreende os modos de observação e de experimentação examinando igualmente as relações que as ciências estabelecem entre as teorias e os fatos” (Bruyne; Herman; Schoutheete, 1977, p. 41-42).

A concepção de Bachelard (1996) perpassa a possibilidade do rompimento com o conhecimento superficial para ir à busca da construção do conhecimento científico. Os autores Brito, Lucena e Vieira expõem com base no pensamento de Bachelard que “a avaliação deve ser tomada e assumida em pressupostos da ciência e não de opinião, pois epistemologia e pedagogia devem integrar-se de modo que se tome a avaliação como Um fenômeno construído” (Brito; Lucena; Vieira, 2020, p. 186). Segundo Bachelard (1996), o homem na formação do espírito científico passa por três estágios, o concreto, o concreto-abstrato e o abstrato, mas sempre reconhecendo a origem de suas ideias no campo da essência e da origem das coisas, inferindo-lhe que “[...] o verdadeiro pensamento científico é metafisicamente indutivo; [...] ele lê o complexo no simples, diz a lei a propósito do fato, à regra a propósito do fato, a regra a propósito do exemplo” (Bachelard, 1996, p. 11).

Para Lima (2005, p. 37), “a epistemologia de Bachelard é um racionalismo dialético que se serve da razão e da técnica, denominado ‘racionalismo aplicado’ e que não deve ser utilizado em generalidades, mas sim em partes limitadas de experiência (nacionalismo regional), para daí extrair suas aplicações”.

Já os autores Brito, Lucena e Vieira (2020), evidenciam que Bachelard,

não trata em específico de avaliação, mas traz em sua obra a preocupação quanto à Formação do Espírito Científico o que contribui para se pensar a produção do conhecimento numa perspectiva histórica, que por conseguinte, poderá auxiliar professores na compreensão do conhecimento, e de modo, especial o conhecimento sobre avaliação, distante do paradigma de um pensamento universalizante (p. 182).

Sob o ponto de vista do pensamento sobre o conhecimento, o uso desse pensamento ultrapassa o espírito do estado concreto a respeito de qualquer fenômeno que o professor poderá compreender neste caso a avaliação, como um objeto múltiplo (Brito; Lucena; Vieira, 2020, p. 182). A avaliação ou a didática, precisam que as escolas sejam um espaço de formação de conhecimentos e de rupturas.

3 Polo Teórico

Este polo constitui-se como parte ligada ao embasamento teórico-conceitual para a base necessária ao rigor científico. Com isso, o polo vem demonstrar a construção dos conceitos referentes ao contexto da avaliação de currículo, as políticas de avaliação educacional, o Spaece e a eficiência educacional.

Tyler (1977) compreende que o “Currículo”’, necessita ser organizado em torno de objetivos; estes passam a ser a base da planificação e a referência central. O modelo de Tyler tem como ideia inicial que o ato de educar tem como foco modificar padrões de comportamento e que o currículo deveria ser proposto de acordo com as habilidades desejadas, diante de objetivos a serem alcançados.

Diante desse pensamento, ressalta a ideia de congruência na concepção de Tyler, sendo a avaliação um instrumento de verificação da consolidação de objetivos alcançados em relação aos que foram propostos. Desta forma, a avaliação teria o papel de verificar a eficiência da instituição escolar na promoção educacional, proporcionando, assim, aportes para uma reflexão crítica do seu funcionamento, gerando discussões e possibilitando alterações na sua programação curricular (Vianna, 2000).

De acordo com a LDB (Brasil, 1996) em seu artigo 26:

Art. 26 - Os currículos do Ensino Fundamental e médio devem ter uma base nacional comum, a ser complementada, em cada sistema de Ensino e estabelecimento escolar, por uma parte diversificada, exigidas pelas características regionais e locais da sociedade, da cultura, da economia e da clientela.

Ainda estabelece que os currículos a que se refere o caput devem abranger, obrigatoriamente, o estudo da língua portuguesa, da matemática, o conhecimento do mundo físico e natural e a realidade social e política, especialmente a do Brasil. Assim, o currículo está orientado por áreas de conhecimento, com a integração dos campos dos saberes, no qual a interdisciplinaridade é base deste princípio.

Segundo os conceitos de Bardin (1977), o planejamento do currículo é fundamentado na metodologia por meio da análise de conteúdo. Para Tyler, o currículo tem princípios que giram em torno de 4 itens, os quais considera que devem ser respondidos, para que o processo de elaboração do currículo se desenvolva, que são: enunciar objetivos, selecionar experiências, organizar experiências e avaliar.

A busca pela melhoria da qualidade da Educação, legitimada pela CF de 1988 (Brasil, 1988), em seu artigo 206, inciso VII, que estabelece os oito princípios para que o Ensino seja ministrado, sendo um deles a garantia de padrão de qualidade, tornou-se um compromisso em todas as esferas governamentais. A universalização da oferta da Educação Básica não representou a conquista de parâmetros de qualidade e/ou equidade. Para além de garantir o acesso à escola, tornou-se imprescindível a busca por estratégias que promovessem a permanência e a aprendizagem dos alunos.

Em meio a esse panorama, os estudos de Sawicki e Pagliarin (2018) apontam que no contexto das reformas educacionais, surgiram vários programas nacionais com foco na melhoria da qualidade da Educação. Dentre esses, emerge a política de avaliação em larga escala, num contexto de “verificação da aprendizagem dos alunos e de certo controle de resultados, por conta dos investimentos em Educação” (Sawicki; Pagliarin, 2018, p. 26).

No Brasil, a política de avaliação educacional avançou significativamente desde a década de 1990, com a criação do Sistema Nacional de Avaliação da Educação Básica (Saeb), que avalia todos os níveis e modalidades de Ensino, com o objetivo de produzir um diagnóstico da Educação pública brasileira e fornecer subsídios para formulação e monitoramento de políticas públicas educacionais.

O estado do Ceará, por meio da Secretaria da Educação (Seduc), desde 1992, instituiu um sistema próprio de avaliação: o Spaece. Esse sistema tem como objetivo fornecer um diagnóstico da rede estadual de Educação Básica e, com base nos resultados produzidos, subsidiar a construção de políticas públicas educacionais para a melhoria da qualidade do Ensino ofertado na rede estadual e nas redes municipais. No entanto, inicialmente, esse sistema foi chamado de Avaliação do Rendimento Escolar dos alunos de 4ª e 8ª séries, conhecido no cotidiano das escolas como Avaliação das quartas e oitavas, sendo também chamado, depois de algum tempo, de Avaliação da Qualidade do Ensino, o qual, em 1996, recebe uma nova denominação e dá origem ao Spaece (Ceará, 2009).

De acordo com Hippolyto (2013, p. 45), os testes aplicados, inicialmente, foram elaborados e estruturados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep)/MEC, a partir dos conteúdos mínimos do currículo escolar e seguindo um modelo de avaliação em larga escala com a mesma estrutura do Saeb, no intuito de realizar uma comparação entre os resultados.

Até então, utilizava-se a Teoria Clássica dos Testes (TCT), que se baseia na análise dos percentuais de erros e acertos e passou-se a utilizar a Teoria de Resposta ao Item (TRI), que dá destaque ao desempenho do aluno em cada item e a representatividade desse item em uma escala de proficiência.

Apesar de o Spaece vir se consolidando como uma política de avaliação educacional, permitindo um diagnóstico detalhado da qualidade da Educação no Estado do Ceará, a interpretação dos dados e o uso pedagógico dos resultados nas escolas ainda era incipiente para o momento, demonstrando um cenário com traços das políticas de accountability na Educação cearense.

O Spaece utiliza três tipos de questionários: o primeiro é dirigido aos alunos, permitindo a elaboração de indicadores relacionados ao perfil socioeconômico e hábitos de estudo, abrangendo também algumas dimensões do ambiente de aprendizagem; o segundo destina-se aos professores da Língua Portuguesa e Matemática; e o terceiro, aos diretores. Tais questionários possibilitam traçar o perfil educacional, a experiência e a formação profissional, a prática docente e a gestão escolar de todos os envolvidos na área educacional, propiciando a associação entre o desempenho dos alunos e as variáveis contextuais (Universidade Federal de Juiz de Fora, 2018).

As informações obtidas por esses questionários revelam os dados socioeconômicos dos alunos e seus hábitos de estudo, e o perfil e a prática de professores e diretores das escolas avaliadas. Tais informações traçam um diagnóstico da aprendizagem dos alunos, delineando as forças e fragilidades da oferta do Ensino e caracterizando o contexto das escolas, dos professores e gestores da rede estadual.

No ano de 2007, a Seduc ampliou a abrangência do Spaece, incorporando a avaliação da alfabetização e expandindo a avaliação do Ensino Médio para as três séries, de forma censitária. O Spaece passa a compreender a avaliação de leitura dos alunos do 2º ano do Ensino Fundamental (Spaece-Alfa), o domínio das competências e das habilidades esperadas para as demais etapas de escolaridade, nas disciplinas Língua Portuguesa e Matemática para os alunos do 5º e 9º anos e nas turmas de 1º, 2º e 3º ano do Ensino Médio. As informações coletadas, a cada edição, identificam o nível de proficiência e a evolução do desempenho dos alunos do Estado (Ceará, 2015).

Na edição do ano de 2008, a aplicação do Spaece passa a se realizar anualmente e o Centro de Políticas Públicas e Avaliação da Educação (CAEd), pertencente à Universidade Federal de Juiz de Fora (UFJF), assume a realização dessa avaliação.

Atrelado a essa busca por permanência e a aprendizagem dos alunos, está à eficiência, que segundo o dicionário Houaiss, define-se como a competência (de uma pessoa, máquina, técnica ou empreendimento) de conseguir o melhor rendimento com o mínimo de erros, energia, tempo, dinheiro, mão de obra, materiais, máquinas ou, simplesmente, meios, Houaiss (2001). Na economia, este conceito pode ser redefinido como a capacidade de utilizar, da melhor maneira possível, os escassos recursos disponíveis para obter o desempenho ótimo nos trabalhos socialmente necessários.

Para Lovell (1993), a eficiência de uma unidade produtiva “é entendida como uma comparação entre valores observados e valores ótimos de insumos e produtos”. Nas palavras de Peña (2008, p. 85), eficiência é a “combinação ótima dos insumos e métodos necessários (entradas) no processo produtivo de modo que gerem o máximo de produto (saída)”. Neste sentido, a eficiência é a comparação entre a quantidade de produtos que foram produzidos e a quantidade de produtos que poderiam ter sido produzidos, dado um determinado nível de insumos.

Logo, para garantir essa “qualidade”, é preciso ser eficiente, como requisito para o desenvolvimento de uma política de avaliação de forma a trazer a público os resultados, na intenção de se buscar formas de superação dos resultados obtidos até então (Gatti, 2009).

4 Polo Morfológico

O referido polo visa apresentar as regras de estruturação e de formulação do objeto científico. Demonstra os aspectos práticos por intermédio das teorias relacionadas à aplicação metodológica, o processo de construção dos modelos utilizados.

4.1 Metodologia

Trata-se de um artigo de análise documental e abordagem qualitativa e quantitativa. Segundo Ludke e André (1986, p. 38) “análise documental constitui em uma técnica importante na pesquisa qualitativa, seja complementando informações obtidas por outras técnicas, seja desvelando aspectos novos de um tema ou problema”. Utilizou-se também a modelagem DEA que segundo Casado (2007, p. 60) “é uma técnica não paramétrica que emprega programação matemática para construir fronteiras de produção de unidades produtivas as Decision Making Units – DMU’s”.

O DEA permite avaliar a eficiência por duas maneiras: com orientação a input, que visa à minimização dos fatores de produção (insumos), mantendo um nível fixo de produção; e orientação a output, no qual se busca a maximização do nível de produção, mantendo os insumos fixos (Cavalcante; Leite, 2013). Os modelos DEA mais utilizados são o CCR (Charnes, Cooper e Rhodes), onde nesse modelo presume-se que as unidades possuem retorno constante de escala e o BCC (Banker, Charnes, Cooper) já nesse modelo admite-se retornos variáveis de escala, ora crescente, ora constante, ora decrescente.

Nesta pesquisa adotou-se o modelo clássico BCC-O, o qual trabalha com retornos variáveis de escala (VRS - variable returns of scale) e com orientação para outputs. Peña (2008, p. 94) diz que tal modelo “forma uma fronteira convexa eficiente com as melhores unidades, independentemente da escala de operação e, passando a ‘envelopar’ as unidades ineficientes para cada escala de produção”. Já Belloni (2000, p. 68-69), ressalta que o modelo BCC “admite que a eficiência máxima varie em função da economia de escala e permite comparar unidades de portes distintos”.

A modelagem matemática do modelo BCC-O está apresentada a seguir:

Max h

Sujeito a

$\sum _{k=1}^n{x}_{i{k}_{k_k}}+F_i=x_{i0},\forall i$ (Eq.1)

$\sum _{k=1}^n{y}_{jk}{\lambda }_k-F_{j-}h{y}_{j0}=0,\forall j$ (Eq.2)

$\sum _k{\lambda }_K=1$ (Eq.3)

$h_k\ge 0\forall ke{\lambda }_K\ge 0\forall k$ (Eq.4)

Onde:

h - Eficiência;

x_ik, y_ik - inputs i e outputs j da DMU_k;

x_i0, y_j0 - inputs i e outputs j da DMU₀;

λ_k - k-ésima coordenada da DMU₀ em uma base formada pelas DMU de referência.

A eficiência será balizada pelas DMU que apresentarem o valor igual a 1, ou seja, 100% de eficiência em relação às demais unidades.

Para identificar as principais práticas docentes desenvolvidas pela(s) escola(s) eficiente(s), foi aplicado um questionário por meio do google forms aos professores das disciplinas de Língua Portuguesa e Matemática.

5 Polo Técnico

Conforme Bruyne, Herman and Schoutheete (1977), este polo é o espaço de investigação e reflexão acerca das variáveis tornam-se essenciais para observar o contexto e a realidade. Sendo assim, “[...] o polo técnico trata dos procedimentos de coleta das informações, das transformações destas últimas em dados pertinentes à problemática geral” (Bruyne; Herman; Schoutheete, 1977, p. 201).

O lócus da pesquisa a ser considerado são as 21 escolas estaduais do Ensino Médio da região 4 do município de Fortaleza (CE), o qual serão as DMU. Já os fatores de inputs considerados insumos são: número de alunos matriculados, biblioteca, laboratórios, sala de atendimento especial e quadra esportiva, esses dados foram retirados do censo escolar.

Para os fatores de outputs considerados os produtos foram: Nota obtida pelas escolas da região 4 nas proficiências de língua portuguesa e matemática do Ensino Médio do Spaece das edições de 2022 e 2023. Para tanto, levou-se em consideração os preceitos de Nunamaker (1985) onde recomenda que o quantitativo de fatores a ser aplicado na pesquisa, deve ter o número de DMU, no mínimo, três vezes maior do que a soma de outputs e inputs incluídos na especificação.

Para análise dos dados foi utilizado o software OSDEA-GUI-v0.2.jar e para a construção dos gráficos e das tabelas, foi utilizado o software Excel (versão 2010).

Por conseguinte, a Tabela 1 demonstra o levantamento dos dados da proficiência de Língua Portuguesa e a Tabela 2 os dados da proficiência de Matemática do Spaece nas edições de 2022 e 2023 das escolas da região 4 do município de Fortaleza.

Tabela 1
Dados da Proficiência em Língua Portuguesa (LP) do Spaece 2022 e 2023

DMU	Proficiência LP 2022	Proficiência LP 2023
Governador Adauto Bezerra	289.3	301.7
Anísio Teixeira	252.7	254.0
Instituto de Educação do Ceará	270.1	261.6
Estado do Paraná	279.2	285.6
Joaquim Moreira de Sousa	312.2	316.3
João Mattos	262.0	262.5
Estado do Amazonas	283.5	291.8
Senador Fernandes Távora	281.3	283.8
Figueiredo Correia	298.9	296.5
Professor Hermenegildo Firmeza	256.8	261.4
Presidente Humberto de Alencar Castelo Branco	291.3	282.0
Marechal Humberto de Alencar Castelo Branco	253.7	269.8
Professor Jader Moreira de Carvalho	269.5	257.1
Jenny Gomes	298.4	297.2
Joaquim Alves	260.7	264.3
Professor Coronel José Aurélio Câmara	269.7	285.7
Juarez Távora	284.4	311.0
Paulo VI	306.7	302.7
Maria Thomasia	288.4	282.3
Professor Mario Schenberg	259.8	253.7
São João Piamarta	276.4	276.7

Fonte: Elaborada pelos autores (2024)

Tabela 2
Dados da Proficiência em Matemática (MT) do Spaece 2022 e 2023

DMU	Proficiência MT 2022	Proficiência MT 2023
Governador Adauto Bezerra	276.9	290.4
Anísio Teixeira	241.7	243.4
Instituto de Educação do Ceará	255.1	258.8
Estado do Paraná	258.6	271.7
Joaquim Moreira de Sousa	312.2	310.7
João Mattos	251.1	251.4
Estado do Amazonas	271.2	270.7
Senador Fernandes Távora	267.9	281.0
Figueiredo Correia	285.2	289.9
Professor Hermenegildo Firmeza	245.5	245.0
Presidente Humberto de Alencar Castelo Branco	280.4	260.9
Marechal Humberto de Alencar Castelo Branco	245.5	265.0
Professor Jader Moreira de Carvalho	256.3	255.4
Jenny Gomes	287.2	291.3
Joaquim Alves	244.3	243.0
Professor Coronel José Aurélio Câmara	255.3	260.0
Juarez Távora	284.3	304.4
Paulo VI	292.7	290.9
Maria Thomasia	269.6	276.9
Professor Mario Schenberg	249.9	248.7
São João Piamarta	263.5	267.5

Fonte: Elaborada pelos autores (2024)

Após a aplicação dos dados no software OSDEA-GUI-v0.2.jar, foi elaborado um questionário no google forms e encaminhado aos respondentes (diretor da escola e professores de língua portuguesa e matemática da(s) escola(s)com maior incidência no benchmark e considerada(a) como eficiente pelo software. Abaixo as questões do questionário:

1. Qual(is) a(s) matriz(es) que orienta a sua prática em sala de aula?

2. A que você atribui o êxito da escola no Spaece?

3. Que práticas são exercidas pela escola, para garantia do bom desempenho na prova do Spaece?

4. A escola possui algum projeto que visa garantir o sucesso do aluno nas avaliações em larga escala? Especificar.

5. Em sala de aula, junto à gestão pedagógica, que ações são promovidas junto aos alunos que apresentam baixo desempenho escolar na sua disciplina?

5.1 Resultados e discussões

Por se tratar do estudo cujo objetivo é avaliar a eficiência das DMU na maximização do uso de outputs, utilizou-se a modelagem DEA, modelo BCC-O, o qual trabalha com uma análise com retornos variáveis de escala (VRS). Na Tabela 3 apresenta os resultados oriundos do DEA BCC-O da proficiência de Língua Portuguesa.

Tabela 3
Resultado da análise do modelo DEA BCC-O - Língua Portuguesa

DMU Name	Objective Value	Efficient
Governador Adauto Bezerra	0,954
Anísio Teixeira	0,809
Instituto de Educação do Ceará	1	Yes
Estado do Paraná	1	Yes
Joaquim Moreira de Sousa	1	Yes
João Mattos	0,849
Estado do Amazonas	0,984
Senador Fernandes Távora	1	Yes
Figueiredo Correia	1	Yes
Professor Hermenegildo Firmeza	0,856
Presidente Humberto de Alencar Castelo Branco	0,954
Marechal Humberto de Alencar Castelo Branco	0,895
Professor Jader Moreira de Carvalho	0,903
Jenny Gomes	1	Yes
Joaquim Alves	0,867
Professor Coronel José Aurélio Camara	0,947
Juarez Távora	1	Yes
Paulo VI	1	Yes
Maria Thomasia	0,964
Professor Mario Schenberg	1	Yes
São João Piamarta	0,948

software

Conforme evidenciado na Tabela 3, pode-se observar que das 21 (vinte e uma) DMU, 09 (nove) obtiveram o valor objetivo igual a 1 se mostrando mais eficientes quando nos referimos a Proficiência em Língua Portuguesa, porém percebe-se também que a EEMTI Estado do Amazonas atingiu um valor objetivo de 0,984 bem próximo da eficiência. Porém, destaca-se que as escolas com menor eficiência, não apresentam um valor objetivo tão baixo, visto que o menor valor foi da EEFM Anísio Teixeira com 0,809.

O Gráfico 1 expõe os resultados das 21 DMU pelo DEA na proficiência de língua portuguesa demonstrando as que atingiram a fronteira de eficiência (ρ = 1), ou seja, que alcançou 100% de eficiência.

Gráfico 1
Resultado da eficiência das DMU’s analisadas na Proficiência em Língua Portuguesa

Já a Tabela 4 apresenta o resultado do DEA BCC-O da proficiência de matemática.

Tabela 4
Resultado da análise do modelo DEA BCC-O - Matemática

DMU Name	Objective Value	Efficient
Governador Adauto Bezerra	0,935
Anísio Teixeira	0,783
Instituto de Educação do Ceará	1	Yes
Estado do Paraná	1	Yes
Joaquim Moreira de Sousa	1	Yes
João Mattos	0,824
Estado do Amazonas	0,951
Senador Fernandes Távora	1	Yes
Figueiredo Correia	1	Yes
Professor Hermenegildo Firmeza	0,840
Presidente Humberto de Alencar Castelo Branco	0,962
Marechal Humberto de Alencar Castelo Branco	0,899
Professor Jader Moreira de Carvalho	0,892
Jenny Gomes	1	Yes
Joaquim Alves	0,835
Professor Coronel José Aurélio Camara	0,881
Juarez Távora	1	Yes
Paulo VI	1	Yes
Maria Thomasia	0,953
Professor Mario Schenberg	1	Yes
São João Piamarta	0,943

software

Os resultados da Tabela 4 apontam que 09 DMU foram consideradas mais eficientes na proficiência em matemática, e verifica-se que foram as mesmas escolas que atingiram a fronteira da eficiência na proficiência de Língua Portuguesa. A Escola de Ensino Fundamental e Médio (EEFM) Anísio Teixeira também obteve o menor valor objetivo na proficiência em matemática com 0,783.

O Gráfico 2 demonstra os resultados das 21 DMU referente a proficiência em matemática, o qual pode-se verificar quais escolas conseguiram atingir a fronteira de eficiência entre as DMU pesquisadas.

Gráfico 2
Resultado da eficiência das DMU analisadas na Proficiência em Matemática

Após a identificação das escolas consideradas “eficientes” pela modelagem DEA BCC-O, o Quadro 1 mostra as DMU referência do benchmark.

Quadro 1
DMU referência do Benchmark

DMU	Eficiência	DMU referência
Governador Adauto Bezerra	95%	Joaquim Moreira de Sousa
Anísio Teixeira	81%	Joaquim Moreira de Sousa
Instituto de Educação do Ceará	100%
Estado do Paraná	100%
Joaquim Moreira de Sousa	100%
João Mattos	85%	Joaquim Moreira de Sousa, Figueiredo Correia
Estado do Amazonas	98%	Figueiredo Correia
Senador Fernandes Távora	100%
Figueiredo Correia	100%
Professor Hermenegildo Firmeza	86%	Juarez Távora, Paulo VI
Presidente Humberto de Alencar Castelo Branco	95%	Figueiredo Correia, Paulo VI
Marechal Humberto de Alencar Castelo Branco	90%	Figueiredo Correia, Juarez Távora
Professor Jáder Moreira de Carvalho	90%	Jenny Gomes
Jenny Gomes	100%
Joaquim Alves	87%	Figueiredo Correia, Juarez Távora, Paulo VI
Professor Coronel José Aurélio Câmara	95%	Joaquim Moreira de Sousa, Figueiredo Correia
Juarez Távora	100%
Paulo VI	100%
Maria Thomasia	96%	Joaquim Moreira de Sousa, Figueiredo Correia
Professor Mario Schenberg	100%
São João Piamarta	95%	Senador Fernandes Távora, Jenny Gomes

Fonte: Elaborado pelos autores (2024)

De acordo com o Quadro 1, a DMU referência, demonstra a quantidade de vezes em que as DMU referência aparecem durante a modelagem DEA. A partir dessa análise, identificou-se que a DMU EEFM Figueiredo Correia aparece 7 vezes e a DMU Escolas Estaduais de Educação Profissional (EEEP) Joaquim Moreira de Sousa aparece 5 vezes. Portanto, estas 2 escolas são tidas como modelos para as outras escolas consideradas ineficientes. Após a identificação dessas 2 escolas (DMU referência) foi aplicado questionário por meio do google forms aos professores de língua portuguesa e matemática do Ensino Médio das duas escolas. A primeira escola eficiente EEFM Figueiredo Correia são 6 (seis) professores, e a EEEP Joaquim Moreira de Sousa apresentou um total de 6 (seis) professores. Na EEFM Figueiredo Correia 100% dos professores responderam o questionário, sendo 67% de LP e 33% de MT. Já na aplicação do questionário aos professores da EEEP Joaquim Moreira de Sousa apenas 5 (cinco) responderam, o que representa 83,33%. Dentre os participantes 40% são professores de matemática (MT) e 60% professores de língua portuguesa (LP).

Quando perguntados sobre qual a matriz que orienta a sua prática em sala de aula, 40% dos professores da Joaquim Moreira responderam que utilizam a matriz do Exame Nacional do Ensino Médio (Enem) e 40% fazem uso da matriz do Spaece e 20% responderam outras matrizes. Enquanto na escola Figueiredo Correia 67% dos professores utilizam a matriz do Spaece e 33% a matriz do Enem. Percebe-se que há uma preferência por ambas as escolas em utilizar a matriz do Spaece na prática em sala de aula.

Quando perguntados sobre: “A que você atribui o êxito da escola no Spaece”, o Quadro 2 evidencia as respostas de ambas as escolas. Sendo o total de 11 respondentes entre as duas escolas referência (DMU referência).

Quadro 2
Êxito da escola no Spaece

DMU Referência	Variáveis	Respondentes	Porcentagem
Figueiredo Correia Joaquim Moreira de Sousa	Dedicação e compromisso dos professores e gestão da escola	4	37%
Figueiredo Correia Joaquim Moreira de Sousa	Trabalho com resolução de exercícios em sala de aula, simulados	3	27%
Figueiredo Correia	Identificação dos conteúdos com maior dificuldade pelos alunos	1	9%
Joaquim Moreira de Sousa	Planejamento e trabalho com os conteúdos básicos	1	9%
Joaquim Moreira de Sousa	Exercícios similares ao Spaece e Enem	1	9%
Joaquim Moreira de Sousa	Empenho dos professores aos alunos	1	9%
Total		11	100%

Fonte: Elaborado pelos autores (2024)

Já na pergunta “Que práticas são exercidas pela escola, para garantia do bom desempenho na prova do Spaece” os respondentes da EEFM Figueiredo Correia e da EEEP Joaquim Moreira de Sousa apontaram as seguintes variáveis relacionadas no Quadro 3.

Quadro 3
As práticas exercidas pelas escolas

DMU Referência	Variáveis	Respondentes	Porcentagem
Figueiredo Correia	Atividades de Leitura e interpretação de texto	1	9%
Figueiredo Correia	Uso de tecnologias e laboratório para aprendizagem	1	9%
Figueiredo Correia	Reforço aos alunos com dificuldade	2	18%
Figueiredo Correia Joaquim Moreira de Sousa	Tira-dúvidas, simulados e preparação específica para Spaece	5	46%
Figueiredo Correia	Monitoria de Língua Portuguesa	1	9%
Joaquim Moreira de Sousa	Aulas preparatórias para Spaece	1	9%
Total		11	100%

Fonte: Elaborado pelos autores (2024)

Percebe-se que ambas as escolas apontaram com maior incidência o uso de “Tira-dúvidas, simulados e preparação específica para Spaece” como variável para a prática exercida para garantir o bom desempenho nas provas do Spaece.

A pergunta “A escola possui algum projeto que visa garantir o sucesso do aluno nas avaliações em larga escala” os respondentes da EEFM Figueiredo Correia e da EEEP Joaquim Moreira de Sousa revelaram no Quadro 4 as seguintes ações.

Quadro 4
Projetos realizados nas escolas

DMU Referência	Variáveis	Respondentes	Porcentagem
Figueiredo Correia	Programa de monitoria de língua portuguesa	2	18%
Figueiredo Correia	Projeto Aulas de reforço no contraturno	2	18%
Figueiredo Correia	Projeto Enem, Spaece	1	9%
Joaquim Moreira de Sousa	Aulas preparatórios para o Spaece e Enem	3	28%
Joaquim Moreira de Sousa	Avaliações continuadas	1	9%
Figueiredo Correia Joaquim Moreira de Sousa	Não desenvolve projetos e/ou souberam responder	2	18%
Total		11	100%

Fonte: Elaborado pelos autores (2024)

Quanto ao item projetos desenvolvidos pelas escolas, identificou-se que a escola Figueiredo Correia oportuniza vários projetos para os alunos do Ensino Médio visando a melhora da aprendizagem e consequentemente o crescimento das médias de proficiência no Spaece, enquanto a escola Joaquim Moreira foca no desenvolvimento de “aulas preparatórios para o Spaece e Enem”.

E por último foi perguntado “quais ações são promovidas junto aos alunos que apresentam baixo desempenho escolar na sua disciplina”, os respondentes das escolas Figueiredo Correia e Joaquim Moreira salientaram as ações desenvolvidas, no Quadro 5 são apresentadas essas ações.

Quadro 5
Ações promovidas pelas escolas

DMU Referência	Variáveis	Respondentes	Porcentagem
Figueiredo Correia	Planejamento semanal de Língua Portuguesa e Matemática	2	18%
Figueiredo Correia	Uso de materiais didáticos diversificados	1	9%
Figueiredo Correia	Maior proximidade entre os alunos e a escola.	1	9%
Figueiredo Correia Joaquim Moreira de Sousa	Revisão de conteúdos, recuperação paralela, atividades complementares, resolução de questões, discussões sobre os temas envolvidos, aulas mais lúdicas e aulas no contraturno	4	37%
Joaquim Moreira de Sousa	Aulas particulares para estes alunos	1	9%
Joaquim Moreira de Sousa	Os alunos são separados por nível para melhor assistência e realizando atenção às necessidades desse aluno e além de fazer o acompanhamento.	2	18%
Total		11	100%

Fonte: Elaborado pelos autores (2024)

Verificou-se que ambas as escolas realizam 37% de suas ações voltadas para a “revisão de conteúdos, atividades complementares, resolução de questões, discussões sobre os temas envolvidos, aulas mais lúdicas e aulas no contraturno”.

Embora o recorte temporal da presente pesquisa se dê entre os anos de 2022 e 2023, é importante frisar que mesmo vivenciando um período pós-pandêmico os resultados do Spaece da edição 2022, o nível de aprendizagem se manteve estável, mesmo após dois anos da pandemia do Covid-19.

O Quadro 6 expõe as melhores práticas das DMU - EEFM Figueiredo Correia e da EEEP Joaquim Moreira de Sousa, as que apresentaram maior incidência dentre as mais eficientes conforme a aplicação do software OSDEA-GUI-v0.2.jar. Foram estabelecidos indicadores referência para identificação destas práticas - Benchmark.

Quadro 6
Melhores práticas para as DMU menos eficientes

Fatores de êxito da escola no Spaece
Dedicação e compromisso dos professores e gestão da escola
Trabalho com resolução de exercícios em sala de aula, simulados
Práticas para o bom desempenho da escola
Reforço aos alunos com dificuldade
Tira-dúvidas, simulados e preparação específica para Spaece
Desenvolvimento de projeto para os alunos
Programa de monitoria de língua portuguesa
Projeto Aulas de reforço no contraturno
Projeto Enem, Spaece
Aulas preparatórios para o Spaece e Enem
Ações para alunos com baixo rendimento
Plantões para tirar dúvidas
Recuperação paralela de conteúdos
Planejamento personalizado às dificuldades
Aulas no contraturno
Uso de materiais didáticos diversificados
Atividades complementares e resolução de questões

Fonte: Elaborado pelos autores (2024)

Deste modo, pode-se dizer que essa modelagem matemática visa identificar unidades escolares, as DMU referência, que sirvam de modelo de melhores práticas (benchmark) para as demais escolas que apresentaram ineficiência.

6 Considerações Complementares

Diante deste estudo, que se propõe avaliar a eficiência das escolas estaduais do Ensino Médio da região 4 do município de Fortaleza por meio dos resultados da proficiência de Língua Portuguesa e Matemática obtidos no Spaece, das edições de 2022 e 2023, por meio do DEA, modelo BCC-O introduzido por Banker, Charnes, Cooper (1984) e com retornos variáveis de escala (VRS), onde inicialmente analisou-se os dados de 21 (vinte e uma) escolas que compõem a Região 4, dentre seus inputs número de alunos matriculados, biblioteca, laboratórios, sala de atendimento especial e quadra esportiva e seus outputs a nota obtida pelas escolas da região 4 nas proficiências de língua portuguesa e matemática do Ensino Médio do Spaece das edições de 2022 e 2023.

Conforme resultado da análise da modelagem DEA BCC-O, identificou-se que 09 (nove) escolas obtiveram o valor objetivo igual a 1 (um), revelando-se como as escolas mais eficientes. Após conhecer as escolas mais eficientes por meio da modelagem DEA, foi aplicado junto aos professores de Língua Portuguesa e Matemática, um questionário a fim de dar voz aos professores, atores sociais, para identificar as principais ações desenvolvidas pelas escolas consideradas eficientes e que mais se repetiu no benchmark.

A EEFM Figueiredo Correia é uma escola com 160 alunos matriculados sendo um total de 20 professores lotados nas 1ª, 2ª e 3ª séries do Ensino Médio, onde 4 são de Língua Portuguesa e 2 de Matemática, os professores destacaram várias ações como a dedicação, compromisso da equipe, planejamento, reforço dos conteúdos, uso de materiais diversificados e um planejamento semanal para as disciplinas de Língua Portuguesa e Matemática. Já a EEEP Joaquim Moreira de Sousa possui no total 397 professores e no Ensino Médio 22, onde 3 são professores de Matemática e 3 de Língua Portuguesa, e as principais ações desenvolvidas como revisão de conteúdos, atividades complementares, resolução de questões, discussões sobre os temas envolvidos, aulas mais lúdicas e oralizadas e aulas particulares para os alunos com baixo rendimento.

Essas melhores práticas (benchmarking) podem ser compartilhadas com as outras escolas, para que elas possam atingir nas próximas avaliações a fronteira da eficiência. Como trabalhos futuros recomenda-se que sejam investigadas as práticas e ações das outras DMU referência.

Referências

• BACHELARD, G. A formação do espírito científico: contribuição para uma psicanálise do conhecimento. Rio de Janeiro: Contraponto, 1996.
• BARBOSA, F. C.; FUCHIGAMI, H. Y. Análise envoltória de dados: teoria e aplicações práticas. Goiás: Ulbra, 2018.
• BARDIN, L. Análise de conteúdo. Lisboa: Edições 70, 1977.
• BELLONI, J. A. Uma metodologia de avaliação da eficiência produtiva de Universidades Federais Brasileiras. Tese (Doutorado em Engenharia de Produção e Sistemas) - Universidade Federal de Santa Catarina, Florianópolis. 2000.
• BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 23 dez. 1996.
• BRASIL. Senado Federal. Constituição da República Federativa do Brasil. Brasília, DF, 1988.
• BRITO, M.; LUCENA, I.; VIEIRA, E. Avaliação e pressupostos bachelardianos: tecendo relações para a formação docente em Ciências e Matemática. Amazônia: Revista de Educação em Ciências e Matemáticas, Belém, v. 16, n. 36, 281, jul. 2020. https://doi.org/10.18542/amazrecm.v16i36.7308
  » https://doi.org/10.18542/amazrecm.v16i36.7308
• BRUYNE, P.; HERMAN, J.; SCHOUTHEETE, M. Dinâmica da pesquisa em ciências sociais: os pólos da prática metodológica. Rio de Janeiro: F. Alves, 1977.
• Universidade Federal de Juiz de Fora. Coordenação de Monitoramentos e Indicadores. Boletim do Sistema de Avaliação: 9º ano do Ensino Fundamental; Ensino Médio; Educação de Jovens e Adultos - SPAECE 2018. Juiz de Fora, 2018. Disponível em: https://avaliacaoemonitoramentoceara.caeddigital.net/ #!/coleções
  » https://avaliacaoemonitoramentoceara.caeddigital.net/ #!/coleções
• CASADO, F. L. Análise envoltória de dados: conceitos, metodologia e estudo da arte na educação superior. Revista Sociais e Humanas, Santa Maria, v. 20, n. 1, p. 59-71, jan,-jun. 2007.
• CAVALCANTE, S. M. A.; LEITE, R. H. A aplicação da técnica de Análise Envoltória de Dados na avaliação de cursos de graduação da Universidade Federal do Ceará. In: LEITE, R. H.; RIBEIRO, A. P. M. (org.). Avaliação educacional: veredas, fronteira de eficiência. Fortaleza: UFC, 2013. p. 95-110.
• CEARÁ. Secretaria da Educação. Sistema Permanente de Avaliação da Educação Básica do Ceará - SPAECE 2009. Boletim Pedagógico de Avaliação: Matemática, Ensino Médio. Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd.v. 1 (jan/dez. 2009), Juiz de Fora, 2009.
• CEARÁ. Secretaria da Educação. Boletim da gestão escolar. SPAECE - 2015/ Universidade Federal de Juiz de Fora: Faculdade de Educação, 2015. Disponível em: https://avaliacaoemonitoramentoceara.caeddigital.net/#!/colecoes
  » https://avaliacaoemonitoramentoceara.caeddigital.net/#!/colecoes
• GATTI, B. Avaliação de sistemas educacionais no Brasil. Sísifo: Revista de Ciências da Educação, n. 9, , p. 7-18, maio/ago. 2009.
• GOUVEIA, L. B.; NOUGUEIRA, D. O método Quadripolar e a sua aplicação em trabalhos científicos. PRISMA.COM, v. 46, n. 1, p. 3-23, 2021. Disponível em: https://ojs.letras.up.pt/index.php/prismacom/article/view/11924/10841
  » https://ojs.letras.up.pt/index.php/prismacom/article/view/11924/10841
• HIPPOLYTO, L. Q. Avaliação dos resultados do SPAECE da 3ª série do ensino médio, em matemática, no Ceará, e sua repercussão na prática pedagógica dos professores: um estudo descritivo dos anos 2008, 2009 e 2010. Dissertação (Mestrado em Ensino de Ciências e Matemática) - Universidade Federal do Ceará, Fortaleza, 2013.
• HOUAISS, A. Dicionário Houaiss da Língua Portuguesa. Rio de Janeiro: Objetiva, 2001.
• LIMA, M. A. M. Avaliação de programas educacionais em organizações: contrato de avaliação e indicadores de aproveitamento. Fortaleza: Editora UFC, 2005.
• LOVELL, C. A. K. Production frontiers and productive efficiency. In: FRIED, H. O.; LOVELL, C. A. K; SCHMIDT, S. S. (eds.). The measurement of productive efficiency: techniques and applications. Oxford: Oxford University Press, 1993. p. 3-67.
• LÜDKE, M.; ANDRÉ, M. E.D.A. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986.
• NUNAMAKER, T. R. Using data envelopment analysis to measure the efficiency of non-profit organizations: a critical evaluation. Managerial and Decision Economics, London, v. 6, n. 1, p. 50-58, Mar. 1985. https://doi.org/10.1002/mde.4090060109
  » https://doi.org/10.1002/mde.4090060109
• ROSANO PEÑA, C. Um modelo de avaliação da eficiência da administração pública através do método análise envoltória de dados (DEA). Revista de Administração Contemporânea, Curitiba, v. 12, n. 1, p. 83-106, mar. 2008. https://doi.org/10.1590/S1415-65552008000100005
  » https://doi.org/10.1590/S1415-65552008000100005
• SANTOS, F. D. G.; CIASCA, M. I. F. L. A perspectiva do acompanhamento longitudinal da aprendizagem dos alunos do ensino médio através dos resultados do SPAECE. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 51, p. 116-134, 2012. https://doi.org/10.18222/eae235120121951
  » https://doi.org/10.18222/eae235120121951
• SAWICKI, S. S.; PAGLIARIN, L. L. P. Gestão escolar e avaliação em larga escala: realidades, possibilidades e desafios. Revista de Gestão e Avaliação Educacional, Santa Maria, v. 7, n. 16, p. 25-39, set.-dez. 2018. https://doi.org/10.5902/2318133832461
  » https://doi.org/10.5902/2318133832461
• TYLER, R. W. Princípios básicos de currículo e ensino. 4. ed. Porto Alegre: Globo, 1977.
• VIANNA, H. M. Avaliação educacional: teoria, planejamento, modelos. São Paulo: Ibrasa, 2000.
• VIANNA, H. M. Introdução à avaliação educacional. São Paulo: Ibrasa, 1989.

• Dados: Todo o conjunto de dados que dá suporte aos resultados deste estudo está disponível no repositório Zenodo https://zenodo.org/doi/10.5281/zenodo.11662247

Disponibilidade de dados

Dados: Todo o conjunto de dados que dá suporte aos resultados deste estudo está disponível no repositório Zenodo https://zenodo.org/doi/10.5281/zenodo.11662247

Datas de Publicação

• Publicação nesta coleção
  12 Ago 2024
• Data do Fascículo
  Jul 2024

Histórico

• Recebido
  01 Maio 2023
• Aceito
  18 Jun 2024