Avaliação de eficiência de universidades federais brasileiras: uma abordagem pela Análise Envoltória de Dados

Evaluación de la eficiencia de las universidades federales brasileñas: un enfoque de Análisis Envolvente de Datos

Resumo

A educação superior, além de desempenhar um fundamental papel social, tem seu desempenho intrinsecamente ligado ao desenvolvimento econômico de um país. A recente crise mundial provocada pela pandemia de coronavírus trouxe fortes impactos para o sistema educacional, como a redução de 8,61% do orçamento público destinado à educação no Brasil para o ano de 2021 quando comparado aos valores de 2020. Fato que agravou ainda mais um cenário já existente de desmantelamento da educação pública. A identificação de instituições ineficientes, com problemas de alocação de recursos públicos, se apresenta como alternativa de início de um processo de melhoria para o desenvolvimento do setor público. Este trabalho se propõe a avaliar a eficiência das universidades federais brasileiras, no período de 2017 a 2021, através da aplicação de indicadores de performance definidos pelo Tribunal de Contas da União para Instituições de Ensino Superior na metodologia DEA com foco nos indicadores de saída, além de estabelecer uma classificação das unidades avaliadas, e determinar as eficientes e as ineficientes. Através do estudo realizado, é possível conjecturar que a pandemia de COVID-19 impactou a eficiência das universidades federais brasileiras, pois estas apresentaram uma redução de 0,95% em sua média entre os anos de 2019 e 2021; além disso, outra percepção importante é o desempenho das universidades da região Norte do país, que possuem a melhor média de coeficiente de eficiência dentre todas as regiões.

Palavras-chave: educação superior; eficiência; DEA; envoltória de dados

Resumen

La educación superior, además de desempeñar un papel social fundamental, está intrínsecamente ligada al desarrollo económico de un país. La reciente crisis mundial causada por la pandemia del coronavirus ha tenido un fuerte impacto en el sistema educativo, como se refleja en la reducción del 8,61% del presupuesto público para la educación en Brasil para el año 2021 en comparación con los valores de 2020. Este hecho ha agravado aún más un escenario ya existente de desmantelamiento de la educación pública. La identificación de instituciones ineficientes, con problemas en la asignación de recursos públicos, se presenta como una alternativa para iniciar un proceso de mejora del sector público. Este trabajo propone evaluar la eficiencia de las universidades federales brasileñas en el período de 2017 a 2021 a través de la aplicación de indicadores de desempeño definidos por el Tribunal de Cuentas de la Unión para las instituciones de enseñanza superior, utilizando la metodología DEA con enfoque en los indicadores de output, establecer una clasificación de las unidades evaluadas y determinar las eficientes e ineficientes. A través del estudio realizado, es posible conjeturar que la pandemia del COVID-19 ha impactado en la eficiencia de las universidades federales brasileñas, que han presentado una reducción del 0,95% en su promedio entre los años 2019 y 2021. Además, otra percepción importante es el desempeño de las universidades de la región Norte del país, que tienen el mejor coeficiente de eficiencia promedio entre todas las regiones.

Palavras clave: enseñanza superior; eficiência; DEA; envolvimiento de datos

Abstract

Higher education, in addition to playing a fundamental social role, has its performance intrinsically linked to the economic development of a country. The recent global crisis caused by the coronavirus pandemic has had a strong impact on the educational system, such as the 8.61% reduction in the public budget allocated to education in Brazil for the year 2021 when compared to 2020 figures. This fact further aggravated an already existing scenario of dismantling public education. The identification of inefficient institutions, with problems in the allocation of public resources, is presented as an alternative to start an improvement process for the development of the public sector. This article proposes to evaluate the efficiency of Brazilian federal universities, from 2017 to 2021, through the application of performance indicators defined by the Federal Court of Auditors for Higher Education Institutions in the DEA methodology with a focus on output indicators, establish a a of the evaluated units, and to determine the efficient and the inefficient ones. Through this study, it is possible to conjecture that the COVID-19 pandemic impacted the efficiency of Brazilian federal universities, which presented a reduction of 0.95% in its average between the years 2019 and 2021, in addition, another important perception is the performance of universities in the North region of the country, which has the best average efficiency coefficient among all regions.

Keywords: higher education; efficiency; DEA; data envelopment

1 Introdução

A educação superior, além de desempenhar um fundamental papel social e de representar os maiores ideais de uma nação, através da criação e disseminação de conhecimento, tem seu desempenho intrinsecamente ligado ao desenvolvimento econômico de um país, de forma que seu financiamento atrai a atenção de economistas, pesquisadores e governantes em todo o mundo (DAULTANI; DWIVEDI; PRATAP, 2021; KAUR, 2021; MONCAYO–MARTÍNEZ; RAMÍREZ–NAFARRATE; HERNÁNDEZ–BALDERRAMA, 2020; ZHANG; WU; ZHU, 2020).

Na maioria dos países, assim como no Brasil, o governo federal é responsável pela manutenção das principais instituições de ensino superior (IES) (LEE; JOHNES, 2022), a quais se encontram diante de um cenário de grande e crescente demanda (NAVAS et al., 2020). No Brasil mais de 95% das vagas ofertadas no ensino superior são da rede privada, enquanto isso cerca de um terço dos alunos estão matriculados em instituições públicas (BRASIL, 2022).

Além disso, a recente crise mundial provocada pela pandemia de coronavírus trouxe fortes impactos para o sistema educacional. Em abril de 2020, um mês após a Organização Mundial de Saúde declarar estado de pandemia, 166 países já haviam implementado políticas nacionais de fechamento de instituições educacionais, como forma de conter a disseminação do vírus, afetando 84,5% de todos os estudantes do mundo (BENTO et al., 2021).

Um dos impactos da crise causada pela pandemia de COVID-19 no sistema educacional brasileiro foi a redução de 8,61% do orçamento público destinado à educação para o ano de 2021 quando comparado aos valores de 2020. Fato que agravou ainda mais um cenário já existente de desmantelamento da educação pública, uma vez que no período de 2014 a 2020 já existia uma redução de 28,5% nos recursos destinados à educação (WOICOLESCO; MOROSINI; MARCELINO, 2022).

Diante de todo esse contexto, a identificação de instituições ineficientes, com problemas de alocação de recursos públicos, se apresenta como alternativa de início de um processo de melhoria para o desenvolvimento do setor público (WHEELOCK; WILSON, 2008). Políticas públicas mais eficientes reduzem restrições no orçamento público, e atingem os mesmos resultados com menos recursos ou, ainda, melhoraram os resultados com os atuais investimentos (DUFRECHOU, 2016).

Deste modo, os gestores das IES públicas se veem pressionados a otimizar a alocação dos recursos financeiros a fim de aumentar sua eficiência diante de recursos cada vez mais escassos (DUAN, 2019; NOJAVAN; HEIDARI; MOHAMMADITABAR, 2021; TRAN; VILLANO, 2018).

A eficiência nas IES pode ser definida como a habilidade em obter o valor máximo em indicadores de saída dado um grupo de indicadores de entrada (VISBAL-CADAVID; MENDOZA; HOYOS, 2019). Um dos métodos mais utilizados pela literatura para a avaliação de eficiência em IES é a análise envoltória de dados (DEA) (WITTE; LÓPEZ-TORRES, 2017). Por apresentar características favoráveis à análise desse tipo de organização, é uma metodologia orientada a avaliar um grupo de unidades tomadoras de decisão, do inglês Decison Making Units (DMUs), que convertem indicadores de entrada (inputs) em indicadores de saída (outputs); permite trabalhar com múltiplos indicadores de entrada ou saída e oferece uma visão das forças e fraquezas das DMUs; além disso, possibilita a avaliação de diversos aspectos do setor educacional, através da qual é possível buscar o aumento de sua eficiência (WU et al., 2020).

Dessa forma, este trabalho se propõe a avaliar a eficiência das universidades federais brasileiras, no período de 2017 a 2021, através da aplicação indicadores de performance definidos pelo Tribunal de Contas da União (TCU) para IES na metodologia Análise Envoltória de Dados, do inglês Data Envelopment Analysis (DEA), com foco nos indicadores de saída. O que se busca é a elaboração de uma classificação das unidades avaliadas quanto à determinação das unidades eficientes e das ineficientes, a fim de responder à seguinte questão de pesquisa: Quais universidades federais brasileiras apresentaram maiores eficiências técnicas na aplicação de recursos públicos entre 2017 e 2021?

Alguns estudos, nesse sentido, já foram realizados no Brasil, por exemplo, um trabalho em que foi avaliada a eficiência dos Institutos Federais de Educação, Ciência e Tecnologia (EPCT) (PARENTE et al., 2021); em outro estudo, os autores avaliam a eficiência da aplicação de investimentos públicos em 59 universidades federais no período de 2013 a 2017, com 2 indicadores de entrada e 2 indicadores de saída (HAMMES JUNIOR; FLACH; MATTOS, 2020). Entretanto, o estudo mais similar ao que será apresentado aqui é o que avalia, por região, a eficiência de 56 universidades públicas brasileiras no período de 2010 a 2016, utilizando 7 indicadores no total (LETTI; BITTENCOURT; VILA, 2020).

O presente estudo buscou contribuir com a literatura acerca da gestão de recursos públicos na educação. Para isso, ampliou o grupo de indicadores para a análise de desempenho e o número de universidades avaliadas. Assim, procurou-se com abranger melhor a pluralidade das universidades brasileiras, principalmente, por analisar os prováveis efeitos da pandemia da COVID-19. Entendemos que o presente estudo pode colaborar com indicativos para revisão dos modelos de gestão das IES, através da maximização dos investimentos de recursos públicos e, dessa forma, trazer luz à gestão eficiente de políticas públicas no setor.

2 Referencial teórico

2.1 O Ensino Superior no Brasil

Hoje o Ensino Superior no Brasil é oferecido por Universidades, Centros Universitários, Faculdades, Institutos Superiores e Centros de Educação Tecnológica, sejam públicos ou privados, com ou sem fins lucrativos (GOMES; MACHADO-TAYLOR; SARAIVA, 2018). Entretanto, as Universidades configuram-se como as instituições mais representativas entre elas. Em 2020, 4,7 milhões de matrículas estavam nas Universidades, o que corresponde a mais da metade (54,3%) do total. Na rede federal de ensino brasileiro, 82,2% das matrículas estão em Universidades (BRASIL, 2022).

Nos últimos 50 anos, o Sistema Brasileiro de Educação Superior passou por uma significativa expansão, aumentou quantitativamente sua rede de atuação, além de oferecer novos caminhos de formação (BARBOSA, 2019). Entre 2010 e 2020, o número de matrículas na educação superior aumentou 35,5%, passando de 6,40 milhões de estudantes, para 8,68 milhões (BRASIL, 2022).

No que diz respeito ao setor público, essa expansão é principalmente justificada pela intensificação de algumas políticas públicas a partir dos anos 2000 no Brasil, que permitiram o acesso de classes sociais anteriormente excluídas desse sistema de educação (BARBOSA, 2019; CARVALHAES; MEDEIROS; TAGLIARI, 2021). Entre elas, podemos citar o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), que possuía a finalidade de financiar a expansão estrutural da rede de ensino superior e melhorar o aproveitamento das instalações já existentes (GOMES; MACHADO-TAYLOR; SARAIVA, 2018).

Entretanto, esse movimento de crescimento da educação superior no Brasil foi, em grande parte, apoiado no crescimento do setor privado (BARBOSA, 2019), de forma a atender a uma demanda de estudantes que não conseguiam vagas na rede pública e que questionavam os governos pela falta de oportunidades na educação superior (COLOMBO; RODRIGUES, 2011). Quando se comparam os anos de 2010 a 2020, observa-se um aumento de 42% no número de matrículas na rede privada e de 19,1% na rede pública. Em 2020, as IES privadas representaram uma participação de 77,5% no total de matrículas de graduação (BRASIL, 2022).

Quanto às políticas públicas que apoiaram o acesso de estudantes ao setor privado, podemos citar desde bolsas de estudo, através do Programa Universidade para Todos (PROUNI), a financiamentos oferecidos pelo Fundo de Financiamento Estudantil (FIES). Pouco mais da metade dos estudantes do setor privado de ensino superior depende de algum tipo de financiamento público (BARBOSA, 2019).

No que se refere à qualidade do ensino superior brasileiro, as universidades públicas são vistas com maior prestígio; empregam professores mais qualificados, devido ao forte direcionamento à pesquisa e ao carácter seletivo do setor público de educação. Já as instituições privadas oferecem baixa barreira de seleção aos estudantes ( MONT’ALVÃO NETO, 2016). No Exame Nacional de Desempenho de Estudantes (ENADE), prova que avalia os alunos da educação superior por curso de graduação, realizado em 2019, mais de 81% dos cursos avaliados com nota máxima eram de instituição públicas, sendo 66% da rede federal (BRASIL, 2022).

Esse cenário em que se encontra maior qualidade do ensino superior nas instituições públicas, em um movimento de crescimento de vagas em instituições privadas, motivadas por políticas públicas, lança luz sobre o questionamento em relação à eficiência do uso dos recursos nas universidades.

2.2 A Eficiência em Instituições de Ensino Superior

A eficiência consiste em otimizar uma combinação de entradas e métodos do processo produtivo, a fim de alcançar o nível ótimo de saídas. Em outras palavras, eficiência é a habilidade de realizar tarefas corretamente, de modo a minimizar a relação entrada/saída e otimizar a utilização de recursos (HAMMES JUNIOR; FLACH; MATTOS, 2020).

O nível de eficiência é considerado um importante indicador em instituições de ensino superior, e, atualmente, um dos principais objetivos da política pública, já que avaliar a performance das IES é um fator chave para a alocação dos escassos recursos públicos. Se as IES operam de forma eficiente, isso justifica o dinheiro público investido no setor (AGASISTI et al., 2021; HAMMES JUNIOR; FLACH; MATTOS, 2020).

O setor educacional fornece um excelente contexto para estudos de avaliação de eficiência, uma vez que apresenta diversos desafios como o fato de suas instituições não possuírem fins lucrativos, produzirem múltiplas saídas e possuírem dificuldade em transformar suas entradas e saídas em valores monetários (WITTE; LÓPEZ-TORRES, 2017).

Existe atualmente considerável literatura a respeito da eficiência técnica das IESs, e este assunto tem sido extensivamente pesquisado (PAPADIMITRIOU; JOHNES, 2019). Estudos com foco nos resultados de universidades podem ser abordados em diversas formas, a maioria dos estudos opta por indicadores baseados em publicações ou fundos para pesquisa (GRALKA; WOHLRABE; BORNMANN, 2019).

No Brasil, grande parte dos estudos em avaliação de eficiência no setor educacional foi desenvolvido em âmbito municipal, com a utilização de indicadores de gastos financeiros como entrada, e medidas de avaliação institucional como saídas (PARENTE et al., 2021).

Entre os trabalhos que se propuseram a abordar o ensino superior público brasileiro através da DEA, podemos citar uma avaliação da eficiência do ensino em cursos de graduação da Universidade Federal Fluminense através de avaliações do Exame Nacional de Desempenho dos Estudantes (ENADE) como parâmetros de entrada e de saída (TAVARES; MEZA, 2020); ainda a aplicação de dois indicadores de entrada e dois indicadores de saída para a avaliação da eficiência na utilização de gastos públicos por 59 universidades federais brasileiras no período de 2013 a 2017 (HAMMES JUNIOR; FLACH; MATTOS, 2020), e também a avaliação da eficiência de 38 Institutos Federais de Educação, Ciência e Tecnologia (EPCT) no período de 2010 a 2017 através dos indicadores formulados pelo Tribunal de Contas da União (TCU) para avaliação desse tipo de instituição (PARENTE et al., 2021).

Por fim, um estudo com objetivo similar ao deste trabalho, avaliou a eficiência das universidades federais brasileiras no período de 2010 a 2016, não pela consideração dos indicadores definidos pelo TCU para avaliação das IES, mas pelos valores componentes desses indicadores, como o número de alunos das universidades, número de professores e custo corrente (LETTI; BITTENCOURT; VILA, 2020). Neste sentido, diversos estudos já utilizam a análise envoltória de dados (DEA) como método para avaliação de eficiência no setor educacional, desta forma este é um dos métodos mais comuns e poderosos para análise de instituições educacionais públicas e privadas (LEE; JOHNES, 2022; NAVAS et al., 2020; NOJAVAN; HEIDARI; MOHAMMADITABAR, 2021; VISBAL-CADAVID; MENDOZA; HOYOS, 2019).

2.3 DEA como Método para Mensuração de Eficiência em IES

A análise envoltória de dados, através de uma abordagem orientada a avaliação da performance de um grupo de entidades chamadas de unidades tomadoras de decisão, que convertem múltiplas entradas em múltiplas saídas, possui várias vantagens que a tornam ideal para análise de eficiência na educação superior (WU et al., 2020).

A DEA não precisa da informação da forma em que o processo de transformação de entradas em saídas funciona, e consegue não apenas identificar áreas que precisem de melhoria, mas descrever possibilidades de futuros desenvolvimentos. Além disso, a DEA consegue também responder a questões sobre as forças e fraquezas das DMUs, assim identificar o melhor volume de recursos a serem disponibilizados para o setor da educação (WU et al., 2020).

Os estudos de eficiência com aplicação da DEA existentes sobre IES se concentram principalmente em dois aspectos: avaliação de performance e alocação de recursos (WU et al., 2020) e podem ser divididos em dois grandes grupos: a avaliação de unidades de ensino básico e a análise de eficiência do ensino superior (MONCAYO– MARTÍNEZ; RAMÍREZ–NAFARRATE; HERNÁNDEZ–BALDERRAMA, 2020). Dentro deste segundo grupo, podemos citar alguns trabalhos que envolvem diversas nações, como é exposto no Quadro 1:

Quadro 1
Estudos sobre eficiência de instituições de ensino

País de Estudo	Título	Autor(es)	Ano de Publicação
Inglaterra e Colômbia	Using network DEA to inform policy: The case of the teaching quality of higher education in England.	LEE; JOHNES	2022
Rússia	Efficiency of regional higher education systems and regional economic short-run growth: empirical evidence from Russia.	AGASISTI et al.	2021
Espanha	Efficiency in higher education. Empirical study in public universities of Colombia and Spain.	RAMÍREZ-GUTIÉRREZ; BARRACHINA-PALANCA; RIPOLL-FELIU	2020
China	Performance evaluation and enrollment quota allocation for higher education institutions in China.	ZHANG; WU; ZHU	2020
Colômbia	Colombian higher education institutions evaluation.	NAVAS et al.	2020
México	Evaluation of public HEI on teaching, research, and knowledge dissemination by Data Envelopment Analysis.	MONCAYO–MARTÍNEZ; RAMÍREZ–NAFARRATE; HERNÁNDEZ– BALDERRAMA	2020
Itália	Performance-based university funding and the drive towards ‘institutional meritocracy’in Italy.	MATEOS-GONZÁLEZ; BOLIVER	2019
Inglaterra	Does merging improve efficiency? A study of English universities.	PAPADIMITRIOU; JOHNES	2019
Argentina	Efficiency in public higher education on Argentina 2004–2013: Institutional decisions and university-specific effects.	QUIROGA-MARTÍNEZ; FERNÁNDEZ-VÁZQUEZ; ALBERTO	2018

• Fonte: Elaborado pelos autores.

3 Procedimentos metodológicos

3.1 Análise Envoltória de Dados (DEA)

A DEA consiste em uma metodologia orientada a dados que aplica técnicas de programação linear para a avaliação da eficiência de um grupo de unidades tomadoras de decisão (DMUs). A DEA calcula a eficiência relativa de uma DMU através da razão da soma ponderada de múltiplas entradas e múltiplas saídas e dessa forma identifica DMUs ineficientes, assim como a fonte da sua ineficiência (CHARNES; COOPER; RHODES, 1978; LEE; JOHNES, 2022). Uma DMU é considerada relativamente eficiente se essa razão é igual a um, e não eficiente caso contrário (ZHANG; WU; ZHU, 2020).

Uma DMU considerada eficiente não é capaz de reduzir o volume de entradas sem reduzir o valor das saídas. Da mesma forma que uma DMU considerada eficiente não é capaz de aumentar o volume de saídas, sem aumentar o volume das Entradas (QUIROGA-MARTÍNEZ; FERNÁNDEZ-VÁZQUEZ; ALBERTO, 2018).

A orientação de análise da DEA pode ser dividida em: orientada a input ou orientada a output. A orientação a input estuda como minimizar o volume de entradas se mantendo o volume de saída, enquanto que a orientação a output estuda como maximizar o volume de saídas, com o mesmo volume de entradas (MONCAYO– MARTÍNEZ; RAMÍREZ–NAFARRATE; HERNÁNDEZ–BALDERRAMA, 2020).

Quanto a retornos de escala, a DEA pode ser dividido em modelos de retornos constantes de escala, chamados de CCR (CHARNES; COOPER; RHODES, 1978), e retornos variáveis de escala, chamados de modelos BCC (BANKER; CHARNES; COOPER, 1984).

O modelo CCR avalia a eficiência geral pela análise das eficiências de escala e técnica simultaneamente, enquanto que no modelo BCC a eficiência de escala é separada da eficiência técnica (ZHANG; WU; ZHU, 2020).

Para o desenvolvimento desta pesquisa, foi escolhida a orientação a output para o modelo DEA, de forma a evidenciar as DMUs com melhores resultados, norteando DMUs ineficientes a melhorarem os resultados com os mesmos montantes de entradas. Também foi selecionado o tipo de modelo BCC, de forma a permitir a análise dos ganhos de escala das DMUs.

Na modelagem DEA, existentes k DMUs e cada uma delas utilizando m entradas para produzir n saídas, seja X_jk a entrada j e Y_ik a saída i da DMU j,, o modelo BCC orientado a output pode ser descrito da seguinte forma BCC (BANKER; CHARNES; COOPER, 1984):

(1) $Min{\displaystyle {\sum }_{j=1}^n{X}_{j0}*v_j+w_0}$

Sujeito a:

(2) ${\displaystyle {\sum }_{i=1}^m{Y}_{i0}*u_i=1,parai=1,\dots ,m}$

(3) $\begin{array}{c}{\displaystyle {\sum }_{i=1}^m{Y}_{ik}*u_i-{\displaystyle {\sum }_{j=1}^n{X}_{jk}*v_j-w_0\le 0,parak=1,\dots ,z}}\\ \begin{array}{cc}{v}_{j}e{u}_i\ge 0;& \begin{array}{cc}i=1,\dots m;& j=1,\dots n\end{array}\end{array}\\ w\in \Re \end{array}$

Onde u_i e v_j são os pesos das saídas e das entradas respectivamente, m o número de saídas, n o número de entradas, z o número de DMUs e w é o fator de escala, que indica o sentido dos retornos de escala; se w for positivo, a DMU opera com retornos crescentes de escala, se w for negativo, a DMU opera em retorno decrescente de escala; e caso w seja igual a zero, a DMU opera em retorno constante de escala (MEZA; BIONDI NETO; RIBEIRO, 2005).

Dessa forma, a DEA permite que os pesos obtidos através da resolução do modelo sejam mais favoráveis para o cálculo da eficiência, entretanto esses pesos devem garantir que a eficiência de uma DMU não seja maior que um (ZHANG; WU; ZHU, 2020).

Esta metodologia para cálculo de eficiência é focada em determinar uma fronteira de produção ótima. Pontos localizados nessa fronteira são definidos como eficientes. Pontos na região dentro dessa fronteira são definidos como ineficientes, ou seja, com valor de eficiência menor que um. Toda DMU ineficiente pode ter seus valores de entradas ou de saídas ajustados para que alcance a eficiência projetando seu valor de eficiência na fronteira de produção ótima (ZHANG; WU; ZHU, 2020).

O estudo faz uma análise dos dados em painel para minimizar o efeito do tempo na DEA realizando uma análise em janelas (DE CASTRO CAMIOTO; MARIANO; DO NASCIMENTO REBELATTO, 2014; FERREIRA; GOMES, 2020). A análise em janelas é realizada por meio da separação dos períodos da amostra em grupos diferentes (janelas) (DE CASTRO CAMIOTO; MARIANO; DO NASCIMENTO REBELATTO, 2014). Para isso, utilizaram-se as seguintes equações para determinar as janelas:

(3) $TamanhodaJanela\left(p\right)=\frac{\left(b+1\right)}{2}$

(4) $N\text{ú}merodeJanelas=b-p+1$

Em que b é o número de períodos.

Dessa forma, nesse estudo o número de períodos (b = 5) se refere aos anos de 2017 a 2021. Logo, obteve-se 3 janelas com o tamanho também de 3 da seguinte forma: janela 1 (2017 – 2019); janela 2 (2018 – 2020) e janela 3 (2019 – 2021).

3.2 Levantamento de Dados

Este estudo considera como DMU cada universidade federal brasileira. Hoje o Brasil conta com 68 universidades públicas federais reconhecidas pelo MEC (Ministério da Educação) com fundações datadas entre 1910 e 2018, todas oferecem cursos de educação superior presenciais ou EAD (MEC, 2023).

Para o levantamento de dados, foram utilizados indicadores definidos pelo Tribunal de contas da União (TCU). O TCU determinou, através da Decisão Normativa no 408/2002, um conjunto de nove indicadores de gestão e desempenho para as Instituições Federais de Ensino Superior (IFES), conhecidos como “Indicadores do TCU”. Trata-se de um conjunto de métricas que visam possibilitar a avaliação do desempenho operacional das instituições (BRASIL, 2002).

A seleção e apuração desses indicadores pelo Tribunal de Contas da União teve como base uma auditoria de natureza operacional realizada na Universidade de Brasília, onde buscou-se retratar os aspectos relevantes do desempenho das instituições de ensino superior. Este conjunto foi testado em cinco outras instituições - FUA, UFPE, UFGO, UFRJ e UFRGS - (BRASIL, 2002).

Ainda, segundo o Acórdão no 1.043/2006, as IFES devem apresentar o resultado desses indicadores anualmente em seus relatórios de gestão de contas, o que facilita o acesso público a essas informações (BRASIL, 2006). Dessa forma, a pesquisa utilizou-se destes indicadores, considerados importantes para o TCU, na análise de desempenho das IFES, com a intenção de obter os resultados do modelo utilizado, alinhados com as perspectivas do órgão em relação à eficiência das instituições.

Considerando que metade das universidades mapeadas funcionam sem hospitais universitários, para manter a homogeneidade das DMUs, optou-se por utilizar apenas os indicadores que desconsideram a gestão dos hospitais universitários.

Para a análise envoltória de dados, o conjunto de indicadores do TCU pode ser dividido entre variáveis de entrada e variáveis de saída, como segue no Quadro 2 abaixo. A classificação em entrada e saídas deu-se a partir da relação de cada variável com seu papel de recurso aplicado e resultado obtido da aplicação desses recursos. Dessa forma, compreendeu-se que o Conceito CAPES/MEC para Pós-graduação e a Taxa de Sucesso na Graduação são resultados da utilização eficiente dos recursos representados nas variáveis classificadas como entradas.

Quadro 2
Variáveis de entrada e saída utilizadas no estudo

Tipo	Variável	Descrição
Entrada	Custo Corrente sem hospital universitário / Aluno Equivalente (CC/AE)	Razão entre todas as despesas correntes da instituição com a desconsideração das despesas com hospitais e maternidades universitários e a quantidade de alunos equivalentes (número de alunos equivalentes da graduação, número de alunos em tempo integral de pós-graduação e residência médica).
	Aluno Tempo Integral / Professor Equivalente (AI/PE)	Razão entre o número total de alunos matriculados em tempo integral na universidade pelo número de professores equivalentes com ou sem dedicação exclusiva.
	Aluno Tempo Integral / Funcionário equivalente sem hospital universitário (AI/FE)	Razão entre o número total de alunos matriculados em tempo integral na universidade pelo número de funcionários equivalentes da instituição com a desconsideração dos trabalhadores do hospital universitário.
	Funcionário Equivalente sem hospital universitário / Professor Equivalente (FE/PE)	Razão entre o número total professoras equivalentes da universidade, com ou sem dedicação exclusiva, pelo número de funcionários equivalentes da instituição com a desconsideração dos trabalhadores do hospital universitário.
	Grau de Participação Estudantil (GPE)	Razão da quantidade de alunos matriculados em tempo integral na instituição pelo número total de alunos.
	Grau de Envolvimento Discente com Pós-graduação (GEPG)	Razão da quantidade de alunos matriculados em programas de pós-graduação, mestrado e doutorado na instituição pelo número total de alunos.
	Índice de Qualificação do Corpo Docente (IQCD)	Grau de qualificação dos professores da instituição com a atribuição de pontuações aos níveis de formação (graduado, especialista, mestre e doutor).
Saída	Conceito CAPES/MEC para Pós-graduação (CAPES)	Razão entre a média das notas de avaliação Capes dos cursos de mestrado e doutorado pela quantidade de programas de pós-graduação da universidade.
	Taxa de Sucesso na Graduação (TSG)	Razão entre o número de alunos concluintes da instituição pelo número de alunos ingressantes.

• Fonte: (BRASIL, 2004).

Os valores para cada um dos indicadores serão levantados através de pesquisa a bases de dados públicos do governo federal, através de consulta aos relatórios de gestão de contas das universidades. De forma a trabalhar com os mais recentes dados disponíveis, abranger o período mais crítico da pandemia de COVID-19 e tanger um corte temporal significativo que possibilite uma análise da evolução da eficiência de cada DMU, sem sobrecarregar o processo de levantamento de dados, serão estudados os indicadores de um período de 5 anos, de 2017 a 2021.

Para a implementação e resolução do modelo de análise de eficiência, foi utilizado como recurso computacional o pacote R Benchmarking por meio do R Studio.

4 Resultados e discussão

Após o levantamento dos dados da pesquisa, foram obtidas as estatísticas descritivas de cada variável utilizada no modelo da Análise Envoltória de Dados. Os valores das estatísticas são apresentados na Tabela 1.

Tabela 1
Índices de eficiência técnica pela abordagem de análise de janelas

Janela 1 - 2017-2019	CC/AE	AI/PE	AI/FE	FE/PE	GPE	GEPG	IQCD	CAPES	TSG
Média	21.414,76	11,81	9,34	1,34	5,77	0,12	3,81	4,37	45,61
Desvio padrão	7.665,57	2,87	3,32	0,34	2,56	0,07	0,67	0,46	14,92
Mínimo	3.924,13	3,23	2,18	0,41	0,00	0,01	0,00	0,00	0,00
Máximo	75.231,51	18,49	24,90	3,00	19,04	0,30	5,32	5,00	79,74
Contagem	189	189	189	189	189	189	189	189	189
Janela 2 - 2018-2020	CC/AE	AI/PE	AI/FE	FE/PE	GPE	GEPG	IQCD	CAPES	TSG
Média	21.407,94	16,78	9,77	1,98	5,70	0,12	3,81	4,43	43,84
Desvio padrão	5.666,32	67,19	4,57	9,29	2,55	0,07	0,66	0,44	15,31
Mínimo	3.642,30	5,32	4,35	0,24	0,00	0,01	0,00	0,00	0,00
Máximo	39.392,61	934,77	53,35	128,98	19,04	0,30	5,30	5,00	86,00
Contagem	189	189	189	189	189	189	189	189	189
Janela 3 - 2019-2021	CC/AE	AI/PE	AI/FE	FE/PE	GPE	GEPG	IQCD	CAPES	TSG
Média	22.084,71	16,65	9,99	1,94	5,55	0,13	3,84	4,50	41,65
Desvio padrão	5.822,14	67,20	4,95	9,30	3,02	0,07	0,61	0,43	15,18
Mínimo	3.642,30	0,00	0,00	0,00	0,00	0,00	0,00	0,00	0,00
Máximo	40.634,51	934,77	53,35	128,98	27,08	0,41	5,30	5,00	89,00
Contagem	189	189	189	189	189	189	189	189	189

• Fonte: Elaborado pelos autores.

De acordo com a Tabela 1, pode-se observar que o custo corrente por aluno equivalente, em média, mantém-se ao logo do período analisado. Assim, em média, o custo por aluno equivalente ao período de 2019-2021 manteve-se similar ao custo do período de 2017-2019. Entretanto, ao observarmos o valor absoluto aplicado nos períodos, o valor do custo por aluno equivalente apresentou uma redução significativa, como se pode observar pelo valor máximo.

Os níveis de eficiência das universidades são detalhados na Tabela 2, que apresenta os indicadores de eficiência por janela de tempo em que cada linha (J1, J2 e J3) apresentam as eficiências encontradas por meio do modelo DEA-BCC com orientação ao output. É possível observar na tabela a eficiência média de cada janela, bem como a eficiência média de cada DMU nas janelas avaliadas. Com isso, pode-se observar a tendência do comportamento da eficiência ao longo do período avaliado.

Tabela 2
Índices de eficiência técnica pela abordagem de análise de janelas

DMUs	Janelas	Períodos					Média	Média das Janelas
		2017	2018	2019	2020	2021
FURG	J1	0,9044	0,9359	0,9293			0,9232	0,9243
	J2		0,9171	0,8989	0,9296		0,9152
	J3			0,8989	0,9312	0,9734	0,9345
UFABC	J1	1,0000	1,0000	1,0000			1,0000	1,0000
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
UFAC	J1	0,8957	0,8952	0,8251			0,8720	0,8686
	J2		1,0000	0,8197	0,8451		0,8883
	J3			0,8131	0,8432	0,8798	0,8453
UFAL	J1	1,0000	1,0000	1,0000			1,0000	0,9975
	J2		0,9775	1,0000	1,0000		0,9925
	J3			1,0000	1,0000	1,0000	1,0000
UFAM	J1	0,8505	0,7983	0,8326			0,8271	0,8389
	J2		0,7788	0,8147	0,8957		0,8298
	J3			0,8131	0,9004	0,8656	0,8597
UFBA	J1	0,9217	0,9170	0,9173			0,9187	0,9093
	J2		0,8978	0,9048	0,9138		0,9055
	J3			0,9033	0,9120	0,8964	0,9039
UFC	J1	0,9267	0,9205	0,9226			0,9233	0,9224
	J2		0,9021	0,9115	0,9330		0,9155
	J3			0,9087	0,9318	0,9443	0,9283
UFCA	J1	1,0000	1,0000	0,9974			0,9991	0,9997
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
UFCG	J1	0,7668	0,7929	0,8132			0,7910	0,8213
	J2		0,7990	0,8163	0,8527		0,8227
	J3			0,8159	0,8527	0,8821	0,8502
UFCSPA	J1	1,0000	1,0000	1,0000			1,0000	0,9969
	J2		1,0000	0,9948	0,9909		0,9952
	J3			0,9952	0,9912	1,0000	0,9955
UFERSA	J1	0,9300	0,8644	0,9174			0,9039	0,9038
	J2		0,8484	0,9072	0,9270		0,8942
	J3			0,8857	0,9309	0,9237	0,9134
UFES	J1	0,9644	0,9961	0,9833			0,9813	0,9806
	J2		0,9625	0,9684	1,0000		0,9770
	J3			0,9681	1,0000	0,9829	0,9837
UFF	J1	0,9319	0,9421	0,9383			0,9374	0,9408
	J2		0,9435	0,9283	0,9534		0,9417
	J3			0,9263	0,9527	0,9511	0,9434
UFFS	J1	0,9496	0,9502	0,9389			0,9463	0,9314
	J2		0,9280	0,9023	0,9333		0,9212
	J3			0,8987	0,9328	0,9488	0,9268
UFG	J1	0,9109	0,9567	0,9477			0,9384	0,9330
	J2		0,9389	0,9325	0,9230		0,9315
	J3			0,9317	0,9214	0,9343	0,9292
UFGD	J1	0,9054	0,9223	0,9284			0,9187	0,9137
	J2		0,8909	0,9043	0,9252		0,9068
	J3			0,9037	0,9244	0,9189	0,9156
UFJF	J1	0,9651	0,9583	0,9702			0,9645	0,9661
	J2		0,9574	0,9680	0,9713		0,9656
	J3			0,9687	0,9723	0,9638	0,9682
UFLA	J1	0,9916	0,9519	0,9807			0,9747	0,9643
	J2		0,9317	0,9556	0,9676		0,9516
	J3			0,9556	0,9670	0,9769	0,9665
UFMA	J1	0,9497	0,9151	0,9255			0,9301	0,9101
	J2		0,8802	0,8949	0,9021		0,8924
	J3			0,8965	0,9041	0,9231	0,9079
UFMG	J1	0,9933	1,0000	1,0000			0,9978	0,9968
	J2		1,0000	0,9958	1,0000		0,9986
	J3			0,9912	1,0000	0,9907	0,9940
UFMS	J1	0,8744	0,9277	0,9206			0,9075	0,9175
	J2		0,9167	0,9095	0,9313		0,9192
	J3			0,9098	0,9303	0,9369	0,9256
UFMT	J1	0,8722	0,9103	1,0000			0,9275	0,9343
	J2		0,8783	1,0000	0,9543		0,9442
	J3			0,9217	0,9292	0,9429	0,9312
UFOB	J1	1,0000	1,0000	0,9198			0,9733	0,9732
	J2		1,0000	0,9268	1,0000		0,9756
	J3			0,9119	1,0000	1,0000	0,9706
UFOP	J1	0,9091	0,9055	0,9204			0,9117	0,9307
	J2		0,9051	0,9221	0,9606		0,9293
	J3			0,9249	0,9634	0,9651	0,9512
UFOPA	J1	1,0000	1,0000	0,9460			0,9820	0,9720
	J2		1,0000	0,9194	0,9742		0,9645
	J3			0,9087	1,0000	1,0000	0,9696
UFPA	J1	1,0000	0,9875	0,9558			0,9811	0,9461
	J2		0,9182	0,9219	0,9393		0,9265
	J3			0,9219	0,9393	0,9313	0,9308
UFPB	J1	0,9172	0,9241	0,9259			0,9224	0,9234
	J2		0,9197	0,9186	0,9287		0,9223
	J3			0,9178	0,9293	0,9292	0,9254
UFPE	J1	0,9310	0,9720	0,9654			0,9561	0,9505
	J2		0,9327	0,9383	0,9716		0,9475
	J3			0,9383	0,9707	0,9344	0,9478
UFPEL	J1	1,0000	1,0000	1,0000			1,0000	0,9986
	J2		1,0000	0,9997	1,0000		0,9999
	J3			0,9875	1,0000	1,0000	0,9958
UFPI	J1	0,8579	0,8624	0,8910			0,8704	0,8692
	J2		0,8507	0,8796	0,8679		0,8660
	J3			0,8733	0,8673	0,8727	0,8711
UFPR	J1	1,0000	1,0000	0,9735			0,9912	0,9817
	J2		1,0000	0,9694	0,9781		0,9825
	J3			0,9703	0,9781	0,9661	0,9715
UFRA	J1	1,0000	0,9752	1,0000			0,9917	0,9962
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	0,9902	0,9967
UFRB	J1	0,8707	0,9351	0,9593			0,9217	0,9704
	J2		1,0000	0,9911	1,0000		0,9970
	J3			0,9772	1,0000	1,0000	0,9924
UFRGS	J1	0,9853	0,9888	0,9880			0,9874	0,9843
	J2		0,9789	0,9821	0,9855		0,9822
	J3			0,9821	0,9855	0,9826	0,9834
UFRJ	J1	0,9631	0,9750	0,9750			0,9710	0,9500
	J2		0,9242	0,9579	0,9490		0,9437
	J3			0,9358	0,9478	0,9220	0,9352
UFRN	J1	0,9064	0,9078	0,9108			0,9083	0,9069
	J2		0,8955	0,8928	0,9183		0,9022
	J3			0,8919	0,9182	0,9205	0,9102
UFRPE	J1	0,9689	0,9799	0,9779			0,9756	0,9800
	J2		0,9741	0,9696	1,0000		0,9812
	J3			0,9706	1,0000	0,9792	0,9833
UFRR	J1	1,0000	0,9205	0,9073			0,9426	0,8947
	J2		0,9189	0,9089	0,8246		0,8842
	J3			0,9006	0,8264	0,8450	0,8573
UFRRJ	J1	0,9927	0,9559	0,9375			0,9620	0,9541
	J2		0,9297	0,9455	0,9569		0,9440
	J3			0,9424	0,9564	0,9701	0,9563
UFS	J1	0,9418	0,9125	0,9093			0,9212	0,9242
	J2		0,9092	0,9151	0,9433		0,9225
	J3			0,9139	0,9424	0,9300	0,9288
UFSB	J1	1,0000	1,0000	1,0000			1,0000	0,9953
	J2		1,0000	1,0000	0,9668		0,9889
	J3			1,0000	0,9909	1,0000	0,9970
UFSC	J1	0,9608	0,9724	0,9759			0,9697	0,9721
	J2		0,9663	0,9659	0,9801		0,9707
	J3			0,9642	0,9798	0,9835	0,9758
UFSCar	J1	0,9820	1,0000	0,9856			0,9892	0,9907
	J2		0,9874	0,9890	0,9983		0,9916
	J3			0,9876	0,9983	0,9884	0,9914
UFSJ	J1	0,9996	1,0000	0,9745			0,9914	0,9870
	J2		0,9995	0,9645	1,0000		0,9880
	J3			0,9631	1,0000		0,9815
UFSM	J1	0,9733	0,9887	0,9726			0,9782	0,9641
	J2		0,9788	0,9439	0,9644		0,9624
	J3			0,9426	0,9564	0,9561	0,9517
UFT	J1	0,9130	1,0000	0,9395			0,9509	0,9401
	J2		1,0000	0,9201	0,9085		0,9429
	J3			0,9282	0,9127	0,9386	0,9265
UFTM	J1	1,0000	1,0000	1,0000			1,0000	0,9988
	J2		1,0000	1,0000	0,9944		0,9981
	J3			1,0000	0,9943	1,0000	0,9981
UFU	J1	1,0000	0,9657	0,9752			0,9803	0,9754
	J2		0,9580	0,9701	0,9849		0,9710
	J3			0,9701	0,9793	0,9758	0,9751
UFV	J1	1,0000	0,9703	0,9623			0,9775	0,9733
	J2		0,9894	0,9708	0,9675		0,9759
	J3			0,9676	0,9675	0,9642	0,9664
UFVJM	J1	1,0000	0,9764	0,9543			0,9769	0,9859
	J2		0,9910	0,9854	1,0000		0,9921
	J3			0,9696	0,9963	1,0000	0,9887
UnB	J1	0,9403	0,9164	0,9990			0,9519	0,9600
	J2		0,8921	0,9873	0,9744		0,9513
	J3			0,9857	0,9737	0,9707	0,9767
UNIFAL	J1	1,0000	1,0000	1,0000			1,0000	0,9981
	J2		0,9828	1,0000	1,0000		0,9943
	J3			1,0000	1,0000	1,0000	1,0000
UNIFAP	J1	0,9286	1,0000	1,0000			0,9762	0,9921
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
UNIFEI	J1	0,9530	0,9567	1,0000			0,9699	0,9806
	J2		0,9334	0,9895	1,0000		0,9743
	J3			0,9925	1,0000	1,0000	0,9975
UNIFESP	J1	1,0000		1,0000			1,0000	1,0000
	J2			1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
UNIFESSPA	J1	1,0000	1,0000	1,0000			1,0000	1,0000
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
UNILA	J1	1,0000	1,0000	1,0000			1,0000	0,9803
	J2		1,0000	0,9633	0,9730		0,9788
	J3			0,9621	0,9805	0,9439	0,9622
UNILAB	J1	1,0000	1,0000	1,0000			1,0000	1,0000
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
UNIPAMPA	J1	1,0000	1,0000	1,0000			1,0000	0,9996
	J2		1,0000	1,0000	1,0000		1,0000
	J3			0,9981	0,9982	1,0000	0,9988
UNIR	J1	0,7947	1,0000	0,8959			0,8969	0,9179
	J2		1,0000	0,8857	0,9145		0,9334
	J3			0,8948	0,9090	0,9662	0,9233
UNIRIO	J1	0,9668	1,0000	0,9610			0,9759	0,9433
	J2		0,9667	0,8839	0,9411		0,9305
	J3			0,8850	0,9401	0,9453	0,9234
UNIVASF	J1	0,9121	0,9088	0,9206			0,9138	0,9169
	J2		0,8840	0,9192	0,8948		0,8993
	J3			0,9183	0,8970	0,9973	0,9376
UTFPR	J1	1,0000	1,0000	1,0000			1,0000	1,0000
	J2		1,0000	1,0000	1,0000		1,0000
	J3			1,0000	1,0000	1,0000	1,0000
Desvio-Padrão das Médias								0,0423

• Fonte: Elaborado pelos autores.

Pode-se observar que, das 63 universidades analisadas, apenas 5 delas (UNIFESP, UTFPR, UNILAB, UNIFESSPA e UFABC) apresentaram-se, ao longo do tempo, eficientes. Isso observando a eficiência média das janelas, com o indicador 1,0000. Observou-se ainda unidades que apresentaram eficiência na janela 1 e uma tendência de redução do nível de eficiência ao longo das janelas 2 e 3. Trinta e nove vírgula sessenta e oito por cento das unidades analisadas apresentaram essa tendência. O que se acredita ser oriunda dos efeitos da pandemia de COVID-19, uma vez que a média da Taxa de Sucesso na Graduação apresentou queda na média nesse período. Por outro lado, outras unidades mostraram movimento contrário, apresentando uma tendência de aumento da eficiência ao longo do tempo. Entretanto, a variação que indica essas tendências de alta e baixa do nível de eficiência técnica mostra que o segmento não apresenta grande variação, apresentando-se um certo nível de estabilidade, indicado pelo desvio-padrão (0,0423).

Como forma de obter uma percepção geral do desempenho das universidades, podemos analisar o coeficiente de eficiência médio das DMUs em cada ano, como é apresentado no Gráfico 1.

Gráfico 1
Tendência da eficiência média ao longo do período

Pode-se observar que a série histórica seguia uma tendência de alta entre os anos de 2018 e 2020, apresentando uma tendência de queda a partir de 2020. Essa tendência parece se dar devido, também, à redução na média da Taxa de Sucesso na Graduação, que passou de 41,3 em 2020 para uma média 37,6.

Para termos uma visão mais detalhada da eficiência das DMUs, podemos fazer a divisão das universidades por região geográfica (Norte, Nordeste, Centro-Oeste, Sudeste e Sul). Ademais, conforme aponta a literatura sobre DEA, uma grande quantidade de DMUs pode reduzir a homogeneidade no grupo analisado, podendo os resultados serem afetados por fatores que não foram considerados no modelo (GOLANY; ROLL, 1989).

No Gráfico 2 abaixo, temos o coeficiente de eficiência médio das universidades por região, em cada ano de 2017 a 2021.

Gráfico 2
Tendência da eficiência média ao longo do período

As Universidades das regiões Sul e Centro-Oeste apresentaram o maior coeficiente de eficiência médio, sendo que a região Sudeste apresentou variações negativas em 2018 e 2021. Esses resultados guardam certa similaridade com os achados de Letti, Bittencourt e Vila (2020) que encontraram a região Centro-Oeste com maiores indicadores de eficiência. Observou-se uma queda no indicador de eficiência no período de 2021 na região Sudeste, o que provavelmente pode ser explicado em função da forte redução na Taxa de Sucesso na Graduação, mesmo com maior gasto com aluno equivalente.

Outro destaque a ser observado na análise segmentada por região tem que ver com o número de DMUs eficientes (índice igual a 1). Este apresentou-se maior, o que pode ser explicado pelo pequeno número de unidades avaliadas em regiões como a Centro-Oeste, algo que pode reduzir o poder discriminatório do modelo DEA (GOLANY; ROLL, 1989). Entretanto, na análise por região, os indicadores de eficiência apresentaram ligeiro aumento em todas as regiões, isso pode ser explicado pelo agrupamento homogêneo em relação aos recursos utilizados nas unidades avaliadas, que podem apresentar diferenças entre as regiões. Como exemplo, o grau de envolvimento discente em pós-graduação (GEPG) e o índice de qualificação do corpo docente (IQCD) apresentaram diferenças significativas entre as regiões.

Através da análise da eficiência composta, podemos inferir qual universidade foi a mais eficiente em cada ano, dessa forma, as unidades UFPEL e UFAC foram as mais eficientes em dois dos cinco anos estudados. A UFAC foi a universidade mais eficiente na aplicação dos seus recursos durante os anos de pandemia de COVID-19. O Quadro 3 mostra as universidades que foram as mais eficientes em cada ano do estudo.

Quadro 3
IES mais eficientes no ano

2017	2018	2019	2020	2021
UFPEL	UFT	UFPEL	UFAC	UFAC

• Fonte: Elaborado pelos autores.

Ao analisarmos as DMUs ineficientes no ano de 2021 (período mais recente analisado e base para tomada de decisão para novas estratégias), tomando como exemplo as cinco unidades menos eficientes (FURG, UFFS, UFRN, UNILA, UNIRIO), podemos determinar os valores alvo para as suas variáveis de saída (conceito CAPES/MEC para pós-graduação e taxa de sucesso na graduação), considerando fixos os valores para as variáveis de entrada, para que essas universidades se tornem eficientes. Os Alvos são apresentados na Tabela 3.

Tabela 3
Alvos para as saídas

DMU	CAPES		TSG
	Atual	Alvo	Atual	Alvo
FURG	3,73	4,51	35,36	42,77
UFFS	3,18	3,65	41,64	47,84
UFRN	3,87	4,69	42,89	51,94
UNILA	3,11	4,27	26,27	36,08
UNIRIO	3,62	4,31	32,01	38,13

• Fonte: Elaborado pelos autores.

Por fim, é possível determinar quais unidades melhor representam modelos a serem seguidos, ou seja, benchmarks pelas unidades não eficientes; este resultado é apresentado no Quadro 4.

Quadro 4
Benchmarks das unidades ineficientes

Universidade não eficiente	Benchmarks
FURG	UFCA e UFMG
UFFS	UFRA
UFRN	UFRGS
UNILA	UFCA
UNIRIO	UFRGS

• Fonte: Elaborado pelos autores.

5 Considerações finais

O objetivo deste estudo foi avaliar a eficiência das universidades públicas no período de 2017 a 2021. Para tal, foi utilizada a abordagem da Análise Envoltória de Dados (DEA), com dados em painel, no estabelecimento do score de eficiência.

Através do estudo realizado, é possível conjecturar que a pandemia de COVID-19, que teve seu auge nos anos 2020 e 2021, alterou compulsoriamente a forma de ensino, de forma a impossibilitar o tradicional ensino presencial em sala de aula; impactou a eficiência das universidades federais brasileiras, a qual apresentou uma redução de 0,95% em sua média. Essa transição repentina obrigou as universidades a se adaptarem rapidamente ao EAD, ou a interromperem as atividades.

Outra percepção importante do estudo é o desempenho das universidades por região, a região Norte do país possui a melhor média de coeficiente de eficiência dentre todas as regiões, e, portanto, deve-se estudar quais as práticas de gestão comuns nas universidades dessa região para que, caso façam sentido, possam ser aplicadas às unidades das outras regiões.

Este trabalho obteve sucesso ao indicar valores-alvo de indicadores de desempenho para universidades federais não eficientes e apontou quais unidades eficientes podem melhor representar modelos a serem seguidos por elas.

Estudos futuros podem explorar uma comparação entre a avaliação de desempenho baseada nos indicadores do TCU com uma avaliação baseada em outros indicadores presentes na literatura.

Agradecimentos

Agradecimentos ao Instituto Federal do Espírito Santo pelo incentivo e apoio à pesquisa.

• Texto revisado por: Marco Aurélio Furno Oliveira E-mail: [e-mail]

Referências

• AGASISTI, Tommaso et al. Efficiency of regional higher education systems and regional economic short-run growth: empirical evidence from Russia. Industry and Innovation, USA, v. 28, n. 4, p. 507–534, 2021. Disponível em: https://doi.org/10.1080/13662716.2020.1738914. Acesso em: 14 fev. 2023.
  » https://doi.org/10.1080/13662716.2020.1738914.
• BANKER, Rajiv D.; CHARNES, Abraham; COOPER, William Wager. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management science, USA, v. 30, n. 9, p. 1078–1092, 1984. Disponível em: https://doi.org/https://doi.org/10.1287/mnsc.30.9.1078. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1287/mnsc.30.9.1078.
• BARBOSA, Maria Ligia de Oliveira. Democratização ou massificação do Ensino Superior no Brasil? Revista de Educação PUC-Campinas, Campinas, v. 24, n. 2, p. 240–253, 2019. Disponível em: https://doi.org/https://doi.org/10.24220/2318-0870v24n2a4324. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.24220/2318-0870v24n2a4324.
• BENTO, Fabio et al. Resilience in higher education: a complex perspective to lecturers’ adaptive processes in response to the COVID-19 pandemic. Education Sciences, USA, v. 11, n. 9, p. 492, 2021. Disponível em: https://doi.org/https://doi.org/10.3390/educsci11090492. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.3390/educsci11090492.
• BRASIL. TRIBUNAL DE CONTAS DA UNIÃO. Acórdão n^o 408 Brasília: TCU, 2002. Disponível em: https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/1622919991.PROC/%2520/DTRELEVANCIA%2520desc%252C%2520NUMACORDAOINT%2520desc/2/%2520?uuid=dc7cb700-1eca-11eb-92c6-0f3f4797229c. Acesso em: 14 fev. 2023.
  » https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/1622919991.PROC/%2520/DTRELEVANCIA%2520desc%252C%2520NUMACORDAOINT%2520desc/2/%2520?uuid=dc7cb700-1eca-11eb-92c6-0f3f4797229c.
• BRASIL. TRIBUNAL DE CONTAS DA UNIÃO. Orientações para o cálculo dos indicadores de gestão. Brasília: SESU, 2004. p. 9. Disponível em: http://portal.mec.gov.br/sesu/arquivos/pdf/indicadores.pdf. Acesso em: 14 fev. 2023.
  » http://portal.mec.gov.br/sesu/arquivos/pdf/indicadores.pdf.
• BRASIL. TRIBUNAL DE CONTAS DA UNIÃO. Acórdão n^o 1.043 Brasília: TCU, 2006. Disponível em: https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/1043%252F2006/%2520/DTRELEVANCIA%2520desc%252C%2520NUMACORDAOINT%2520desc/0/%2520?uuid=dc7cb700-1eca-11eb-92c6-0f3f4797229c. Acesso em: 14 fev. 2023.
  » https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/1043%252F2006/%2520/DTRELEVANCIA%2520desc%252C%2520NUMACORDAOINT%2520desc/0/%2520?uuid=dc7cb700-1eca-11eb-92c6-0f3f4797229c.
• BRASIL. Censo da Educação Superior 2020: notas estatísticas. Brasília: INEP, 2022. Disponível em: https://download.inep.gov.br/publicacoes/institucionais/estatisticas_e_indicadores/notas_estatisticas_censo_da_educacao_superior_2020.pdf. Acesso em: 14 fev. 2023.
  » https://download.inep.gov.br/publicacoes/institucionais/estatisticas_e_indicadores/notas_estatisticas_censo_da_educacao_superior_2020.pdf.
• CARVALHAES, Flavio; MEDEIROS, Marcelo; TAGLIARI, Clarissa. Expansão e diversificação do ensino superior: privatização, educação a distância e concentração de mercado no Brasil, 2002-2016. Available at SSRN 3892300, 2021. Disponível em: https://doi.org/https://dx.doi.org/10.2139/ssrn.3892300. Acesso em: 14 fev. 2023.
  » https://doi.org/https://dx.doi.org/10.2139/ssrn.3892300.
• CHARNES, A.; COOPER, W. W.; RHODES, E. Measuring the efficiency of decision making units. European Journal of Operational Research, USA, v. 2, n. 6, p. 429–444, 1978. Disponível em: https://doi.org/10.1016/0377-2217(78)90138-8. Acesso em: 14 fev. 2023.
  » https://doi.org/10.1016/0377-2217(78)90138-8.
• COLOMBO, Sonia Simões; RODRIGUES, Gabriel Mario. Desafios da gestão universitária contemporânea Porto Alegre: Artmed, 2011. E-book Disponível em: https://books.google.com.br/books?id=57FRpVuaJS0C&lpg=PA43&ots=Gun1fHHR63&dq=ensino%20privado%3A%20Desafios%20da%20gest%C3%A3o%20universit%C3%A1ria%20contempor%C3%A2nea&lr&hl=pt-BR&pg=PR1#v=onepage&q&f=false. Acesso em: 14 fev. 2023.
  » https://books.google.com.br/books?id=57FRpVuaJS0C&lpg=PA43&ots=Gun1fHHR63&dq=ensino%20privado%3A%20Desafios%20da%20gest%C3%A3o%20universit%C3%A1ria%20contempor%C3%A2nea&lr&hl=pt-BR&pg=PR1#v=onepage&q&f=false.
• DAULTANI, Yash; DWIVEDI, Ashish; PRATAP, Saurabh. Benchmarking higher education institutes using data envelopment analysis: capturing perceptions of prospective engineering students. Opsearch, USA, v. 58, n. 4, p. 773–789, 2021. Disponível em: https://doi.org/https://doi.org/10.1007/s12597-020-00501-5. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1007/s12597-020-00501-5.
• DE CASTRO CAMIOTO, Flávia; MARIANO, Enzo Barberio; DO NASCIMENTO REBELATTO, Daisy Aparecida. Efficiency in Brazil’s industrial sectors in terms of energy and sustainable development. Environmental Science & Policy, USA, v. 37, p. 50–60, 2014. Disponível em: https://doi.org/https://doi.org/10.1016/j.envsci.2013.08.007. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.envsci.2013.08.007.
• DUAN, Sophia Xiaoxia. Measuring university efficiency: An application of data envelopment analysis and strategic group analysis to Australian universities. Benchmarking: an international journal, USA, v. 26, n. 4, p. 1161–1173, 2019. Disponível em: https://doi.org/https://doi.org/10.1108/BIJ-10-2017-0274. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1108/BIJ-10-2017-0274.
• DUFRECHOU, Paola Azar. The efficiency of public education spending in Latin America: A comparison to high-income countries. International Journal of Educational Development, USA, v. 49, p. 188–203, 2016. Disponível em: https://doi.org/https://doi.org/10.1016/j.ijedudev.2016.03.005. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.ijedudev.2016.03.005.
• FERREIRA, Carlos Maurício de Carvalho; GOMES, Adriano Provezano. Introdução à análise envoltória de dados: teoria, modelos e aplicações. 2. ed. Viçosa: UFV, 2020.
• GOLANY, Boaz; ROLL, Yaakov. An application procedure for DEA. Omega, USA, v. 17, n. 3, p. 237–250, 1989. Disponível em: https://doi.org/https://doi.org/10.1016/0305-0483(89)90029-7. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1016/0305-0483(89)90029-7.
• GOMES, Válter; MACHADO-TAYLOR, Maria de Lourdes; SARAIVA, Ernani Viana. O ensino superior no brasil-breve histórico e caracterização. Ciência & Trópico, Recife, v. 42, n. 1, 2018. Disponível em: https://periodicos.fundaj.gov.br/CIC/article/view/1647/1395. Acesso em: 14 fev. 2023.
  » https://periodicos.fundaj.gov.br/CIC/article/view/1647/1395.
• GRALKA, Sabine; WOHLRABE, Klaus; BORNMANN, Lutz. How to measure research efficiency in higher education? Research grants vs. publication output. Journal of Higher Education Policy and Management, USA, v. 41, n. 3, p. 322–341, 2019. Disponível em: https://doi.org/https://doi.org/10.1080/1360080X.2019.1588492. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1080/1360080X.2019.1588492.
• HAMMES JUNIOR, David Daniel; FLACH, Leonardo; MATTOS, Luísa Karam de. The efficiency of public expenditure on Higher Education: a study with Brazilian Federal Universities. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 28, p. 1076–1097, 2020. Disponível em: https://doi.org/https://doi.org/10.1590/S0104-40362020002802573. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1590/S0104-40362020002802573.
• KAUR, Harpreet. Assessing Technical Efficiency of the Indian Higher Education: An Application of Data Envelopment Analysis Approach. Higher Education for the Future, USA, v. 8, n. 2, p. 197–218, 2021. Disponível em: https://doi.org/https://doi.org/10.1177/23476311211011932. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1177/23476311211011932.
• LEE, Boon L.; JOHNES, Jill. Using network DEA to inform policy: The case of the teaching quality of higher education in England. Higher Education Quarterly, USA, v. 76, n. 2, p. 399– 421, 2022. Disponível em: https://doi.org/https://doi.org/10.1111/hequ.12307. Acesso em: 14 fev. 2023.
  » https://doi.org/https://doi.org/10.1111/hequ.12307.
• LETTI, Ariel Gustavo; BITTENCOURT, Mauricio Vaz Lobo; VILA, Luis E. A Comparative Analysis of Federal University Efficiency Across Brazilian Regions (2010-2016). Revista Brasileira de Gestão e Desenvolvimento Regional, São Paulo, v. 16, n. 1, 2020. Disponível em: https://www.rbgdr.net/revista/index.php/rbgdr/article/view/5385. Acesso em: 14 fev. 2023.
  » https://www.rbgdr.net/revista/index.php/rbgdr/article/view/5385.
• MEC - Ministério da Educação. Cadastro Nacional de Cursos e Instituições de Educação Superior Cadastro e-MEC Brasília, 2023. Disponível em: https://emec.mec.gov.br/emec/nova. Acesso em: 14 fev. 2023.
  » https://emec.mec.gov.br/emec/nova.
• MEZA, Lidia Angulo; BIONDI NETO, Luiz; RIBEIRO, Paulo Guilherme. SIAD V.2.0. – sistema integrado de apoio à decisão: uma implementação de modelos de análise envoltória de dados e um método multicritério. In: Simposio Brasileiro de Pesquisa Operacional, 37., 2005, Gramado. Anais [...]. Gramado: SOBRAPO, 2005. p. 406–414. Disponível em: http://www.din.uem.br/sbpo/sbpo2005/pdf/arq0175.pdf. Acesso em: 28 ago. 2023.
  » http://www.din.uem.br/sbpo/sbpo2005/pdf/arq0175.pdf.
• MONCAYO–MARTÍNEZ, Luis A.; RAMÍREZ–NAFARRATE, Adrián; HERNÁNDEZ–BALDERRAMA, María Guadalupe. Evaluation of public HEI on teaching, research, and knowledge dissemination by Data Envelopment Analysis. Socio-Economic Planning Sciences, USA, v. 69, p. 100718, 2020. Disponível em: https://doi.org/https://doi.org/10.1016/j.seps.2019.06.003. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.seps.2019.06.003.
• MONT’ALVÃO NETO, A. L. More inclusion than diversion: expansion, differentiation, and market structure in higher education. Revista Brasileira de Ciências Sociais, São Paulo, v. 31, n. 92, 2016. Disponível em: https://doi.org/https://doi.org/10.7666/319211/2016. Acesso em: 11 mar. 2023.
  » https://doi.org/https://doi.org/10.7666/319211/2016.
• NAVAS, Lina P. et al. Colombian higher education institutions evaluation. Socio-Economic Planning Sciences, USA, v. 71, p. 100801, 2020. Disponível em: https://doi.org/https://doi.org/10.1016/j.seps.2020.100801. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.seps.2020.100801.
• NOJAVAN, Majid; HEIDARI, Atefeh; MOHAMMADITABAR, Davood. A fuzzy service quality based approach for performance evaluation of educational units. Socio-Economic Planning Sciences, USA, v. 73, p. 100816, 2021. Disponível em: https://doi.org/https://doi.org/10.1016/j.seps.2020.100816. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.seps.2020.100816.
• PAPADIMITRIOU, Maria; JOHNES, Jill. Does merging improve efficiency? A study of English universities. Studies in Higher Education, USA, v. 44, n. 8, p. 1454–1474, 2019. Disponível em: https://doi.org/https://doi.org/10.1080/03075079.2018.1450851. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1080/03075079.2018.1450851.
• PARENTE, Paulo Henrique Nobre et al. Eficiência e produtividade nos Institutos Federais de Educação, Ciência e Tecnologia do Brasil. Administração Pública e Gestão Social, [S. l.], v. 13, n. 1, 2021. Disponível em: https://www.redalyc.org/journal/3515/351564966006/html/. Acesso em: 28 ago. 2023.
  » https://www.redalyc.org/journal/3515/351564966006/html/.
• QUIROGA-MARTÍNEZ, Facundo; FERNÁNDEZ-VÁZQUEZ, Esteban; ALBERTO, Catalina Lucía. Efficiency in public higher education on Argentina 2004–2013: Institutional decisions and university-specific effects. Latin American Economic Review, USA, v. 27, n. 1, p. 1–18, 2018. Disponível em: https://doi.org/https://doi.org/10.1186/s40503-018-0062-0. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1186/s40503-018-0062-0.
• TAVARES, Rafael Santos; MEZA, Lidia Angulo. Performance evaluation of undergraduate courses at a Brazilian Federal University. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 29, p. 206–233, 2020. Disponível em: https://doi.org/https://doi.org/10.1590/S0104-40362020002802223. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1590/S0104-40362020002802223.
• TRAN, Carolyn-Dung T. T.; VILLANO, Renato A. Measuring efficiency of Vietnamese public colleges: an application of the DEA-based dynamic network approach. International Transactions in Operational Research, USA, v. 25, n. 2, p. 683–703, 2018. Disponível em: https://doi.org/https://doi.org/10.1111/itor.12212. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1111/itor.12212.
• VISBAL-CADAVID, Delimiro; MENDOZA, Adel Mendoza; HOYOS, Iván Quintero. Prediction of efficiency in Colombian higher education institutions with data envelopment analysis and neural networks. Pesquisa Operacional, Rio de Janeiro, v. 39, p. 261–275, 2019. Disponível em: https://doi.org/https://doi.org/10.1590/0101-7438.2019.039.02.0261. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1590/0101-7438.2019.039.02.0261.
• WHEELOCK, David C.; WILSON, Paul W. Non-parametric, unconditional quantile estimation for efficiency analysis with an application to Federal Reserve check processing operations. Journal of Econometrics, USA, v. 145, n. 1–2, p. 209–225, 2008. Disponível em: https://doi.org/https://doi.org/10.1016/j.jeconom.2008.05.007. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.jeconom.2008.05.007.
• WITTE, Kristof De; LÓPEZ-TORRES, Laura. Efficiency in education: A review of literature and a way forward. Journal of the operational research society, USA, v. 68, n. 4, p. 339–363, 2017. Disponível em: https://doi.org/https://doi.org/10.1057/jors.2015.92. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1057/jors.2015.92.
• WOICOLESCO, Vanessa G.; MOROSINI, Marilia; MARCELINO, Jocélia M. COVID-19 and the crisis in the internationalization of higher education in emerging contexts. Policy futures in Education, USA, v. 20, n. 4, p. 433–442, 2022. Disponível em: https://doi.org/https://doi.org/10.1177/14782103211040913. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1177/14782103211040913.
• WU, Jie et al. An efficiency analysis of higher education institutions in China from a regional perspective considering the external environmental impact. Scientometrics, USA, v. 122, p. 57–70, 2020. Disponível em: https://doi.org/https://doi.org/10.1007/s11192-019-03296-5. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1007/s11192-019-03296-5.
• ZHANG, Ganggang; WU, Jie; ZHU, Qingyuan. Performance evaluation and enrollment quota allocation for higher education institutions in China. Evaluation and Program Planning, USA, v. 81, p. 101821, 2020. Disponível em: https://doi.org/https://doi.org/10.1016/j.evalprogplan.2020.101821. Acesso em: 28 ago. 2023.
  » https://doi.org/https://doi.org/10.1016/j.evalprogplan.2020.101821.

Datas de Publicação

• Publicação nesta coleção
  13 Out 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  07 Jun 2023
• Aceito
  31 Jul 2023
• Revisado
  30 Ago 2023