Eficiência e desempenho no ensino superior: uma análise da fronteira de produção educacional das IFES brasileiras

Efficiency and performance in higher education: a frontier analysis of the educational productivity of the Brazilian Federal Institutes of Higher Education

ARTIGOS

Eficiência e desempenho no ensino superior: uma análise da fronteira de produção educacional das IFES brasileiras

Efficiency and performance in higher education: a frontier analysis of the educational productivity of the Brazilian Federal Institutes of Higher Education

Edward Martins Costa^I; Hermínio Ramos de Souza^II; Francisco de Sousa Ramos^III; Jorge Luiz Mariano da Silva^IV

^IDoutor em Economia pela Universidade Federal de Pernambuco e professor do Departamento de Economia da Universidade Federal do Rio Grande do Norte (UFRN). Contato: [e-mail]

^IIDoutor em Economia pela UFPE e professor do Departamento de Economia da mesma instituição. Contato: [e-mail]

^IIIDoutor em Economia pela Université Catholique de Louvain e professor do Departamento de Economia da UFPE. Contato: [e-mail]

^IVDoutor em Economia pela UFPE e professor do Departamento de Economia da UFRN. Contato: [e-mail]

RESUMO

Este trabalho tem como objetivo mensurar a eficiência educacional do ensino superior no Brasil, no período de 2004 a 2008, com ênfase nas Instituições Federais de Ensino Superior (IFES). Para tal propósito, mensuraram-se os escores da eficiência educacional por meio da análise de dados DEA-SBM. Procurou-se considerar os indicadores de gestão educacional das próprias instituições observando-as em dois subconjuntos: o grupo A, contendo 28 instituições; e um grupo B, com 21. Os resultados apontaram, em todos os períodos avaliados, níveis elevados de eficiência educacional. As causas da ineficiência da produção educacional das IFES variaram de acordo com os grupos analisados; por exemplo, para a maioria das IFES do grupo A, o elevado número de alunos por professores e o aumento do custo por aluno foram causas de ineficiência. Já para as IFES do grupo B, os fatores que mais comprometeram a eficiência foram o elevado número de alunos por professores e por funcionários, e o índice de qualificação do corpo docente. Ademais, a baixa taxa de sucesso nos cursos de graduação e do conceito CAPES-MEC, dos cursos de pós-graduação, representaram fatores de ineficiência das IFES.

Palavras-chave: Eficiência; educação; universidades.

CLASSIFICAÇÃO JEL: CO2; I23.

ABSTRACT

The objective of this study is to measure the educational efficiency of higher education in Brazil, in the period between 2004 and 2008, focusing on the Federal Institutions of Higher Education (FIHE). To achieve this purpose, educational efficiency scores were measured by a DEA-SBM analysis. Indicators of educational management of the institutions were considered, observing them in two subsets: group A containing twenty eight institutions and group B with twenty one. The results indicate higher rates of educational efficiency in the periods designated for this research. The causes of inefficiency in educational production at the FIHEs vary according to the two groups analyzed: for the majority of FIHEs in group A, the high number of students per professor and the increase in cost per student were causes of inefficiency; in group B the factors that most compromised efficiency were the high number of students per professor and staff, as well as the qualification index of the faculty. Moreover, the low rate of success in undergraduate courses and the CAPES-MEC ranking of graduate courses, represented inefficiency factors in the FIHEs.

Keywords: Efficiency; education; universities.

1. INTRODUÇÃO

O desempenho das Instituições de Ensino Superior (IES) tem sido objeto de estudo de diversos pesquisadores da área da economia da educação. Alguns desses estudos, além da análise qualitativa, se utilizam de metodologias quantitativas para mensurar os indicadores de desempenho das IFES. Indicadores como, por exemplo, "a proporção de alunos por professor e o custo por estudante" são formas de avaliação do desempenho das universidades. Entretanto, as pesquisas científicas sobre o desempenho das IFES vão mais além do que a simples criação de indicadores. Com o propósito de compará-las e projetar metas para melhorarem seus desempenhos, esses estudos estão se concentrando na estimação das funções fronteiras (de produção ou de custo) na educação, notadamente as fronteiras não paramétricas, que são estimadas por programação matemática, também conhecida como Análise Envoltória de Dados (DEA).

Para a mensuração de desempenho, as IES são tratadas como unidades produtivas como outras quaisquer, ou seja, requerem a utilização de insumos para obter determinado nível produtivo. Entretanto, a função da produção educacional possui algumas diferenças quando comparada a outros tipos de função de produção, principalmente em sua estrutura e caráter. Além disso, seu processo produtivo é bastante distinto, ou seja, os inputs e outputs educacionais são especificamente caracterizados para esse tipo de função.

Mancebón e Muñiz (2003) destacam algumas características inerentes ao setor de produção educacional. São elas: i) a natureza múltipla e intangível do produto – os produtos educacionais podem ser classificados como: conhecimento e habilidades, valores, atitudes, entre outras características; ii) a participação do cliente no processo produtivo – o cliente (aluno) não é meramente um demandante da mercadoria, mas atua de forma decisiva no processo produtivo; iii) a heterogeneidade dos serviços – devido à participação do estudante no processo produtivo, as unidades produtivas se diferenciam umas das outras; iv) a dimensão temporal – os resultados obtidos no processo produtivo podem não ser suficientes para uma mensuração completa da produção do setor educativo, visto que é necessário observar uma trajetória completa da vida dos estudantes; v) o caráter acumulativo do ensino; vi) a incidência de fatores exógenos – essa característica tem como embasamento a denominada educação informal, que não é obtida pelos anos de estudos, mas sim por experiências fora do setor educacional.

Ademais, sabe-se que o setor educacional é bastante diferenciado e que é necessário ter bastante atenção na construção dos "indicadores de desempenho" para a mensuração da eficiência produtiva das IES. Nesse ponto, duas questões são importantes: em primeiro lugar, as instituições operam sob diferentes condições e em diferentes ambientes, os quais muitas vezes não são explicados por razões simples. Em segundo lugar, o setor de produção educacional é detentor de muitos insumos e produtos.

O tema sobre como devem ser alocados os recursos públicos no setor de educação superior vem direcionando a grande maioria dos estudos para a mensuração da eficiência das IES públicas. Ao longo dos anos, muitos estudos têm como objetivo mensurar a eficiência e ranquear as IES públicas através de seu grau de eficiência. Ademais, cada país tem sua estrutura de financiamento e alocação de recursos que serve como base para a estimação da eficiência do setor educacional superior.

No Brasil, o setor público possui universidades e faculdades federais, estaduais e municipais. Já as universidades e faculdades privadas podem ser ou não com fins lucrativos. No ano de 2009, segundo o censo da educação superior realizado pelo Ministério da Educação (MEC), existiam no Brasil 2.314 IES. A distribuição por categoria administrativa é de 90% de instituições privadas e 10% de instituições públicas, sendo que, das IES públicas, 38% são federais, 34% estaduais e 28% municipais.

As Instituições Federais de Ensino Superior (IFES) são financiadas principalmente pelo governo federal por meio da vinculação de alguns impostos previstos no art. 212 da Constituição Federal de 1988. As instituições também recebem recursos de emendas parlamentares, de contratos com órgãos públicos e privados, e possuem recursos próprios. A alocação dos recursos oriundos da União é feita pela SESu/MEC através de uma matriz de alocação de recursos que procura privilegiar a eficiência das IFES.

Os métodos mais utilizados para medir a eficiência dentro do contexto do setor educacional são os paramétricos e os não paramétricos. As técnicas estatísticas empregadas são baseadas nos Mínimos Quadrados Ordinários (MQO) de regressão para análise de fronteira estocástica. Por outro lado, entre os métodos não paramétricos, as técnicas de Programação Linear (PL) são utilizadas para equacionar as relações de insumos e produtos, sendo a Análise Envoltória de Dados (DEA) a mais apropriada para o estudo da eficiência das Unidades Formadoras de Decisão (DMUs)

A metodologia DEA vem sendo a mais empregada para estimar a eficiência do setor educacional. Isso se deve, principalmente, ao fato de o setor educacional ser composto por múltiplos insumos e múltiplos produtos, o que facilita a estimação da fronteira pela DEA; além disso, a não necessidade da forma funcional da função de produção não causa, na estimação, o problema de má especificação do modelo.

Portanto, frente a esse contexto, o objetivo deste trabalho é estimar a fronteira de produção educacional das IFES no período de 2004 a 2008 a fim de se obter o grau de eficiência produtiva de cada instituição de ensino superior federal e, posteriormente, verificar as causas de possíveis ineficiências por parte das instituições analisadas. Além desta introdução, a segunda seção trata de uma breve revisão da literatura sobre os estudos que utilizaram a metodologia DEA para avaliar a fronteira de produção educacional. A terceira mostra a metodologia DEA-SBM (Slacks Based Measure), que será utilizada para medir a eficiência técnica das IFES. Na quarta parte, os resultados são apresentados e discutidos. Por fim, a última seção expõe as conclusões.

2. EFICIÊNCIA NA PRODUÇÃO DA EDUCAÇÃO SUPERIOR: UMA BREVE REVISÃO DA LITERATURA

A literatura internacional fornece alguns estudos sobre a eficiência das universidades públicas em diversos países. Esses estudos utilizam, em sua maioria, a metodologia Data Envelopment Analysis (DEA). Ahn, Charnes e Cooper (1988), utilizando três fatores de input e três de output, compararam instituições de nível superior orientadas para a pesquisa nos EUA. Em seus resultados, as universidades públicas obtiveram um maior nível de eficiência quando comparadas às universidades privadas.

Em outro estudo, Rhodes e Southwick (1986) compararam a eficiência de 96 universidades públicas e de 54 privadas nos EUA, por meio do modelo DEA, utilizando cinco fatores de input e seis de output. Os resultados indicaram que a eficiência relativa das instituições privadas naquele momento era maior do que a eficiência das universidades públicas.

Breu e Raab (1994) utilizaram a Análise Envoltória de Dados (DEA) para medir a eficiência relativa das 25 universidades dos EUA mais bem ranqueadas. Seus resultados mostraram que a metodologia DEA é apropriada para a mensuração da eficiência do ensino superior. Ademais, houve uma relação inversa do ranking já preestabelecido com o ranking obtido pela DEA.

Sarrico et al. (1997) avaliaram 90 instituições de ensino superior do Reino Unido ponderando a perspectiva de três categorias: (i) governo/sociedade; (ii) instituições: departamentos, corpo funcional e estudantes; e (iii) estudantes em potencial. Para tal propósito, utilizaram a metodologia DEA para obter os níveis de eficiência e compararam com um ranking local: a Times League Table. Os resultados obtidos pela metodologia DEA indicaram um melhor resultado de eficiência.

Forsund e Kalhagen (1999) avaliaram a eficiência das faculdades regionais na Noruega nos anos de 1994, 1995, 1996. Os resultados apontaram para algumas instituições eficientes, com relação aos serviços prestados de educação; quanto às faculdades ineficientes, houve uma grande variação entre os níveis de ineficiência. Ademais, houve melhoria de produtividade nos anos estudados, denotando um efeito positivo de produtividade, de modo a deslocar a fronteira de eficiência para um nível maior.

Flegg et al. (2003) analisaram a eficiência técnica de 45 universidades britânicas de 1980/81 a 1992/93, período escolhido principalmente por ter caracterizado uma época de grandes mudanças no financiamento público. No estudo, foi detectado um aumento significativo na eficiência técnica durante o período em questão, embora esse aumento tenha sido mais visível entre 1987/88 e 1990/91.

Afonso e Santos (2005) estimaram a eficiência relativa das universidades públicas portuguesas utilizando os dados relativos ao ano de 2003. Os inputs foram construídos a partir do número de professores e dos gastos da universidade, enquanto os outputs foram baseados na taxa de sucesso na graduação e no número de teses de doutorado.

Os resultados apontaram um índice de eficiência média de aproximadamente 55,3% e 67,8% entre as instituições avaliadas.

Abbot e Doucouliagos (2003) estudaram a escala técnica de eficiência de cada uma das universidades australianas por meio da metodologia DEA. Os resultados demonstraram homogeneidade no desempenho em todo o sistema universitário, o que sugere que as universidades australianas operam em um nível bastante elevado de eficiência. Entretanto, segundo os autores, existem ainda condições para a obtenção de aumento nos níveis de eficiência de algumas universidades.

Joumady e Ris (2005) mensuraram, por meio da metodologia DEA, as diferenças de eficiência em um conjunto de 210 instituições de ensino superior entre oito países da Europa através de uma amostra de estudantes com mais de três anos de formados. Foram estimados três modelos: o primeiro centrou-se nas competências dos serviços educacionais; o segundo (modelo de ajustamento) estimou a eficiência da aprendizagem após o término do curso de graduação; e o terceiro (modelo global) foi projetado para explorar o sucesso da universidade em atrair o desempenho geral. Seus resultados foram bastante diferenciados para os três modelos, ou seja, a eficiência variou conforme o modelo utilizado.

No Brasil, o estudo analítico da eficiência relativa das universidades federais de ensino superior vem se intensificando na última década, principalmente devido à pressão, por parte de órgãos ligados ao ensino superior junto ao MEC, para avaliar a magnitude dessa eficiência e de seus resultados para a sociedade como um todo.

Souza e Ramos (1997) analisaram o desempenho das instituições federais de ensino superior utilizando a técnica de Análise Envoltória de Dados, cujos resultados mostraram que aproximadamente 39,1% das instituições avaliadas alcançaram o nível máximo de eficiência, enquanto 6,5% encontravam-se na calda mais baixa de eficiência. Em comparação com estudos de outros países, pode-se ver que os resultados obtidos pelos autores revelaram que naquele período havia um baixo nível de eficiência das instituições federais públicas de ensino superior.

Corbucci (2000) avaliou os gastos do MEC com as instituições federais de ensino superior. Seu estudo estabeleceu indicadores de eficiência e produtividade no período de 1995/1998. Seus resultados constataram, apesar da redução nos gastos operacionais das instituições analisadas, um aumento do acesso do número de formandos tanto na graduação quanto na pós-graduação stricto sensu, bem como um incremento da produção científica, o que significou ganhos de eficiência e de produtividade por parte dessas instituições.

Façanha e Marinho (2001) estudaram as diferenças entre o desempenho das IES localizadas das grandes regiões brasileiras. O período analisado foi de 1995 a 1998, tendo sido utilizada a metodologia DEA para a mensuração de eficiência. Ademais, no âmbito da mensuração, foi considerada a distribuição das IES em federais, estaduais e municipais. Com relação ao ensino de graduação, os resultados mostraram que as IES municipais obtiveram eficiência relativa maior que as estaduais e federais no período analisado. Por outro lado, com relação ao ensino de pós-graduação, os resultados denotaram que houve assimetria quanto à eficiência relativa entre as IES que compunham o estudo.

Belloni (2001), em sua tese de doutorado, avaliou o desempenho da eficiência produtiva de 33 universidades federais brasileiras, aplicando no estudo a metodologia DEA. Não obstante os resultados obtidos por Ramos e Souza (1997), apenas seis das 33 universidades federais investigadas foram consideradas tecnicamente eficientes. O autor verificou que a propriedade de retornos constantes à escala não se aplica ao caso das universidades públicas federais. Dessa forma, suas estimativas foram realizadas de acordo com o modelo DEA-BCC, com retornos variáveis à escala.

Por fim, Oliveira e Turrioni (2005) avaliaram a eficiência relativa das IFES. Os inputs e os outputs foram construídos com a utilização dos indicadores do Tribunal de Contas da União (TCU). O modelo DEA-CCR levou em consideração retornos constantes à escala. Foram avaliadas 19 instituições federais de ensino superior, das quais cinco foram consideradas tecnicamente ineficientes. Comparando esses resultados com os obtidos por Ramos e Souza (1997) e por Belloni (2001), nota-se que os de Oliveira e Turrioni (2005) apontaram numa direção oposta, talvez pela utilização do modelo com rendimentos constantes à escala.

3. A MENSURAÇÃO DA EFICIÊNCIA DAS IFES

A metodologia de Análise Envoltória de Dados (DEA) foi desenvolvida por Charnes et al. (1978). Esse tipo de análise generaliza as medidas de Dantzig (1951) e Farrel (1957) e procura medir a eficiência produtiva de unidades de produção com múltiplos produtos e múltiplos insumos a fim de obter um indicador que atenda ao conceito de eficiência de Koopmans.

A estimação da DEA é feita de forma não paramétrica, mensurando a eficiência das Unidades Tomadoras de Decisão (Decision Making Units - DMU) observadas comparando-as entre si e obtendo um indicador de eficiência relativa. Essa metodologia utiliza as DMU como as melhores práticas observadas, construindo a partir delas uma fronteira de produção empírica, denominada fronteira eficiente.

3.1. TRATAMENTO DAS INFORMAÇÕES DAS IFES

Para o cálculo da eficiência da educação superior pública federal, será considerado um conjunto formado por 49 instituições. Devido à falta de informações suficientes para uma dimensão temporal, algumas IFES não foram incluídas nesse estudo¹.

De forma geral, as IFES possuem elevado grau de heterogeneidade, tornando complexa a estimação da fronteira de produção educacional. Independentemente de qual seja a modelagem utilizada − paramétrica ou não−, os modelos estimados devem incorporar as diferenças entre as instituições. Pode-se verificar essas diferenças sob vários aspectos: recursos recebidos, número de alunos matriculados, cursos, entre outros. Entretanto, uma universidade grande que atua em várias áreas do conhecimento, tanto no ensino quanto na pesquisa e extensão, quando comparada com outra voltada basicamente para a graduação, demonstra a grande diferença existente nesse setor.

Portanto, na busca de resultados consistentes, procurou-se minimizar as características heterogêneas do setor, sendo consideradas a realidade de cada instituição subdividindo-as em dois grupos: no primeiro grupo, são consideradas as instituições que têm uma atuação maior no ensino da pós-graduação e na pesquisa, e no segundo, são consideradas as instituições que têm pouca ou nenhuma atuação no ensino da pós-graduação e na pesquisa.

Os dois grupos foram determinados por meio da análise de três indicadores, sendo o primeiro indicador o total de matrículas na graduação. Os outros dois estão presentes nas estatísticas do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e são: i) a razão docente/pesquisa e ii) o total de investimento em bolsas. Dessa forma, os dois grupos a serem estimados são os seguintes:

3.2. OBTENÇÃO E ESCOLHA DOS INPUTS E OUTPUTS EDUCACIONAIS

O conceito de eficiência está relacionado com a utilização e alocação dos recursos. Dessa forma, para se obter estimativas confiáveis no cálculo da eficiência, é necessário empregar indicadores que representem de forma consistente as características da função de produção educacional.

A partir dos principais outputs e inputs utilizados por diversos trabalhos nas últimas décadas, do conjunto dos indicadores de eficiência fornecidos pelas IFES em seus relatórios de gestão, e considerando a realidade do sistema federal de ensino superior no Brasil, os outputs e inputs a serem empregados para a mensuração da eficiência das IFES neste trabalho são os seguintes:

Output

Os outputs educacionais podem ser definidos como a função dos serviços oferecidos pelas Instituições de Ensino Superior (IES). Dessa forma, foram definidas as seguintes variáveis como output:

• Alunosformados/alunosmatriculados(expressopelaTaxadeSucessonaGraduação - TSG²)

• Conceito CAPES/MEC para a pós-graduação

Input

Os inputs educacionais podem ser definidos como aquelas variáveis que tornam possível os serviços oferecidos pelas IES. Desse modo, foram definidas as seguintes variáveis como input:

• Custo corrente/aluno equivalente

• Aluno tempo integral/docente equivalente

• Aluno tempo integral/funcionários equivalentes

• Índice de qualificação do corpo docente

As informações utilizadas neste estudo foram obtidas junto aos seguintes órgãos:

• MEC, pelo site: <http://www.mec.gov.br>.

• Instituto Nacional de Estudos e Pesquisas Educacionais (INEP), pelo site: <http://www.inep.gov.br>.

• CNPq, pelo site: <http://www.cnpq.br>.

3.3. ESTIMAÇÃO DA FRONTEIRA DE PRODUÇÃO EDUCACIONAL: O MODELO DEA-SBM

Para mensurar a eficiência educacional das IFES, escolheu-se o modelo DEA-SBM, no formato de folgas, que foi formulado por Tone (2001, 1997). Este modelo pode ser representado pelo seguinte problema fracionado de programação linear:

Em que λ são os pesos dos insumos e dos produtos e s^-e s⁺ são, respectivamente, as folgas nos insumos e produtos. Assume-se que x > 0. O valor ρ da função objetivo, que é definida no intervalo 0 < ρ < 1, representa a medida da eficiência educacional das IFES.

O modelo SMB pode ser definido através das estruturas input orientado, e output orientado e não orientado. Aqui será tratada somente a output orientado, definida pela equação abaixo:

3.4. QUESTÕES METODOLÓGICAS NA ESTIMAÇÃO DA FRONTEIRA DE EFICIÊNCIA DAS IFES

Esse modelo procurou mensurar a eficiência considerando alguns ρindicadores que tratam de gestão das IFES. As estimações foram realizadas através do software DEA Solver Professional versão 7.0. Nesse modelo, buscou-se obter resultados mais robustos do ponto de vista da homogeneidade das IFES, sendo estimada a fronteira de eficiência nos dois grupos das IFES.

3.4.1. IDENTIFICAÇÃO DE OUTLIERS

Muitos trabalhos afirmam que o modelo DEA é sensível a outlier. Isso posto, nos últimos anos, vários procedimentos foram direcionados para o diagnóstico e a eliminação desse problema. Recentemente, Sampaio de Sousa e Stocic (2005) aplicaram um teste para verificar possíveis DMU que podem ser consideradas como outliers através de um método denominado jackstrap, que combina bootstrap e a estatística jacknife. Entretanto, essa técnica se aplica apenas para grandes amostras.

O modelo de supereficiência, desenvolvido por Andersen e Petersen (1993), procura calcular até que ponto uma DMU é eficiente aumentando os seus inputs, ou verificar qual o total necessário para que ela possa reduzir os seus outputs de maneira a continuar eficiente. Em termos numéricos, o procedimento consiste em retirar as observações eficientes da amostra no momento da avaliação DEA, de modo que as observações sejam comparadas através de uma combinação linear entre todas as outras, exceto elas próprias, permitindo que a sua eficiência possa ser superior a 1. Recentemente, Banker e Chang (2006) afirmaram que o uso da metodologia de supereficiência é uma boa ferramenta para identificar se uma DMU é um outlier.

Conhecendo essas duas técnicas para a identificação de outlier e o modelo a ser estimado, verifica-se que os dois grupos são considerados como uma pequena amostra (grupo A – 28, grupo B – 21), não sendo aplicado, portanto, o modelo Jackstrap. Dessa forma, serão realizadas estimações de supereficiência (SBM) a fim de identificar as IFES que se localizaram acima de 1.

Após a identificação dessas instituições, será realizado o teste do escore padronizado para verificar se, dentre as IFES que compõem o conjunto acima de 1 (supereficiência), existem outliers. De acordo com Songwon (2002), o escore padronizado é um critério razoável para a identificação de outliers com dados distribuídos normalmente.

O teste do escore padronizado é dado pela seguinte equação:

Onde é a média amostral e s é o desvio-padrão.

Hipóteses:

H₀ = |z_i| > 3: a observação é um outlier.

H₀ = |z_i| < 3: a observação não é um outlier.

A Tabela 2 abaixo mostra os resultados para as estimações de supereficiência para as IFES do grupo A.

Analisando a Tabela 2 acima, verifica-se que, para todos os períodos temporais, os valores do z_i < 3, rejeitando-se a hipótese nula e indicando que não existiam outliers. Dessa forma, para os modelos estimados para as IFES do grupo A, não haverá exclusão de DMU.

A próxima tabela mostra os resultados para as estimações de supereficiência para as IFES do grupo B.

Na análise da Tabela 3, verifica-se que, para todos os períodos temporais, os valores do z_i < 3, excetuando-se a UFT para o ano de 2006, que obteve um valor para o z_i = 3,2, localizam-se na região da hipótese nula. Entretanto, verificou-se que a exclusão dessa IFES não alterou a fronteira de eficiência, ou seja, sua exclusão não afetou os escores de eficiência, isso devido à sua posição na fronteira ser eficiente por default. Dessa forma, para os modelos estimados para as IFES do grupo B, não haverá exclusão de DMU.

4. ANÁLISE DA EFICIÊNCIA DAS IFES

4.1. ESTIMAÇÕES: IFES DO GRUPO A

A Tabela 4 a seguir exibe os resultados obtidos das estimações das fronteiras de produção do sistema educacional superior público federal com ênfase nas IFES que compõem o grupo A. Analisando os resultados dos escores de eficiência para as fronteiras estimadas em cada ano separadamente, podem-se fazer as considerações a seguir. Em 2004, aproximadamente 64% das IFES localizaram-se na fronteira de eficiência, enquanto 36% estavam abaixo da fronteira. As instituições que estão na fronteira também podem ser consideradas benchmarks para aquelas que estão abaixo da fronteira; a UFMG, por exemplo, é parâmetro de referência para todas as instituições que estão abaixo da fronteira. Por outro lado, a UFMT, a UFPB, a UFPEL, a UFRGS, a UFRPE e a UFU, mesmo estando na fronteira, não foram referência para as instituições abaixo da fronteira. Ademais, verifica-se que, das 10 instituições que estavam abaixo da fronteira, a UFG, com um escore de eficiência de 0,79, obteve o pior resultado entre as IFES ineficientes.

No ano de 2005, houve mudança na fronteira de eficiência. Aproximadamente 60% das IFES localizaram-se na fronteira, destacando-se as instituições UFMG e UFBA como parâmetro de referência para 10 e seis instituições, respectivamente, que se encontravam abaixo da fronteira. Por outro lado, a UFV e a UFPB, mesmo estando na fronteira, não foram referência para as instituições abaixo da fronteira. Além disso, o conjunto de instituições abaixo da fronteira aumentou em uma instituição (UFPA, com escore de 0,97). Soma-se a isto o fato de que, para algumas IFES, houve melhora no grau de eficiência; para outras, o grau de ineficiência aumentou, sendo a UFLA a instituição que obteve a maior queda no escore de eficiência. Ademais, a UFPR foi a instituição que obteve o pior resultado, com um escore de eficiência de 0,79.

Em 2006, 64% das instituições faziam parte do conjunto eficiente, enquanto 36% foram do conjunto ineficiente. Essa mudança na fronteira se deve ao fato de que a UFC, a UFCG e a UFPA passaram a fazer parte do conjunto eficiente, ao passo que a UFAL e a UFPR deixaram a fronteira, obtendo um escore de 0,79 e 0,84, respectivamente, sendo a UFAL a instituição com maior grau de ineficiência. Com relação à análise de benchmark, a UFRJ foi parâmetro de referência para nove IFES abaixo da fronteira, e a UFMG continua sendo parâmetro de referência de eficiência para oito IFES abaixo da fronteira. Ademais, a UFAM, a UFMT, a UFRGS e a UFRJ, apesar de estarem na fronteira, não foram referência para as instituições abaixo da fronteira.

No ano de 2007, a UFC e a UFCG deixaram a fronteira de eficiência. Como consequência, o número de instituições abaixo da fronteira aumentou concomitantemente à diminuição do percentual do conjunto eficiente para aproximadamente 57%; além disso, dentro do conjunto ineficiente, aumentou o grau de ineficiência da maioria das instituições, sendo mais uma vez a UFLA a obter o escore mais baixo. Das IFES que estão na fronteira, a UFMG e a UFPA são referência para 11 e 10 IFES, respectivamente. A UFRJ, que no período anterior foi referência para nove instituições, nesse ano não foi parâmetro de referência para nenhuma IFES abaixo da fronteira de eficiência; a UFAM, a UFMT e a UFRGS, por sua vez, apesar de estarem situadas na fronteira, não foram parâmetro de referência para as instituições ineficientes.

A fronteira de eficiência de 2008 está acima das fronteiras dos outros períodos analisados, com aproximadamente 67% das IFES dentro do conjunto eficiente. Nesse ano, 19 IFES estavam na fronteira devido ao fato de que a UFPE, a UFLA e a UFCG deixaram de ser ineficientes. No entanto, nove IFES ficaram abaixo da fronteira, sendo que a maioria das instituições abaixo da fronteira obteve escores de ineficiência menores do que os obtidos no período anterior. Na análise de benchmark, a UFMG e a UFPA continuam sendo parâmetro de referência para a maioria das instituições que estão abaixo da fronteira. Por outro lado, a UFAM, a UFMT, a UFRGS e a UFRJ, apesar de estarem situadas na fronteira, não foram parâmetro de referência para as instituições ineficientes.

Por fim, após verificar as fronteiras para o conjunto de IFES do grupo A e para o período de 2004 a 2008, pode-se comentar que, em cada ano analisado, apesar de existirem IFES abaixo da fronteira de eficiência, essas fronteiras mostraram-se semelhantes em cada um desses anos, não havendo mudanças significativas nos escores de eficiência.

A avaliação das folgas projetadas no modelo DEA é ferramenta importante no processo de tomada de decisão. Dessa forma, após a análise das fronteiras de eficiência em cada ano separadamente, é interessante examinar as causas da ineficiência tanto para as IFES do grupo A quanto para as IFES do grupo B que estão abaixo da fronteira.

A Tabela 5 a seguir mostra a evolução dos indicadores de ineficiência (folgas) do modelo DEA-SBM para as IFES do grupo A, permitindo verificar quais os pontos (excesso de input ou escassez de output) que as IFES ineficientes precisavam aprimorar para chegar à fronteira.

Examinando as instituições que compõem o grupo que estão abaixo da fronteira, percebe-se que 50% estiveram abaixo da fronteira em todos os períodos. São elas: UFRN, UFES, UFG, UnB, FURG e UFSC; além disso, a UFPR e a UFPE não estiveram abaixo da fronteira em 2008 e 2005, respectivamente. As outras instituições alteraram entre a fronteira e posições abaixo da fronteira.

A ineficiência da UFRN e da UnB pelo lado do input deve-se pelo excesso do indicador aluno tempo integral docente equivalente e, principalmente, pelo excesso do custo corrente/aluno equivalente, e outros indicadores de input tiveram pouco impacto sobre a ineficiência. Por outro lado, a escassez da tsg e do conceito CAPES/MEC foram causas importantes de ineficiência em todos os períodos avaliados pelo lado do output.

Por exemplo, em 2007, a UFRN estava utilizando em excesso um custo por aluno de R$ 2.296,00. De forma semelhante a UNB, em 2006, estava com excessos no custo por aluno, de R$ 4.826,44. A utilização desses recursos não implicou em melhorias dos indicadores da taxa de sucesso da Graduação nem no indicador da avaliação da CAPES/MEC das respectivas IFES.

A ineficiência da UFSC, UFPE e UFPR pelo lado do input deve-se principalmente pelo excesso do indicador aluno tempo integral/docente equivalente; os outros indicadores de input tiveram impacto suave sobre a ineficiência. Na outra mão, a escassez da tsg e do conceito CAPES/MEC foram causas importantes de ineficiência em todos os períodos avaliados pelo lado do output. Com relação à UFES, UFG e FURG, a ineficiência deve-se principalmente pela a escassez da tsg e do conceito CAPES/MEC, ou seja, é uma ineficiência causada pelos outputs.

A causa da ineficiência da UFLA pelo lado pelo lado do input deve-se pelo excesso do indicador aluno tempo integral/docente equivalente, aluno tempo integral/funcionário equivalente e do índice de qualificação do corpo docente. Por outro lado, a escassez da tsg e do conceito CAPES/MEC foram causas importantes de ineficiência em todos os períodos avaliados pelo lado do output.

Por fim, as causas de ineficiência da UFF no ano de 2004 foram o excesso do índice de qualificação do corpo docente e do conceito CAPES/MEC para o input e output respectivamente. Para a UFAL o problema da ineficiência pelo lado do input deve-se pelo excesso do indicador aluno tempo integral/docente equivalente, aluno tempo integral/ funcionário equivalente, e excesso do custo corrente/aluno equivalente. Para a UFC a principal causa de ineficiência pelo lado do input foi o custo corrente/aluno equivalente. Tanto para a UFAL quanto para a UFC a escassez da tsg e do conceito CAPES/ MEC foram causas de ineficiência pelo lado do output.

4.1. ESTIMAÇÕES: IFES DO GRUPO B

A Tabela 6 exibe resultados obtidos da estimação do modelo DEA-SBM. Dessa forma, são mostradas as fronteiras de produção do sistema educacional superior público federal das IFES do grupo B.

Os resultados dos scores de eficiência para o ano de 2004 mostram que aproximadamente 67% das instituições estavam na fronteira de eficiência e que, verificando o benchmark das IFES na fronteira, viu-se que a UFJF é parâmetro de referência para seis instituições que estavam abaixo da fronteira, e que a UFCSPA e a UFTM foram parâmetro de referência para cinco e quatro instituições abaixo da fronteira, respectivamente. Além disso, sete outras IFES, mesmo estando na fronteira de eficiência, não foram referência para as instituições abaixo da fronteira. Por outro lado, existiam sete instituições abaixo da fronteira de eficiência. Ademais, a UFMS, com um score de eficiência de 0,34, obteve um grau de ineficiência muito alto; a UFSJ também obteve um desempenho fraco, com um score de 0,62, e a UFOP, a UFAC, a UNIFEI, a UFPI e a UNIR também compuseram o conjunto das IFES abaixo da fronteira de eficiência.

Para o ano de 2005, o percentual de instituições na fronteira e abaixo da fronteira foi modificado em relação ao período anterior, tendo sido de 76% e 24%, respectivamente. A UFAC e a UNIFEI foram para a fronteira de eficiência enquanto a UFRRJ passou para o conjunto das IFES abaixo da fronteira, com score de 0,84. Para algumas IFES, houve melhora no grau de ineficiência; para outras, o grau de ineficiência aumentou, tendo sido a UFLA a instituição que obteve a maior queda no score de eficiência. A instituição abaixo da fronteira que obteve o pior resultado foi a UNIR, com um score de eficiência de 0,60. Com relação às instituições de referência, destacam-se a UFJF e a UFTM como parâmetro para seis e cinco IFES, respectivamente, abaixo da fronteira. Por outro lado, nove IFES, mesmo estando na fronteira, não foram referência para as instituições abaixo da fronteira.

No ano de 2006, o percentual de instituições na fronteira e abaixo da fronteira não foi modificado em relação ao ano anterior. Dentre as instituições de referência destacaram-se a UFCSPA e a UFTM como parâmetro para quatro IFES abaixo da fronteira respectivamente. Ademais, sete IFES, mesmo estando na fronteira não foram referência para as instituições abaixo da fronteira. A UNIFEI, por sua vez, passou a fazer parte do conjunto das IFES abaixo da fronteira, com escore de 0,91, e a instituição abaixo da fronteira que obteve o pior resultado foi mais uma vez a UNIR, com um escore de eficiência de 0,74.

A fronteira de eficiência para o ano de 2007 apresentou aproximadamente 57% de IFES no conjunto eficiente e 43% no conjunto ineficiente, denotando uma fronteira de eficiência mais baixa quando comparada àquela dos períodos anteriores. Somente a UNIR passou a fazer parte do conjunto de eficiente, enquanto a UFERSA, a UFRR, a UFJF, a UFRA e a UFPI passaram para o conjunto das ineficientes. Analisando o benchmark das IFES do conjunto eficiente, a UFCSP, a UNIFAL e a UFTM foram parâmetro de referência para nove, oito e seis instituições, respectivamente, localizadas no conjunto ineficiente. Por outro lado, a UFERSA obteve o pior escore de eficiência das instituições que fazem parte do conjunto ineficiente.

Na fronteira de eficiência de 2008, 71% das IFES localizaram-se na fronteira de eficiência, enquanto 39% ficaram abaixo da fronteira. Nesse ano, a UFRA foi a que mais serviu como parâmetro de referência para as IFES que se localizaram abaixo da fronteira, num total de cinco. A UFOP, a UFPI, a UFRR, a UFT, a UFVJM e a UNIFAP, apesar de estarem na fronteira, não foram referência para as instituições que fazem parte do conjunto ineficiente. Por outro lado, a UNIR foi a que obteve um score de eficiência de 0,74, o pior dentre as instituições do conjunto das IFES ineficientes.

A Tabela 7 a seguir mostra a evolução dos indicadores de ineficiência (folgas) do modelo DEA-SBM para as IFES do grupo B, permitindo examinar quais os pontos (excesso de input ou escassez de output) que as IFES ineficientes precisavam aprimorar para atingir à fronteira.

Em direção oposta ao verificado na fronteira das IFES que compõem o grupo A, nenhuma instituição que compõem as IFES do grupo B esteve abaixo da fronteira em todos os períodos. Todas as instituições alteraram-se entre a fronteira e posições abaixo da fronteira.

A ineficiência da UFOP, UFAC, UNIFEI e UFPI pelo lado do input deve-se principalmente pelo excesso dos indicadores aluno tempo integral/funcionário equivalente e índice de qualificação do corpo docente, ou outros indicadores de input tiveram pouco impacto sobre a ineficiência. Por outro lado, a escassez da tsg e do conceito CAPES/ MEC foram causas importantes de ineficiência em todos os períodos avaliados pelo lado do output.

A UNIR, UFSJ, UFRRJ, UFRA, UFJF, UFSJ e UFERSA mostraram-se ineficientes principalmente pelo excesso dos indicadores aluno tempo integral/docente equivalente e do índice de qualificação do corpo docente. Ademais, a escassez da tsg e do conceito CAPES/MEC são outros fatores de ineficiência.

Por fim, para a UFMA e para a UFRRJ, o problema da ineficiência pelo lado do input deve-se basicamente pelo excesso do indicador aluno tempo integral/docente equivalente; a escassez da tsg e do conceito CAPES/MEC foram causas de ineficiência pelo lado do output.

5. SÍNTESES E CONCLUSÕES

Este trabalho buscou analisar as Instituições Federais de Ensino Superior (IFES) brasileiras através da metodologia DEA-SBM para a mensuração de eficiência técnica das IFES por meio de um modelo que verificou o máximo de produto educacional obtido por cada instituição investigada, dado que esse produto é função dos recursos educacionais. Com relação à estimação das fronteiras de eficiência, as IFES foram divididas em dois subconjuntos (grupo A – 28 instituições; grupo B – 21 instituições). Essa divisão ocorreu para minimizar a heterogeneidade existente no setor.

Os resultados das estimações para as fronteiras de eficiência das IFES que compõem o primeiro subconjunto (grupo A) mostraram que, para todos os períodos, as fronteiras apontaram que as IFES que compõem o conjunto ineficiente não obtiveram elevado grau de ineficiência, sendo obtidos os piores escores de eficiência de 0,79; 0,78; 0,79; 0,61 e 0,77 para os anos de 2004, 2005, 2006, 2007 e 2008, respectivamente. Além disso, as IFES que fizeram parte do conjunto ineficiente em todos os períodos analisados representaram aproximadamente 26% do subconjunto. São elas: UFRN, UFES, FURG, UNB, UFPR e UFG. Na outra mão, as IFES que fizeram parte do conjunto eficiente em todos os períodos analisados representaram aproximadamente 50% do subconjunto, sendo elas: UFAM, UFBA, UFMG, UFMT, UFPB, UFPEL, UFRGS, UFRJ, UFRPE, UFSCAR, UFSM, UFU, UFV e UNIFESP. Ademais, os índices de produtividade em cada painel corroboraram os escores de eficiência obtidos pelas IFES.

Na outra mão, os resultados das estimações para as fronteiras de eficiência estática das IFES que compõem o segundo subconjunto (grupo B) indicaram que a fronteira de eficiência para o período de 2004 foi a mais baixa entre os períodos. Além disso, as IFES que fizeram parte do conjunto ineficiente em todos os períodos analisados – UFOP e UFSJ – representaram aproximadamente apenas 10% do subconjunto. Na outra mão, as IFES que fizeram parte do conjunto eficiente em todos os períodos analisados representaram aproximadamente 38% do subconjunto. São elas: UFCSPA, UFTM, UFSE, UNIFAP, UFT, UFVJM, UNIFAL e UNIRIO. Observou-se que os índices de produtividade em cada painel corroboraram os escores de eficiência obtidos pelas IFES, tal como ocorreu no caso das IFES do grupo A.

Verificando as causas da ineficiência produtiva das IFES que compõem os dois subconjuntos, pode-se afirmar que, para a maioria das instituições do grupo A que estão abaixo da fronteira, os indicadores por parte dos inputs são o aluno tempo integral/ professor equivalente e o custo corrente/aluno equivalente, que têm maior impacto sobre a ineficiência. Pelo lado dos outputs, os dois indicadores aqui analisados estão impactando significativamente na ineficiência gerada pelas instituições.

Analisando as causas da ineficiência produtiva das instituições que compõem o grupo B, pode-se dizer que os indicadores de maior impacto sobre a ineficiência por parte dos inputs são o aluno tempo integral/docente equivalente, aluno tempo integral/ funcionário equivalente e o índice de qualificação do corpo docente. Como ocorrido nas IFES do grupo A, pelo lado dos outputs, os dois indicadores aqui analisados estão impactando significativamente na ineficiência gerada pelas instituições.

Cabe aqui uma análise mais criteriosa, no que tange ao excesso do indicador índice de qualificação do corpo docente, para que não sejamos levados a cair na armadilha da ineficiência. Em termos gerais, essa folga mostra que existem muitos professores qualificados que não estão sendo utilizados pelas IFES em sua totalidade ou em sua plenitude acadêmica. Uma das possíveis explicações deve-se à mudança ocorrida nos últimos anos com relação ao critério de contratação das IFES, que estão exigindo professores mais qualificados, doutores, por exemplo. Grande parte dessas novas contratações (seja através da pesquisa e ou/melhorias da qualidade do ensino) ainda não se fez presentes nos indicadores da taxa de sucesso e indicador do conceito CAPES/MEC.

Entretanto, para que esses resultados possam realmente comprovar a real situação da educação superior pública federal, é necessário examinar o que aconteceu com cada IFES separadamente para só, então, fazer algum tipo de consideração sobre as causas de suas ineficiências relativas e de sua perda de produtividade.

Artigo recebido em 29/02/2012 e aprovado em 24/08/2012.

• ABBOT, M.; DOUCOULIAGOS, C. The efficiency of Australian universities: a Data Envelopment Analysis. Economics of Education Review, v. 22, p. 8997, 2003.
• AFONSO, A.; SANTOS, M. Students and teachers a DEA approach to the relative efficiency of Portuguese public universities. Working Papers, Technical University of Lisbon, n. 2005/07, 2004.
• AHN, T.; CHARNES, A.; COOPER, W. Some statistical and DEA evaluations of relative efficiencies of public and private institutions of higher learning. Socio-Economic Planning Sciences,v. 22, n. 6, p. 259-269, 1988.
• ANDERSEN, P.; PETERSEN, N. C. A procedure for ranking efficient units in Data Envelopment Analysis. Management Science, v. 39, p. 12611264, 1993.
• ATHANASSOPOULOS, A. D; SHALE, E. Assessing the Comparative Efficiency of Higher Education Institutions in the UK by Means of Data Envelopment Analysis. Education Economics, v. 5, n. 2, p. 117-134, 1997.
• AVKIRAN, N. Investigating Technical and Scale Efficiencies of Australian Universities Through Data Envelopment Analysis. Socio-Economic Planning Sciences, v. 35, p. 57-80, 2001.
• BANKER, R. D; CHARNES, A.; COOPER, W. W. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management Science, v. 30, p. 10781092, 1984.
• BANKER, R. D; CHANG, H. The super-efficiency procedure for outlier identification, not for ranking efficient units. European Journal of Operational Research, v. 175, p. 1311-1320, 2006.
• BELLONI, J. A. Uma Metodologia de Avaliação da Eficiência Produtiva de Universidades Federais Brasileiras Tese de Doutorado, Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil, 2001.
• BRASIL. Ministério da Educação. Secretaria de Ensino Superior. A coleta de dados das IFES para alocação de recursos orçamentários. Brasília: MEC, 2006. Disponível em: <portal.mec.gov.br/index.php?option=com_docman&task=doc...>. Acesso em: 18 out. 2009.
• BRASIL. República Federativa do Brasil. Constituição da República Federativa do Brasil: Art. 212. Brasília: Senado Federal, 1988.
• BREU, T. M; RAAB, R. L. Efficiency and perceived quality of the nation's 'top 25' national universities and national liberal arts colleges: an application of data envelopment analysis to higher education. Socio-Economic Planning Science, v. 28, p. 33-45, 1994.
• CHARNES, A.; COOPER, W. W; RHODES, E. Measuring the efficiency of DMUs. European Journal of Operational Research, v. 2, p. 429444, 1978.
• CHARNES, A.; COOPER, W. W.; RHODES, E. Evaluating program a managerial efficiency: an application of Data Envelopment Analysis to program follow through. Management Science, v. 27, p. 668-697, 1981.
• CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO (CNPq). Página eletrônica. Disponível em: <http://www.cnpq.br/>
• COOPER, W. W.; SEIFORD, L. M.; TONE, K. A comprehensive text with models, applications, references and DEA-solver software 2 ed. New York: Spring, 2007.
• CORBUCCI, P. R. As Universidades Federais: gasto, desempenho, eficiência e produtividade. Texto para Discussão, IPEA, n. 752, 2000. Disponível em: <http://www.ipea.gov.br>. Acesso em: 05 mar. 2009.
• FAÇANHA, L. O.; MARINHO, A. Instituições de Ensino Superior Governamentais e Particulares: Avaliação Comparativa de Eficiência. Texto para Discussão, IPEA, n. 813, 2001. Disponível em: <http://www.ipea.gov.br>. Acesso em: 04 jan. 2010
• FARRELL, M. The measurement of productive efficiency. Journal of the Royal Statistical Society, Series A, n. 120, Part 3, p. 253-290, 1957.
• FLEGG, A. T.; ALLEN D. O.; FIELD K.; THURLOW, T. W. Measuring the efficiency and productivity of British universities: an application of DEA and the Malmquist approach. Discussion Papers, University of the West of England, Department of Economics, n. 304, 2003.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS (INEP). Sinopse Estatística da Educação Superior Brasília: MEC, 2009. Disponível em: <http://www.inep.gov.br>. Acesso em: 10 fev. 2010.
• JOHNES, G.; JOHNES, J. International Handbook on the Economics of Education Cheltenham, UK. Northampton, USA: Edward Elgar, 2004, p. 613-627.
• JOUMADY, O.; RIS, C. Performance in European higher education: a non-parametric production frontier approach. Education Economics, v. 13, n. 2, p. 189-205, 2005.
• KOOPMANS, T. C. "An analysis of production as an efficient combination of activities". In: KOOPMANS, T. C. (Ed.) Activity analysis of production and allocation Cowles Commission for Research in Economics, Monograph No. 13. New York: John Wiley and Sons, 1951.
• MC MILLAN, M.; DATTA, D. The relative efficiencies of Canadian universities: a DEA perspective. Canadian Public Policy, v. 24, n. 4, p. 485-511, 1988.
• OLIVEIRA, C. E. M.; TURRIONI, J. B. Avaliação de Desempenho de Instituições Federais de Ensino Superior Através da Análise Envoltória de Dados (DEA). In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 26, Fortaleza, CE, Brasil, 9-11 Out. 2006.
• PIRES, J. S. D. B. Proposta de modelo de orçamento baseado em desempenho acadêmico para as universidades públicas do estado do Paraná Tese de Doutorado, Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catariana, Florianópolis, SC, Brasil, 2001.
• SAMPAIO DE SOUZA, M. C.; STOSIC, B. D. Technical efficiency of the Brazilian municipalities: correcting non-parametric frontier measurements for outliers. Journal of Productivity Analysis, v. 24, n. 2, p. 157-181, 2005.
• SARRICO, C. S. Data envelopment analysis and university selection. Journal of the Operational Research Society, v. 48, p. 1163-1177, 1997.
• SHEPHARD, R. Cost and production functions New Jersey, US: Princeton University Press, 1953.
• SONGWON, S. A review and comparison of methods for detecting outliers in univariate data sets Dissertation of M. Sc., Graduate School of Public Health, University of Pittsburgh, Pittsburgh, Pennsylvania, US, 2006.
• SOUZA, H. R.; RAMOS. F. S. Performance evaluation in the public sector: an application of efficiency measures to Brazilian federal higher education institutions. Tenth World Productivity, p. 430-450, 1997.
• TONE, K. DEA with controllable category levels. In: SPRING NATIONAL CONFERENCE OF THE OPERATIONS RESEARCH SOCIETY OF JAPAN, Proceedings, 1997, p. 126-127.
• TONE, K. A slacks-based measure of efficiency in data envelopment analysis. European Journal of Operational Research, n. 130, p. 498-509, 2001.
• TRIBUNAL DE CONTAS DA UNIÃO (TCU). Orientação para o cálculo dos indicadores de gestão Brasília: TCU, mar. 2004.

1

As IFES não incluídas na estimação são as seguintes: Fundação Universidade Federal do Vale do São Francisco, Universidade Federal do Recôncavo da Bahia, Fundação Universidade Federal do ABC, Fundação Universidade Federal do Pampa, Universidade Federal Tecnológica do Paraná, e Fundação Universidade Federal do Grande Dourados.

2

A TSG visa representar um produto no processo produtivo educacional que contemple a questão do desempenho acadêmico das IFES.

Datas de Publicação

• Publicação nesta coleção
  01 Fev 2013
• Data do Fascículo
  Dez 2012

Histórico

• Recebido
  29 Fev 2012
• Aceito
  24 Ago 2012