Fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo

Determinant factors of efficiency of the academic graduate programs in Administration, Accounting and Tourism

Fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo

Determinant factors of efficiency of the academic graduate programs in Administration, Accounting and Tourism

Ney Paulo Moreira^I; Nina Rosa da Silveira Cunha^II; Marco Aurélio Marques Ferreira^III; Suely de Fátima Ramos Silveira^IV

^IBacharel em Ciências Contábeis, 2006, UFV; M.S. Administração, 2008, UFV. Professor Assistente da Universidade Federal de Viçosa - UFV - Campus de Rio Paranaíba. E-mail: [e-mail]

^IIBacharela em Direito, 1973, FUIT; M.S. Administração, 1981, UFMG; D.S. Economia Aplicada, 2005, UFV. Professora Associada do Departamento de Administração e Contabilidade da Universidade Federal de Viçosa. E-mail: [e-mail]

^IIIBacharel em Administração, 2000, UFV; M.S. Economia Aplicada, 2002, UFV; D.S. Economia Aplicada, 2005, UFV; Pós.Doc. Administração Pública, Rutgers-USA, 2011. Professor Adjunto do Departamento de Administração e Contabilidade da Universidade Federal de Viçosa. E-mail: [e-mail]

^IVBacharela em Ciências Econômicas, 1984, UFV; M.S. Economia Rural, 1993, UFV; D.S. Economia Aplicada, 2000, ESALQ/USP. Professora Adjunta do Departamento de Administração e Contabilidade da Universidade Federal de Viçosa. E-mail: [e-mail]

RESUMO

Este estudo teve como objetivo mensurar a eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo, além de possibilitar uma reflexão sobre os fatores determinantes de sua eficiência, no triênio 2004/2006. Foram utilizados Análise Envoltória de Dados (DEA) e modelo de regressão censurada (Tobit) com dados em painel. Os resultados revelaram que os programas com maior número de alunos matriculados apresentaram-se mais eficientes, sugerindo que os programas de pós-graduação alcançam maior eficiência quando operam em maior escala. O envolvimento dos docentes em projetos de pesquisa, bem como a participação de membros externos aos programas em suas atividades, influenciam positivamente o nível de eficiência. Essas ações devem ser incentivadas de forma a maximizar a eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo, e contribuir com o desenvolvimento científico das referidas áreas do conhecimento.

Palavras-chave: Análise de desempenho. Análise envoltória de dados. Tobit.

ABSTRACT

The purpose of this study was to evaluate the efficiency of the academic graduate programs in Administration, Accounting and Tourism, as well as to allow a reflection about the factors determining their efficiency, during the three-year period 2004-2006. The Data Envelopment Analysis (DEA) and the censured regression model (Tobit) with panel data were used. The results show the programs with higher numbers of enrolled students to be more efficient, therefore suggesting that the graduate programs reach higher efficiency when operating at higher scales. The teachers' involvement in research projects, as well as the participation of members external to the programs also positively affect the efficiency level. Those actions should be encouraged in order to maximize the efficiency of the academic graduate programs in Administration, Accounting and Tourism, as well as to contribute for the scientific development in these fields of knowledge.

Key words: Performance analysis. Data envelopment analysis. Tobit.

1 INTRODUÇÃO

As instituições universitárias são dependentes de uma contínua legitimação pública, uma vez que tanto os agentes internos quanto a sociedade em geral possuem expectativas em relação ao desempenho e à contribuição social dessas organizações (LAPA; NEIVA, 1996).

Nesse contexto, as atividades de avaliação do desempenho são essenciais à legitimação social das organizações de ensino. Contudo, segundo Belloni, Magalhães e Sousa (2003), ainda percebe-se certo amadorismo nas práticas de avaliação institucional e de políticas públicas em educação, sendo necessário maior aprofundamento teórico e metodológico nessa área.

Mello et al (2001) destacam que os procedimentos em uso são baseados em conceitos essencialmente qualitativos e fortemente dependentes da opinião do avaliador, e quando utilizadas versões quantitativas, ocorre a aplicação de índices brutos que não fornecem subsídios necessários a uma análise mais acurada.

Por sua vez, Belloni (2000) afirma que a preocupação com o desempenho não tem sido traduzida na construção de modelos de avaliação que explicitem o significado das variáveis e dos indicadores relativos a esse desempenho.

No caso dos programas de pós-graduação, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) avalia o desempenho dos cursos desde 1976 e, devido à sua experiência acumulada, com um programa de avaliação indiscutivelmente pioneiro, o Brasil tornou-se o país que mais contribuiu com o desenvolvimento da história organizada da avaliação institucional na América Latina (LEITE, 2002). Essa experiência avaliativa consolidou-se ao longo dos anos, sendo considerada um grande avanço em sistemas de avaliação educacional.

O sistema de avaliação dos programas de pós-graduação da CAPES inclui critérios qualitativos e quantitativos, contudo ambos são convertidos em considerações qualitativas e, ao final da avaliação, com base nas apreciações realizadas, estabelece-se um conceito numérico, dimensionando a qualidade dos programas avaliados.

Dentre os parâmetros utilizados nessa avaliação há critérios relativos à eficiência dos programas, como o tempo de titulação dos mestrandos e doutorandos e a produção bibliográfica dos programas.

Segundo Lapa e Neiva (1996) a análise da eficiência de organizações de ensino deve ser feita em termos relativos, tomando-se como referência uma ou algumas instituições que, em dado contexto similar ou equivalente, possam ser consideradas mais eficientes.

Nota-se ainda que o número de programas de pós-graduação em Administração, Contabilidade e Turismo vêm crescendo significativamente nos últimos anos (Tabela 1), resultado da demanda por profissionais especializados na área de negócios e, consequente, necessidade de aprimoramento do conhecimento nessas ciências.

Portanto, entendendo que a eficiência constitui parte fundamental da avaliação da qualidade dos programas de pós-graduação, o presente estudo visa desenvolver uma análise do desempenho com referência na eficiência relativa dos Programas de Pós-graduação acadêmicos em Administração, Contabilidade e Turismo, no intuito de contribuir para o avanço da discussão sobre os fatores que determinam a sua eficiência.

2 REFERENCIAL TEÓRICO

2.1 Avaliação de desempenho

De acordo com Pereira (1999b, p. 190), "o termo avaliação refere-se ao ato ou efeito de se atribuir valor, sendo que valor pode ser entendido num sentido qualitativo (mérito, importância) ou num sentido quantitativo (mensuração)".

Segundo Oliveira (2002), os conceitos básicos inerentes à idéia de avaliação e controle são: eficácia, eficiência e efetividade. Kassai (2002) destaca que esses conceitos, bem como a produtividade, são termos intrinsecamente relacionados ao desempenho.

Eficácia é entendida como o grau em que são satisfeitas as expectativas do resultado, ou o cumprimento da missão da organização, sendo, portanto, uma medida de rendimento global (PEREZ JÚNIOR, PESTANA; FRANCO, 1997; OLIVEIRA, 2002). Segundo Revorêdo et al. (2004), a eficácia ocorre quando os objetivos pré-estabelecidos são atingidos, ou seja, a avaliação da eficácia não pode ser realizada sem a existência prévia do planejamento dos programas de governo, no qual os objetivos devem estar claramente definidos e quantificados.

Oliveira (2002) expõe que a eficiência refere-se à otimização dos recursos utilizados para a obtenção dos resultados. Já Revorêdo et al (2004, p. 57) definem eficiência como "[...] o resultado obtido a partir da relação existente entre o volume de bens ou serviços produzidos - outputs - e o volume de recursos consumidos - inputs".

Nota-se que o conceito de eficiência é utilizado num sentido operacional, da relação entre entradas e saídas de um sistema, e a eficácia remete à idéia de avaliar se os objetivos do sistema foram alcançados, ou seja, é utilizado num sentido global.

Marinho e Façanha (2001) e Oliveira (2002) percebem efetividade como a capacidade de se promover resultados pretendidos e, de acordo com os autores, este conceito se difere de eficácia pelo fato deste último remeter a condições controladas e a resultados desejados de experimentos.

Conflitos são comuns na definição de produtividade. Segundo Pereira (1999a), produtividade reflete a capacidade da organização de produzir a quantidade e qualidade de produtos exigidos pelo meio, excluindo qualquer consideração à eficiência. De acordo com Kassai (2002), produtividade difere de eficiência apenas pelo fato desta última expressar uma relação ótima entre recursos consumidos e produtos gerados.

Assim, pode-se perceber que eficiência difere da produtividade pela ótica da otimização desejada, ou seja, a eficiência está relacionada à minimização dos insumos ou à maximização dos produtos.

Diante disso, neste trabalho, o termo eficiência refere-se à relação ótima entre insumos e produtos, sendo também uma medida relativa, com a qual se pode comparar o desempenho de uma unidade com o desempenho das demais unidades analisadas. Também, neste estudo, o termo produtividade refere-se unicamente à relação entre insumos e produtos, não fazendo referência ao grau de otimização.

Por se tratar de objeto principal desta investigação, a seguir serão apresentadas discussões pormenorizadas acerca do conceito de eficiência.

2.2 Considerações sobre eficiência

Na ciência administrativa, o conceito de eficiência parte da idéia de que a empresa é um sistema aberto. Dados os insumos produtivos, o sistema empresa é considerado eficiente quando, no seu processamento, consegue-se gerar o máximo de produtos com a tecnologia produtiva que se tem, ou quando se consome o mínimo de insumos mantendo-se o mesmo nível de produtos. Assim, pode-se dizer que a eficiência está nas condições de operacionalização do sistema, em que são utilizados da melhor forma os recursos para gerar o máximo de produtos, dada a tecnologia disponível.

De acordo com Oliveira (2002, p. 496), a eficiência é uma "medida do rendimento individual dos componentes do sistema. É fazer certo o que está sendo feito. Refere-se à otimização dos recursos utilizados para a obtenção dos resultados".

Na economia, o termo eficiência aparece na Teoria da Produção, e o conceito parte da mesma ideia de que a empresa reúne certos tipos de insumos e os combina de forma a gerar um ou mais produtos.

Outro conceito relacionado à eficiência na economia é a condição de Pareto, ou seja, a alocação ótima ou eficiente de recursos na firma. Em uma economia eficiente na condição de Pareto, cada indivíduo alcança a máxima satisfação com o mínimo de despesas, de forma que seja impossível que um indivíduo ganhe sem que outro tenha uma perda, ou seja, nenhum outro arranjo econômico proporcionará maior bem-estar a um indivíduo sem que outro seja prejudicado. E no caso da empresa, essa é eficiente, no sentido de Pareto, quando alcança a máxima produção com o mínimo de insumos, de tal forma que qualquer outra combinação de insumos é incapaz de gerar maior produção com a tecnologia atual.

Nesse ponto, outro fator deve ser considerado na análise da eficiência: o valor econômico dos fatores, uma vez que a melhor combinação de insumos pode não ser economicamente eficiente. Surgem, então, outros conceitos de eficiência: a técnica alocativa e a econômica.

De acordo com Miller (1981, p. 185), a eficiência técnica é a "relação entre o produto e os insumos; medida em termos das unidades físicas do produto comparadas com as unidades físicas dos insumos". Pindyck e Rubinfeld (2005) salientam que a alocação de insumos para o processo produtivo é tecnicamente eficiente se a produção de determinado bem não puder ser aumentada sem que ocorra diminuição na quantidade de outro bem. Assim, constata-se que a eficiência técnica reflete a habilidade da empresa em obter máximo produto, dado o conjunto de insumos atual.

Por sua vez, Belloni (2000) define eficiência alocativa como aquela que se refere à habilidade de combinar da melhor forma os recursos utilizados e os resultados alcançados segundo os preços vigentes. A eficiência alocativa reflete a habilidade da instituição em utilizar os insumos em proporções ótimas, dados seus preços relativos.

Finalizando as conceituações, a eficiência econômica é definida por Gomes e Baptista (2004) como a combinação da eficiência técnica e da eficiência alocativa, resultando em uma medida de eficiência econômica total.

Assim, entende-se que a eficiência econômica pode ser decomposta em eficiência técnica e eficiência alocativa. Nota-se que a eficiência técnica se preocupa unicamente com os aspectos físicos da produção, enquanto a alocativa e, consequentemente, a econômica abrangem aspectos econômicos, demandando informações de preços de mercado dos produtos.

Tendo em vista a natureza das unidades analisadas neste estudo, a utilização do conceito de eficiência técnica se faz mais aplicável na mensuração do desempenho, uma vez que o preço dos produtos gerados pelos programas de pós-graduação não são facilmente identificados. Assim, o termo eficiência utilizado no decorrer do trabalho refere-se, exclusivamente, à eficiência técnica.

2.3 Avaliação do desempenho de instituições de ensino

Lapa e Neiva (1996) classificam os critérios de avaliação em dois grandes grupos: os ligados à ideia de desempenho, compreendendo a avaliação da produtividade, eficiência, eficácia e efetividade; e aqueles ligados à ideia de qualidade, na qual a avaliação ocorre a partir do ponto de vista da utilidade e relevância, conceitos ligados às visões "políticas" de valor.

Salientam que as medidas de desempenho servem para apurar "qualidades formais", ou seja, aqueles atributos inerentes à instituição, ao modo como ela se estrutura para alcançar seus objetivos, como distribui quantitativamente seus recursos e insumos para gerar produtos e resultados. Entretanto, com esse plano de julgamento interagem outros tipos de investigações relacionados às "qualidades políticas", ou seja, um plano referido a aspectos que dependem da visão dos avaliadores e da posição em que eles se colocam em relação ao objeto de seu interesse.

Os atributos utilizados na avaliação de "qualidades políticas" podem ser vistos sob diversos enfoques, detendo-se a aspectos "intrínsecos" do objeto analisado, como considerações sobre a estrutura da organização, sobre a qualidade dos recursos ou da tecnologia de gestão empregada; ou a aspectos "extrínsecos", como análise da utilidade e relevância dos produtos e resultados gerados.

Por sua vez, Belloni (2000) define a ideia de avaliação de instituições de ensino voltada para o desempenho organizacional e dessa perspectiva decorrem três dimensões distintas de avaliação, sendo: a) dimensão técnico-operacional, cujos critérios de avaliação são a produtividade e a eficiência, dados os recursos e conhecidos os produtos;b) dimensão pedagógica, relacionada aos processos educacionais propriamente ditos, cujo critério de avaliação é a eficácia; e c) dimensão política, que avalia a missão institucional, cujo critério de avaliação é a efetividade das ações da instituição.

Em suma, os critérios de avaliação institucional comumente encontrados na literatura podem ser classificados em dois grandes grupos: os relacionados ao desempenho organizacional e aqueles que tratam da qualidade institucional.

No que concerne à eficiência de instituições de ensino, Lapa e Neiva (1996) destacam que esse conceito está ligado à ideia de possibilidades de trabalho em termos de geração de produtos e de configuração de resultados alcançáveis com os recursos disponíveis e os insumos utilizados, comparativamente a uma fronteira de desempenho possível de ser alcançada. Salientam ainda que o conceito de eficiência das instituições de ensino deve ser visto sob três perspectivas:

Eficiência técnica: avalia-se a possibilidade de aumentar a produção, mantendo-se a combinação de recursos ou a forma de trabalho, ou seja, sem alterar o projeto acadêmico e pedagógico da instituição.

Eficiência alocativa: verifica-se a possibilidade de aumentar a geração de algum produto ou reduzir o consumo de algum insumo, mantendo-se a produção ou o consumo dos demais itens no nível atual, alterando apenas os processos de produção, ou seja, modificando os projetos acadêmicos e pedagógicos que orientam a instituição.

Eficiência tecnológica: avalia-se a possibilidade de melhorar quantitativamente ou qualitativamente os produtos e resultados gerados, agindo sobre a composição dos recursos, dos insumos e da tecnologia utilizada.

Comparando esses termos com aqueles utilizados nas organizações empresariais, nota-se uma pequena desconexão. No ramo empresarial, a eficiência técnica é avaliada a partir da melhor composição dos insumos para geração do volume máximo de produtos. Por outro lado, percebe-se que, em instituições de ensino, a eficiência técnica deve ser vista como a busca por melhores resultados sem alterações na composição dos insumos.

Na administração de organizações lucrativas, a eficiência alocativa engloba questões acerca do preço dos insumos e produtos gerados pelo sistema avaliado. Já nas instituições educacionais, a eficiência alocativa é definida como a procura pela melhor composição dos recursos para gerar mais produtos, ou consumir menos insumos, não fazendo referência ao preço dos insumos e produtos.

O conceito de eficiência tecnológica das organizações de ensino faz analogia ao conceito de eficiência econômica das organizações lucrativas, em que é analisado o efeito conjunto da eficiência técnica e alocativa. Contudo, a eficiência tecnológica das instituições de ensino visa um ganho na qualidade e quantidade a partir de alterações tanto no nível de insumos e produtos quanto na tecnologia empregada, não fazendo nenhuma menção ao valor econômico dos produtos.

Verifica-se que a caracterização de eficiência no setor público difere da utilizada em organizações produtivas, nas quais os custos dos insumos e o preço dos produtos são conhecidos e a tecnologia utilizada é relativamente padronizada. Nesse sentido, o cálculo da eficiência de organizações de ensino deve ser feito em termos relativos, tomando-se como referência uma ou algumas instituições que, em dado contexto similar ou equivalente, possam ser consideradas mais eficientes.

Vale destacar que o termo eficiência utilizado neste estudo refere-se, conjuntamente, à eficiência técnica, à alocativa e à tecnológica, conforme Lapa e Neiva (1996). Isso se dá pela impossibilidade, dada a técnica utilizada no estudo, de diferenciar os efeitos da alteração na composição dos insumos e nos projetos pedagógicos dos programas de pós-graduação, o que demandou uma técnica de análise relativa da eficiência que considere as especificidades das instituições de ensino superior.

3 PROCEDIMENTOS METODOLÓGICOS

3.1 Unidades de análise

Considerando o caráter pioneiro da pesquisa, dado que os estudos até então realizados abordaram programas de pós-graduação de outras áreas do conheci-mento, e visando garantir uniformidade e contemporaneidade ao modelo proposto, uma vez que os critérios utilizados na avaliação dos programas de pós-graduação são revistos e ajustados a cada triênio, optou-se por trabalhar com os programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo avaliados pela CAPES em todos os anos do triênio 2004/2006.

Assim, a população da pesquisa foi representada por 44 programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo. Entretanto, ressalta-se que dois programas foram eliminados do estudo. O primeiro, em razão do não fornecimento de dados necessários à análise e, o outro, por funcionar antes de ser credenciado pelo órgão regulador. Mesmo envidando os maiores esforços, após insistentes tentativas na obtenção de informações junto à instituição de ensino do referido programa, não se obteve êxito. Já a exclusão do programa que funcionava antes de obter credenciamento é justificada pela impossibilidade de se distinguir os resultados decorrentes do trabalho acadêmico antes e após a autorização oficial. Assim, esta pesquisa contemplou 42 programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo.

3.2 Referencial analítico

O desenvolvimento do trabalho ocorreu através dos seguintes procedimentos de investigação que serão explicitados ao longo deste referencial analítico.

a) Geração de escores de eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo;

b) Identificação dos fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo.

3.2.1 Geração de escores de eficiência dos programas de pós-graduação

Utilizou-se Análise Envoltória de Dados (DEA), um modelo não-paramétrico, para mensurar a eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo.

Alguns autores, como Paiva (2000), Mello et al (2003), Angulo-Meza et al (2003) e Estellita Lins, Almeida e Bartholo Junior (2004) também utilizaram a DEA para analisar o desempenho de programas de pós-graduação no Brasil, avaliando programas da área de engenharias.

Em termos matemáticos, a DEA calcula a eficiência através da razão entre uma soma ponderada de saídas (outputs) e uma soma ponderada de entradas (inputs). O peso para cada fator de ponderação (insumos e produtos) é obtido através da resolução de um problema de programação fracionária, em que cada unidade analisada maximiza sua eficiência (MELLO et al, 2003).

A DEA apresenta dois modelos básicos de análise, sendo o modelo com retornos constantes, ou modelo CCR, desenvolvido por Charnes, Cooper e Rhodes; e o modelo BCC, também conhecido por modelo com retornos variáveis, que foi desenvolvido por Banker, Charnes e Cooper (GOMES; BAP-TISTA, 2004).

No presente trabalho, optou-se pelo modelo com retornos constantes à escala (CCR), por não se presumir a existência de efeitos de escala nas atividades desenvolvidas pelos programas de pós-graduação. Essa escolha é condizente com o tratamento analítico adotado nos estudos de Mello et al (2003), Angulo-Meza et al (2003) e Estellita Lins, Almeida e Bartholo Junior (2004).

Tanto o modelo CCR quanto o BCC podem ser analisados pela ótica da orientação para insumos ou pela orientação para o produto. Segundo Gomes e Baptista (2004), a escolha da orientação não exerce grande influência na magnitude do valor de eficiência técnica, e o critério de escolha dependerá da finalidade do estudo, ou seja, se o objetivo é regularizar o consumo de insumos ou possibilitar o aumento da produção.

Optou-se também por trabalhar com o modelo de análise de eficiência orientado para o produto, uma vez que a busca da eficiência através da maximização da produção apresenta-se mais condizente à natureza das atividades dos programas de pós-graduação.

Para Estellita Lins e Angulo-Meza (2000), o método DEA com orientação-produto e que pressupõe retornos constantes de escala (CCR) é modelado em (1), em que y_k é um vetor (m x 1) de quantidades de produto da k-ésima DMU; x_k é um vetor (s x 1) de quantidade de insumos da k-ésima DMU; Y é uma matriz (n x m) de produtos das n DMUs; X é uma matriz (n x s) de insumos das n DMUs; λ é um vetor (n x 1) de pesos; e φ é uma escalar que tem valores iguais ou maiores do que 1 e indica o escore de eficiência das DMUs, onde um valor igual a 1 indica a eficiência técnica relativa da k-ésima DMU em relação às demais, e um valor superior a 1 indica ineficiência técnica relativa. O valor obtido subtraindo-se φ de 1 indica o aumento proporcional nos produtos que a k-ésima DMU pode alcançar, mantendo-se constante a quantidade de insumos.

Esse modelo busca maximizar a produção, utilizando no máximo o volume de insumos observados e pressupõe retornos constantes de escala. Assim, para n DMUs, considerando-se m inputs e s outputs, a eficiência é obtida quando se alcança a máxima produção, dados os insumos produtivos consumidos.

O escore de eficiência adotado no presente estudo será obtido pelo inverso da medida escalar φ , portanto, o escore de eficiência gerado está compreendido entre 0 e 1.

Ressalta-se que, por ser a DEA um modelo mais objetivo na avaliação da eficiência de unidades produtivas, uma vez que elimina a subjetividade no estabelecimento de pesos aos fatores (insumos e produtos), ela permite que esse peso seja determinado da maneira mais favorável a cada unidade analisada (MELLO et al, 2001). Contudo, quando o modelo é composto por um grande número de variáveis, uma DMU pode ser considerada eficiente ao serem atribuídos pesos nulos a quase todos os coeficientes, de tal forma que vários fatores deixam de ser considerados na avaliação, tornando-a incompleta.

Acreditando ser importante a utilização de um conjunto maior de variáveis, tendo em vista a natureza complexa das unidades analisadas, buscou-se contemplar neste estudo aqueles fatores essenciais ao desenvolvimento das atividades dos programas de pós-graduação. Para maximizar o poder discricionário do modelo utilizado, optou-se por agrupar certos fatores com sentido semelhante, de forma a reduzir o número de variáveis empregadas na mensuração da eficiência relativa e evitar que algumas delas deixassem de ser contempladas na avaliação.

Variáveis de insumos (x)

Conhecidas as defasagens entre o ingresso dos alunos nos cursos de mestrado e doutorado e suas respectivas titulações, cerca de 2 anos no mestrado e 4 anos no doutorado (Tabela 2), foi necessário tratar a variável relacionada aos alunos de forma distinta nesses dois níveis de cursos, pois alguns programas de pós-graduação oferecem apenas o curso de mestrado, enquanto outros também oferecem o curso de doutorado.

Dessa forma, empregou-se no modelo de análise o seguinte conjunto de variáveis:

a) DOCPER: número de docentes permanentes do programa.

b) INGTOT: número total de alunos ingressantes no programa de pós-graduação, representado pela soma do número de alunos que ingressaram no curso de mestrado dois anos antes do ano em análise e do número de alunos que ingressaram no curso de doutorado quatro anos antes do ano em análise.

Variáveis de produtos (y)

Observa-se uma série de variáveis que se apresentam como resultantes das atividades dos programas de pós-graduação. Assim, buscou-se incluir no modelo os principais fatores relacionados à "produção" dos programas, como a formação de recursos humanos, ou seja, a titulação de mestres e doutores, e a publicação científica.

Com relação à publicação científica, foi necessária a construção de um indicador para compor essa variável, dada a multiplicidade de tipos e veículos de publicação. Para isso, utilizou-se a soma ponderada das publicações do programa a partir dos pesos aplicados na avaliação realizada pela CAPES no triênio 2004/2006 (CAPES, 2007a). Esse indicador é composto pelos artigos publicados em periódicos de circulação internacional, nacional e local, artigos completos publicados em anais de congressos, livros e capítulos de livros publicados.

Dessa forma, empregou-se o seguinte conjunto de variáveis de produtos:

a) TITTOT: número total de alunos de mestrado e doutorado titulados no programa de pós-graduação, no ano em análise.

b) PUBCIE: publicação científica do programa de pós-graduação, representada pela soma ponderada das produções científicas vinculadas ao programa, com autoria de docentes permanentes.

3.2.2 Identificação dos fatores determinantes da eficiência dos programas de pós-graduação

Para identificar os fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo foi utilizado o modelo econométrico Tobit.

O modelo Tobit, originalmente formulado por James Tobin, também é conhecido como modelo de regressão censurada e é uma extensão do também modelo econométrico Probit (GUJARATI, 2000).

Neste estudo, o modelo Tobit apresenta-se apropriado uma vez que a variável dependente, ou seja, o escore de eficiência gerado através do método DEA, é uma variável censurada, pois não é livremente distribuída entre - e + , já que varia de 0 a 1.

Segundo Greene (1997), o modelo Tobit pode ser definido da seguinte forma:

em que ε_i é o erro aleatório da equação; β é o vetor de parâmetros e representa os coeficientes a serem estimados; x_i representa as variáveis explicativas; e, y é a variável dependente estimada.

A variável y_i, que é efetivamente observada, ou seja o escore de eficiência gerado, é definida da seguinte forma:

Na Equação (3), y representa o valor da censura e, de acordo com os propósitos deste trabalho, o valor da censura é 1.

Para estimar a regressão, em que a amostra é censurada, não se pode utilizar o Método dos Mínimos Quadrados Ordinários, uma vez que os parâmetros extraídos seriam tendenciosos e inconsistentes, pela ausência de informações de algumas observações, ou pela censura dos dados observados. Logo, as estimativas do modelo Tobit, ou de regressão censurada, são obtidas através do Método da Máxima Verossimilhança (GUJARATI, 2000).

Dessa forma, segundo Greene (1997), o valor esperado de y_i, dadas as variáveis independentes x_i (x₁, x₂... x_n ), é encontrado através da Equação (4):

em que σ representa o desvio-padrão dos termos de erro; Φ e φ representam, respectivamente, a função distribuição cumulativa normal e a função densidade normal avaliadas em βx^'_i /σ.

A influência de cada variável explicativa incluída no modelo não é conhecida pela interpretação direta dos coeficientes do modelo, mas através da Equação (5). Assim, o efeito marginal das variáveis explicativas no valor esperado de y_i é dado por:

Conhecidos os efeitos marginais das variáveis incluídas no modelo, é possível determinar o impacto de cada uma delas sobre o índice de eficiência, indicando assim os fatores determinantes da eficiência dos programas de pós-graduação.

Vale ressaltar que foi utilizado o modelo Tobit com dados em painel. Os modelos de regressão com dados em painel podem assumir duas formas, sendo efeitos fixos ou aleatórios. Gujarati (2006) afirma que a escolha do modelo depende das pressuposições que se faz sobre a provável correlação entre o componente do erro individual e as variáveis explicativas.

Segundo Wooldridge (2006), nos casos em que as observações não são extrações aleatórias de uma grande população, o modelo com efeitos fixos é mais apropriado.

Os modelos com efeitos fixos apresentam algumas variações relativas às pressuposições feitas sobre o comportamento dos coeficientes angulares, do intercepto e do termo de erro do modelo.

Neste estudo, optou-se pelo modelo com efeitos fixos - uma vez que não foi realizado nenhum processo de amostragem - que considera os coeficientes angulares constantes e o intercepto varia ao longo do tempo.

A escolha das variáveis incluídas nesse modelo se deu a partir das considerações preliminares aos fatores incluídos na avaliação dos programas de pós-graduação realizada pela CAPES e, tendo em vista o caráter exploratório da pesquisa, baseou-se também em expectativas sobre a influência de determinadas variáveis na eficiência dos programas de pós-graduação, como o tamanho e o tempo de existência.

Vale salientar que, para a identificação dos fatores associados à eficiência dos programas de pós-graduação foram considerados apenas os programas avaliados em todos os anos do triênio 2004/2006, compreendendo, assim, 42 programas de pós-graduação.

A exclusão dos programas que iniciaram suas atividades nos anos de 2005 e 2006 é recompensada pela possibilidade de se obter, através de um modelo com dados em painel, maior confiabilidade na estimação dos parâmetros, uma vez que os resultados do modelo de regressão incluirão informações de um período maior de tempo, reduzindo assim, a influência de fatores isolados na eficiência dos programas de pós-graduação.

Variável dependente (y)

É constituída pelo escore de eficiência gerado através da Análise Envoltória de Dados. Dessa forma, cada programa de pós-graduação tem um coeficiente positivo que varia de 0 a 1, calculado através do modelo CCR com orientação para o produto.

Variáveis independentes (x)

a) Dedicação dos docentes às atividades da pós-graduação

Sob esse aspecto, busca-se identificar a influência da dedicação do corpo docente na eficiência do programa de pós-graduação, sendo definidas as seguintes variáveis:

DOCPOS: relação entre o número de docentes que lecionaram em cursos de pós-graduação e o número total de docentes do programa no ano em análise;

ORIPOS: relação entre o número de docentes que orientam alunos dos cursos de mestrado ou doutorado e o número total de docentes do programa no ano em análise.

b) Dedicação dos docentes às atividades da graduação

O envolvimento dos docentes dos programas de pós-graduação com atividades relacionadas à graduação pode ser considerado um fator positivo, uma vez que pode despertar no aluno da graduação o interesse pela pesquisa científica e, dessa forma, possibilitar a formação de futuros ingressantes na pós-graduação. Contudo, vale ressaltar que podem existir implicações negativas decorrentes do excesso de dedicação do corpo docente à essas atividades. Assim, salienta-se que a relação entre essa variável e a eficiência do programa de pós-graduação possui expectativas ambíguas.

HORAUL: relação entre a carga-horária média dos docentes do programa dedicadas às disciplinas da graduação e a carga-horária média total dos docentes do programa no ano em análise.

c) Envolvimento dos docentes com atividades de pesquisa

Acredita-se que a participação dos docentes da pós-graduação nas atividades de pesquisa indica o empenho do corpo docente do programa no desenvolvimento de trabalhos científicos, o que, conseqüentemente, contribuiria para o melhor desempenho dos programas de pós-graduação. Dessa forma, para verificar a magnitude da influência desse aspecto na eficiência dos programas, utilizou-se a seguinte variável:

DOCPES: relação entre o número de docentes envolvidos em projeto (s) de pesquisa e o número total de docentes do programa no ano em análise.

d) Participação de membros externos ao programa

De acordo com a avaliação realizada pela CAPES, é positiva a participação de docentes externos ao programa nas atividades da pós-graduação, na composição de bancas de defesa de teses e dissertações ou em projetos de pesquisa. Para verificar a contribuição dos participantes externos na eficiência dos programas de pós-graduação, incluiu-se no modelo de análise a seguinte variável:

PAREXT: número de participantes externos ao programa de pós-graduação.

e) Demais variáveis

Diversas outras variáveis podem exercer influência no desempenho dos programas de pós-graduação. Assim, buscou-se incluir no modelo algumas variáveis que expressassem a magnitude e a idade dos programas. A expectativa é que essas variáveis apresentem relação positiva com a eficiência, em virtude do nível de consolidação do programa de pós-graduação e da experiência acumulada pelo mesmo.

MATTOT: número de alunos matriculados no programa de pós-graduação, resultado da soma do número de alunos matriculados no início do ano e do número de alunos ingressantes no ano em análise;

TEMEXI: número de anos de existência do programa de pós-graduação no ano em análise.

3.3 Fonte e tratamento dos dados

Para a realização da pesquisa, foi utilizado o banco de dados disponibilizado pela CAPES na web, onde constam os indicadores resultantes da avaliação dos programas de pós-graduação (CAPES, 2007a, 2007b, 2008).

Os dados foram tratados através do Microsoft Office Excel 2003, do software EMS - Efficiency Measurement System 1.3, bem como dos programas SPSS 15.0 for Windows e LIMDEP 8.0.

4 RESULTADOS E DISCUSSÃO

4.1 Análise da eficiência dos programas de pós-graduação através da DEA

Na Tabela 3 são apresentadas as variáveis empregadas na mensuração da eficiência relativa dos programas de pós-graduação, bem como suas estatísticas descritivas.

No modelo de análise, foram utilizados como insumos produtivos aqueles fatores básicos e essenciais ao desenvolvimento das atividades de todos os programas de pós-graduação, sendo o número de docentes permanentes (DOCPER) e o número de alunos ingressantes nos cursos de mestrado e doutorado (INGTOT).

As variáveis de produto são compostas pelo número de alunos titulados nos cursos de mestrado e doutorado (TITTOT) e pela publicação científica do programa (PUBCIE), representada pela soma ponderada das publicações em periódicos, anais de congressos, livros e capítulos de livros.

Percebe-se, através das variáveis DOCPER e INGTOT, uma relativa diferença de magnitudes entre os programas avaliados. Verifica-se que alguns programas contam, nos três anos analisados, com um corpo docente de 48 professores e cerca de 80 alunos ingressantes em cursos de mestrado e doutorado, enquanto outros possuem entre 7 e 8 professores em seu corpo docente e até mesmo nenhum aluno ingressante em cursos de mestrado e doutorado.

Com relação à variável PUBCIE, percebe-se aumento da produção científica do ano de 2004 para 2005, e uma redução dessa variável no ano de 2006. Contudo, não se pode afirmar que houve queda na produtividade dos programas avaliados no ano de 2006, pois os pesos utilizados no cômputo desta variável diferem daqueles empregados em 2004 e 2005, conforme os critérios utilizados pela Comissão de Avaliação da Área Administração/Turismo.

Nota-se ainda elevado desvio-padrão decorrente da grande dispersão dos dados em torno da média. Esse alto desvio-padrão compromete a utilização de técnicas estatísticas paramétricas, uma vez que não se pode assumir nenhuma forma de distribuição dos dados, prejudicando a utilização de medidas de tendência central.

Essa limitação dos dados é suprida pela utilização da Análise Envoltória de Dados (DEA), uma técnica não-paramétrica que não pressupõe normalidade na distribuição dos dados.

A Tabela 4 mostra as estatísticas descritivas dos escores de eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo, gerados através da DEA com orientação para o produto e retornos constantes à escala.

Verifica-se que os programas de pós-graduação foram, em média, mais eficientes no ano de 2006, apresentando níveis médios de eficiência crescentes ao longo do triênio 2004/2006.

Pode-se ainda observar que os programas de pós-graduação analisados poderiam aumentar, em média, 30,2% do nível de produção no ano de 2004 (Tabela 4), dado o nível de insumos utilizados. Esse percentual passa para 28,9% em 2005 e 16,1% em 2006. Isso significa que os programas de pós-graduação atingiram, em média, resultados abaixo do potencial no triênio 2004/2006, se comparados aos melhores desempenhos observados em cada ano.

Nota-se que, em relação à distribuição dos escores de eficiência, o ano de 2004 apresentou maior dispersão em torno da média, bem como maior amplitude entre os valores dos escores de eficiência, denotando existir significativa disparidade no nível de eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo. Já em 2005 e 2006, considerando o nível de eficiência, esses programas mostraram-se mais homogêneos.

Na Tabela 5 é apresentada a distribuição de freqüência dos escores de eficiência técnica gerados para os programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo.

No ano de 2004, a maior concentração dos índices de eficiência refere-se ao intervalo dos escores entre 70% e 80%, nos quais se encontram 12 programas (28,6%). Vale ressaltar que o segundo maior percentual de programas de pós-graduação com eficiência igual ou superior a 90% encontra-se no ano de 2004, no qual 8 programas (19,0%) alcançaram esse resultado.

Esses programas podem ser apontados como referência para a atuação dos demais, visto que, através de suas práticas acadêmicas, alcançaram os melhores resultados observados no período.

Em 2005, os escores de eficiência também se apresentam mais concentrados entre 70% e 80%, englobando 8 programas de pós-graduação (19,0%). Destaca-se que o menor percentual de programas com escores de eficiência iguais ou superiores a 90% refere-se ao ano de 2005, em que apenas 16,7% dos programas analisados alcançaram tal resultado.

Por sua vez, no ano de 2006 encontra-se o maior percentual de programas de pós-graduação com eficiência igual ou superior a 90%, sendo 15 programas avaliados (35,7%), sendo a maior concentração dos índices de eficiência no ano.

Esses programas de pós-graduação identificados como eficientes servem de benchmarking para os demais programas. Portanto, uma análise de seus projetos acadêmicos, de sua estrutura organizacional e, principalmente, da gestão de seus recursos, proporcionaria informações necessárias à melhoria do desempenho dos demais programas.

4.2 Fatores determinantes da eficiência dos programas de pós-graduação

Para a verificação dos fatores condicionantes da eficiência dos programas de pós-graduação, bem como da magnitude dessa influência, procedeu-se à estimação do modelo Tobit, considerando dados em painel com efeitos fixos.

Utilizou-se, como variável dependente do modelo de regressão, o escore de eficiência gerado através da Análise Envoltória de Dados, com o modelo que pressupõe retornos constantes à escala (DEA-CCR) e orientação para o produto.

A Tabela 6 apresenta as estatísticas descritivas das variáveis independentes utilizadas na verificação dos fatores condicionantes da eficiência dos programas de pós-graduação, quais sejam: o percentual de docentes do programa que lecionou na pós-graduação (DOCPOS); o percentual de docentes que orientou alunos da pós-graduação (ORIPOS); o percentual das horas-aula dedicadas à graduação (HORGRA); o percentual de docentes envolvidos com atividades de pesquisa (DOCPES); o número de docentes e pesquisadores externos ao programa (PAREXT); o número de alunos matriculados no programa (MATTOT); e, o tempo de existência do programa de pós-graduação (TEMEXI).

A análise da variável DOCPOS permite verificar que, em média, cerca de 70% a 90% do corpo docente dos programas de pós-graduação lecionou disciplinas em cursos de mestrado ou doutorado no triênio 2004/2006. Contudo, nota-se que em alguns programas nenhum professor do corpo docente lecionou na pós-graduação. Nesses casos, pode ter ocorrido a participação de docentes externos ao programa no oferecimento de disciplinas, contudo, não foi possível verificar a exatidão dessa informação.

Quando analisada a participação dos docentes na orientação dos alunos de mestrado e doutorado, verifica-se que, em média, cerca de 85% dos docentes orientam alunos na elaboração de teses e dissertações. Comparado à dedicação dos docentes no oferecimento de disciplinas, pode-se constatar uma participação um pouco maior dos docentes na orientação dos alunos da pós-graduação, exceto no ano de 2006.

Com relação às atividades que envolvem alunos de cursos de graduação, percebe-se que, em média, cerca de 60% das horas-aula dos docentes dos programas de pós-graduação são despendidas às disciplinas de cursos de graduação. Conforme orientações da Comissão de Avaliação da CAPES, o envolvimento dos docentes dos programas com a graduação deve ser analisado tanto sob a ótica dos benefícios advindos de tal prática, quanto dos eventuais prejuízos da dedicação excessiva às atividades da graduação.

O envolvimento dos docentes do programa com atividades de pesquisa é representado pela variável DOCPES. Verifica-se que, aproximadamente, 90% dos docentes dos programas de pós-graduação participam de equipes de pesquisa. Vale ressaltar que esse percentual vem crescendo ao longo do triênio, demonstrando o esforço dos programas no desenvolvimento de projetos de pesquisa.

A variável PAREXT representa o número de participantes externos ao programa e é composta pelos docentes de outras instituições ou outros programas que participaram de bancas de defesa de teses e dissertações, bem como de pesquisadores externos que integraram equipes de pesquisa do programa e, portanto, são autores ou co-autores de publicações geradas no âmbito do programa. Observa-se uma participação de aproximadamente 90 pesquisadores ou docentes externos em média. Ainda se pode identificar em alguns programas a ausência de participantes externos e, no outro extremo, verifica-se a existência de 489 docentes ou pesquisadores externos ao programa.

Com relação à dimensão dos programas de pós-graduação, a variável MAT-TOT indica que, em média, há cerca de 90 alunos matriculados em cursos de mestrado ou doutorado. Entretanto, pode-se notar a grande heterogeneidade entre a magnitude dos programas, uma vez que alguns deles contam com mais de 300 alunos, já outros possuem apenas 19 alunos matriculados.

Através da variável TEMEXI, verifica-se que, ao final do triênio 2004/2006, os programas de pós-graduação analisados possuíam, em média, 17 anos, variando entre 40 e 3 anos. Vale ressaltar que, nessa análise foram excluídos aqueles programas que iniciaram suas atividades no período de 2005 a 2006.

Observa-se que apenas as variáveis PAREXT, MATTOT e TEMEXI não são representadas por índices, ou seja, são compostas por valores inteiros e superiores às demais variáveis. Por isso, na análise de regressão (Tabela 7) utilizou-se o Log dessas variáveis, uma vez que a utilização dos valores brutos poderia comprometer o ajustamento do modelo.

Os coeficientes estimados através do modelo apresentaram ajustamento satisfatório, demonstrando que as variáveis incluídas no estudo têm considerável poder de explicação para a eficiência, conforme verificado pelo teste x², que se apresentou significativo a 1%.

Pode-se verificar que das variáveis incluídas no modelo para análise da eficiência dos programas de pós-graduação apenas três apresentaram-se significativas, isto é, DOCPES, PAREXT e MATTOT. Logo, não se pôde identificar a influência da dedicação dos docentes do programa às atividades da pós-graduação (DOCPOS e ORIPOS) na eficiência dos programas. Tampouco do impacto da dedicação dos docentes às atividades da graduação (HORGRA) e da idade do programa (TEMEXI) em seu nível de eficiência, uma vez que essas variáveis não se apresentaram estatisticamente significativas.

Constatou-se uma relação significativa entre o envolvimento dos docentes do programa em projetos de pesquisa (DOCPES) e o nível de eficiência. Notou-se que quanto maior foi o percentual dos docentes envolvidos com a pesquisa, maior foi o escore de eficiência alcançado pelo programa. O aumento de uma unidade na variável DOCPES está associado ao aumento na ordem de 0,2769 unidades no escore de eficiência do programa.

Da mesma forma, verificou-se que quanto maior a participação de membros externos ao programa (PAREXT), maior é a eficiência alcançada por ele. No triênio analisado, cada unidade da variável PAREXT a mais está diretamente associada ao aumento do escore de eficiência na ordem de 0,0546 unidades. Assim, o acréscimo no número de docentes ou pesquisadores externos ao programa apresenta uma associação positiva com o escore de eficiência do programa.

Parcerias entre os programas de pós-graduação e a participação de docentes externos ao programa nas bancas de defesa de teses e dissertações e no desenvolvimento de pesquisas apresentam-se como uma alternativa para um melhor desempenho dos programas de pós-graduação em Administração, Contabilidade e Turismo. Assim, essa prática deve ser estimulada de forma a contribuir com o desenvolvimento dos programas de pós-graduação.

Constatou-se ainda que o tamanho do programa de pós-graduação (MATTOT) está positivamente relacionado com o nível de sua eficiência. O aumento no número de discentes do programa está diretamente associado ao acréscimo no escore de eficiência, sugerindo que os programas de pós-graduação alcançam maior eficiência quando operam em maior escala. Contudo, vale ressaltar que a ampliação do número de vagas nos cursos de mestrado e doutorado não implica, necessariamente, a maximização do nível de eficiência. Os programas que operam em maior escala devem também adotar ações eficientes que viabilizem a produção acadêmica, seja na publicação de trabalhos científicos, seja na formação de mestres e doutores.

Os resultados indicam que a dedicação dos docentes na realização de pesquisas apresenta-se como um fator importante na determinação da eficiência dos programas de pós-graduação, assim como a participação de docentes e pesquisadores externos ao programa. Essas ações devem ser incentivadas, de forma a contribuir com a maximização da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo e, sobretudo, com o desenvolvimento científico da referida área do conhecimento.

5 RESUMO E CONCLUSÕES

O desenvolvimento deste estudo permitiu empregar um modelo alternativo para avaliação de desempenho, com referência na eficiência relativa desses programas, além de possibilitar uma reflexão sobre os fatores determinantes de sua eficiência.

A aplicação desse modelo permitiu verificar que, no triênio analisado, os programas de pós-graduação apresentaram-se mais eficientes no ano de 2006, seguidos pelo nível médio de eficiência alcançado pelos programas em 2005 e 2004, respectivamente.

A análise da administração acadêmica e da gestão dos recursos dos programas que alcançaram a máxima eficiência apontaria alternativas para a melhoria do desempenho dos demais programas.

Vale ressaltar que o emprego do modelo proposto neste estudo, por incluir critérios eminentemente quantitativos, não objetiva substituir o sistema de avaliação atualmente utilizado, uma vez que a avaliação de instituições complexas - como são os programas de pós-graduação - exige o exame minucioso dos diversos fatores envolvidos com as atividades dos cursos.

Assim, o modelo utilizado nessa pesquisa teve por objetivo contribuir com reflexões sobre os aspectos relacionados à eficiência dos programas de pós-graduação. Para uma análise mais acurada do desempenho desses programas, torna-se necessária a realização de análises qualitativas de forma a complementar os resultados aqui apresentados.

Uma reflexão sobre os fatores associados à eficiência dos programas de pós-graduação em Administração, Contabilidade e Turismo demonstrou que a participação de docentes e pesquisadores externos nas atividades do programa, seja em bancas de defesa de teses e dissertações, seja em atividades de pesquisa, contribui de forma positiva na eficiência do programa.

Da mesma forma, a maior participação dos docentes do programa em projetos de pesquisa apresentou relação positiva com a eficiência dos programas de pós-graduação.

Verificou-se ainda que a magnitude do programa de pós-graduação está positivamente associada ao nível de eficiência alcançado por ele, o que sugere que os programas de pós-graduação alcançam maior eficiência quando operam em maior escala.

Os demais fatores analisados, tais como o envolvimento dos docentes no oferecimento de disciplinas na pós-graduação e graduação, na orientação de mestrandos e doutorandos, bem como a idade do programa, não se apresentaram estatisticamente significativos, demonstrando não serem fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo, no triênio 2004/2006.

Dessa forma, conclui-se que a magnitude do programa, a dedicação dos docentes às atividades de pesquisa e a participação de docentes e pesquisadores externos nas atividades do programa são fatores condicionantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo, influenciando positivamente o nível de eficiência desses.

Essa constatação sugere que os programas de pós-graduação devem ser incentivados a integrar docentes e pesquisadores externos em suas atividades, bem como direcionar esforços na realização de pesquisas. Tais práticas proporcionariam níveis mais elevados de eficiência dos programas de pós-graduação em Administração, Contabilidade e Turismo, de forma a contribuir para o desenvolvimento científico dessa área do conhecimento.

Recebido: ago. 2010

Aprovado: out. 2010

• ANGULO-MEZA, Lidia et al. Avaliação do Ensino nos Cursos de Pós-graduação em Engenharia: um enfoque quantitativo de avaliação em conjunto. Engevista, Niterói, v. 5, n. 9, p. 41-49, 2003. Disponível em: <http://www.uff.br/engevista/sumário9.htm>. Acesso em: 27 mar. 2007.
• BELLONI, Isaura; MAGALHÃES, Heitor de; SOUSA, Luzia Costa de. Metodologia de avaliação em políticas públicas 3. ed. São Paulo: Cortez, 2003. 96 p.
• BELLONI, José Ângelo. Uma metodologia de avaliação da eficiência produtiva de universidades federais brasileiras 245 p. 2000. Tese (Doutorado em Engenharia de Produção) - Universidade Federal de Santa Catarina, Florianópolis, 2000. Disponível em: <http://teses.eps.ufsc.br/defesa/pdf/1757.pdf>. Acesso em: 23 ago. 2006.
• CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Avaliação - Critérios de avaliação - Avaliação trienal 2007 (triênio 2004 - 2006) - Administração, Ciências Contábeis e Turismo Disponível em: <http://www.capes.gov.br/avaliacao/criterios/avaliacao_trienal_2007.html>. Acesso em: 09 jul. 2007a.
• CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR.. Avaliação - Cadernos de Indicadores - ADMINISTRAÇÃO, CIÊNCIAS CONTÁBIES E TURISMO Disponível em: <http://servicos.capes.gov.br/cadernosavaliacao>. Acesso em: 19 out. 2007b.
• ______ . Avaliação - Planilhas Específicas - Administração, Ciências Contábeis, Turismo - Área - Trabalhos completos e anais qualificados e livros com autoria docente por programa Disponível em: <http://servicos.capes.gov.br/planilhasespecificas>. Acesso em: 18 jan. 2008.
• ______ . Sobre a CAPES - Estatísticas Disponível em: <http://ged.capes.gov.br/AgDw/silverstream/pages/frPesquisaColeta.html>. Acesso em: 23 ago. 2007c.
• ESTELLITA LINS, Marcos Pereira; ALMEIDA, Bernardo Faria de; BARTHOLO JUNIOR, Roberto. Avaliação de desempenho na pós-graduação utilizando a Análise Envoltória de Dados: o caso da Engenharia de Produção. Revista Brasileira de Pós-graduação, Brasília, n. 1, p. 41-56, jul. 2004. Disponível em: <http://www2.capes.gov.br/rbpg/portal/conteudo/41_56_avaliacao_de_desempenho_na_pos.pdf>. Acesso em: 07 fev. 2007.
• ESTELLITA LINS, Marcos Pereira; ANGULO-MEZA, Lídia (Ed.). Análise envoltória de dados e perspectivas de integração no ambiente do apoio à decisão. Rio de Janeiro: COPPE/UFRJ, 2000. 232 p.
• GOMES, Adriano Provezano; BAPTISTA, Antônio José Medina dos Santos. Análise Envoltória de Dados: conceitos e modelos básicos. In: SANTOS, Maurinho Luiz dos; VIEIRA, Wilson da Cruz (ed). Métodos quantitativos em economia Viçosa MG: Editora UFV, 2004. 653 p. p. 121-160.
• GREENE, William H. Econometric analysis 3. ed. New Jersey: Prentice-Hall, 1997. 1074 p.
• GUJARATI, Damodar N. Econometria básica 3. ed. Tradução Ernesto Yoshida. São Paulo: Makron Books, 2000. 846 p.
• GUJARATI, Damodar N. Econometria básica Tradução Maria José Cyhlar Monterio. Rio de Janeiro: Elsevier, 2006. 812 p.
• KASSAI, Silvia. Utilização da análise por envoltória de dados (DEA) na análise de demonstrações contábeis 318 p. 2002. Tese (Doutorado em Contabilidade e Controladoria) - Universidade de São Paulo, São Paulo, 2002. Disponível em: <http://www.teses.usp.br/teses/disponiveis/12/12136/tde-11122002-092458/>. Acesso em: 24 out. 2006.
• LAPA, Jair dos Santos; NEIVA, Cláudio Cordeiro. Avaliação em Educação: comentários sobre desempenho e qualidade. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro: A Fundação, v. 4, n. 12, p. 213-236, 1996.
• LEITE, Denise. Sistemas de Avaliação das Instituições de Ensino Superior no Brasil. In: SOARES, Maria Suzana Arrosa (Coord.). A educação superior no Brasil. Brasília: CAPES, 2002. p. 87-106.
• MARINHO, Alexandre; FAÇANHA, Luís Otávio. Programas sociais: efetividade, eficiência e eficácia como dimensões operacionais da avaliação. Texto para discussão n. 787. Rio de Janeiro, abr. 2001. Disponível em: <http://www.ipea.gov.br/pub/td/td_2001/td0787.pdf>. Acesso em: 24 ago. 2006.
• MELLO, João Carlos et al. Avaliação qualitativa e quantitativa: uma metodologia de integração. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 9, n. 31, p. 237-251, 2001.
• MELLO, João Carlos Correia Baptista Soares de et al. Uma análise da qualidade e da produtividade de programas de pós-graduação em Engenharia. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 11, n. 39, p. 167-179, 2003.
• MILLER, Roger Leroy. Microeconomia: teoria, questões e aplicações. Tradução Sara Gedanke. São Paulo: McGraw-Hill do Brasil, 1981. 507 p.
• OLIVEIRA, Djalma de Pinho Rebouças de. Sistemas, organização e métodos: uma abordagem gerencial. 13. ed. São Paulo: Atlas, 2002. 505 p.
• PAIVA, Francisco Canindé de. Eficiência produtiva de programas de ensino de pós-graduação em engenharias: uma aplicação do método análise envoltória de dados - DEA. 79 p. 2000. Dissertação (Mestrado em Engenharia) - Universidade Federal de Santa Catarina, Florianópolis, 2000. Disponível em: <http://teses.eps.ufsc.br/defesa/pdf/4418.pdf>. Acesso em: 31 ago. 2006.
• PEREIRA, Carlos Alberto. Ambiente, empresa, gestão e eficácia. In: CATELLI, Armando (Coord.). Controladoria: Uma abordagem da Gestão Econômica - GECON. São Paulo: Atlas, 1999a. 596 p. p. 35-80.
• ______ . Avaliação de resultados e desempenhos. In: CATELLI, Armando (Coord.). Controladoria: uma abordagem da Gestão Econômica - GECON. São Paulo: Atlas, 1999b. 596 p. p. 188-259.
• PEREZ JÚNIOR, José Hernandes; PESTANA, Armando Oliveira; FRANCO, Sérgio Paulo Cintra. Controladoria de gestão: teoria e prática. 2. ed. São Paulo: Atlas, 1997. 190 p. p. 9-37.
• PINDYCK, Robert S; RUBINFELD, Daniel L. Microeconomia Tradução Eleutério Prado, Thelma Guimarães. 6. ed. São Paulo: Pearson Prentice Hall, 2005. 641 p.
• REVORÊDO, Wirla C. et al. Relatórios de tribunais de contas sobre dimensões de eficiência, eficácia, efetividade e resultados em entidades da administração pública: uma análise focada na percepção de auditores de contas públicas. UnB CONTÁBIL - Publicação do Departamento de Ciências Contábeis e Atuariais da Universidade de Brasília. Brasília, v. 7, n. 2, p. 51-78, 2ş semestre de 2004.
• WOOLDRIDGE, Jeffrey M. Introdução à econometria: uma abordagem moderna. Tradução Rogério César de Souza, José Antônio Ferreira. São Paulo: Thomson, 2006. 614 p.

Datas de Publicação

• Publicação nesta coleção
  04 Mar 2011
• Data do Fascículo
  Mar 2011

Histórico

• Aceito
  Out 2010
• Recebido
  Ago 2010