Um indicador para a avaliação do desempenho docente em instituições de ensino superior

An indicator for the evaluation of the teaching performance in teaching institutions

Un Indicador para la evaluación del desempeño docente en instituciones de enseñanza superior

Um indicador para a avaliação do desempenho docente em instituições de ensino superior

An indicator for the evaluation of the teaching performance in teaching institutions

Un Indicador para la evaluación del desempeño docente en instituciones de enseñanza superior

Marcelo Embiruçu^I; Cristiano Fontes^II; Luiz Almeida^III

^IEscola Politécnica, Universidade Federal da Bahia (UFBA). E-mail: [e-mail]

^IIEscola Politécnica, UFBA. E-mail: [e-mail]

^IIIInstituto de Humanidades, Artes e Ciências; UFBA. E-mail: [e-mail]

RESUMO

Este trabalho propõe a criação de um indicador de avaliação docente (IAD), objetivo e quantitativo, para ser utilizado como um instrumento da avaliação do desempenho de docentes em Instituições de Ensino Superior. Este indicador é aderente aos indicadores institucionais estabelecidos pelo Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI) e procura também contemplar aspectos importantes para um indicador deste tipo, tais como robustez e exogenia, além de considerar ainda aspectos importantes da atuação universitária, tais como afastamentos, gestão acadêmica, atividades de extensão e produção científica qualificada, não contemplados na formulação original dos indicadores do REUNI. São incluídos também outros aspectos fundamentais, tais como a qualidade da graduação e a taxa de conclusão da pós-graduação. Assim, o índice faz uma avaliação docente bastante completa na medida em que considera todas as principais atividades docentes, quais sejam, ensino, pesquisa, extensão e gestão acadêmica, tanto na graduação quanto na pós-graduação. Os resultados apresentados mostram que o indicador é robusto e que o alcance das metas propostas é razoavelmente factível, podendo este ser utilizado como um instrumento útil para a política e a gestão acadêmica das instituições, de forma harmonizada com os programas e políticas de governo e de estado. Alguns parâmetros do indicador podem ser ajustados a fim de satisfazer metas e políticas específicas das instituições.

Palavras-chave: Indicador de avaliação. Desempenho docente. Instituições de ensino superior. REUNI.

ABSTRACT

This paper presents a quantitative index to measure professor performance (IAD-Indicador de Avaliação Docente, professor evaluation index) that can be used as a tool for the evaluation of professors in higher education institutions. This index is in accordance with the institutional indicators established by REUNI (a government program to support the reorganization and expansion of Brazilian federal universities), and also has important features such as robustness and exogenous practice, considering other aspects of the professors actuation in higher education institutions such as retirement, academic management, extension activities and qualified scientific production, that are not included in the formulation of REUNI indicators. Other fundamental aspects are also included, such as the quality of undergraduate courses and the efficiency of graduate courses, through accounting for the rate of titled students. Therefore, IAD provides a complete professor evaluation considering the whole of their activities, namely, teaching, research, extension and academic management, in both undergraduate and graduate courses. The results show that the indicator is robust and the attainment of the aims proposed is feasible. The IAD can be used as a valuable tool in the academic policy and management of the institutions in accordance with government and state policies. Some parameters of the indicator can be adjusted in order to satisfy specific goals and academic policies of the institutions.

Keywords: Evaluation indicator. Professor performance. Higher education institutions. REUNI.

RESUMEN

Este trabajo propone la creación de un indicador de evaluación docente (IAD), objetivo y cuantitativo, con el objeto de utilizarlo como instrumento de evaluación del funcionamiento de profesores en instituciones de Enseñanza Superior. Este indicador se basa en Indicadores institucionales establecidos por el REUNI (Programa de Apoyo a Planes de Reestructuración y Expansión de las Universidades Federales de Brasil), y considera aspectos importantes para un indicador de este tipo, tales como robustez y exogenía, además de aspectos importantes de la actuación universitaria, tales como ceses, gestión académica, actividades de extensión y producción científica cualificada, no contemplados en el proyecto original de los indicadores del REUNI. Se incluyen también otros aspectos fundamentales: la calidad de la graduación y la tasa de conclusión del posgrado. De esta forma, el índice hace una evaluación docente bastante completa, ya que considera todas las actividades docentes: la enseñanza, la investigación, la extensión y la gestión académica, tanto en la graduación como en el posgrado. Los resultados presentados muestran que el indicador es robusto y que el alcance de las metas propuestas es factible, y puede utilizarse como instrumento útil para la política y la gestión académica de las instituciones, de forma armónica en relación a los programas y a la política gubernamental y provincial. Algunos parámetros del indicador se pueden ajustar, para satisfacer metas y políticas específicas de cada institución.

Palabras clave: Indicador de evaluación. Desempeño docente. Instituciones de enseñanza superior. REUNI.

Introdução

A avaliação do desempenho docente em Instituições de Ensino Superior (IES), de forma similar à avaliação do desempenho de qualquer profissional nos diversos campos de atuação e nos diversos sistemas e processos produtivos, é de fundamental importância para o desenvolvimento profissional dos docentes e para o crescimento institucional, ajudando a garantir que as metas qualitativas e quantitativas esperadas pela sociedade possam ser alcançadas. Estes processos de avaliação são importantes desde a dimensão individual até a dimensão de políticas de governo e de estado para, dentre outros:

• Fundamentar a avaliação de estágios probatórios, de regimes de trabalho e de progressões individuais na carreira dos docentes;

• Avaliar o desempenho individual de docentes quando estabelecidas políticas de remuneração variável conforme o desempenho;

• Avaliar o desempenho de colegiados de graduação e de pós-graduação, a fim de contribuir na avaliação global da qualidade dos cursos oferecidos à sociedade, e de sua eficácia na utilização de recursos;

• Avaliar o desempenho de departamentos e Unidades (Escolas, Faculdades e Institutos) Universitárias, com vistas à distribuição de recursos humanos, financeiros e materiais de diversas naturezas;

• Avaliar o desempenho de IES, a fim de verificar o cumprimento de metas e objetivos de programas de governo e de políticas de estado, além de contribuir também com os mecanismos de distribuição de recursos entre estas instituições.

O último item registra um aspecto sistêmico e estrutural caracterizando a avaliação de desempenho docente como um importante indicador ou elemento de avaliação das próprias IES. Neste sentido, Costa (2005) destaca a indissociabilidade entre a autonomia e a avaliação, ressaltando que as IES ainda não assimilaram esta última como um mecanismo efetivo de prestação de contas ao Estado. Santos (2007), abordando a dualidade avaliação-acreditação, registra que a avaliação tem o potencial de promover a qualidade do ensino, da pesquisa e das ações culturais e de extensão desenvolvidas no seio das instituições, representando, portanto, função de maior interesse para a comunidade. Pinto e Oliveira (2004, 2005) destacam que as IES, os docentes e, principalmente, os alunos são efetivamente os beneficiados com a implementação de um sistema de avaliação de desempenho de docentes.

As metodologias propostas na literatura voltadas à avaliação do docente das IES estão concentradas especificamente na análise de desempenho em relação às atividades de ensino, estando vinculadas diretamente à avaliação de cursos de graduação que contam muitas vezes com mecanismos institucionais que monitoram a qualidade do processo ensino-aprendizagem (PERES; BOSCARIOLI, 2004). Neste contexto, Abramowick (2001) destaca que a avaliação terá seu sentido mais significativo se houver articulação com o projeto político-pedagógico do curso. Blocin (2004) apresenta e discute uma metodologia de avaliação dos docentes pelos discentes, ressaltando e inter-relacionando três aspectos: (i) a participação dos alunos no processo; (ii) a adoção da metodologia de avaliação pelo projeto político-pedagógico do curso, e (iii) a sua utilização como instrumento para elevação da qualidade dos cursos de graduação. O instrumento proposto compreende um questionário com 16 (dezesseis) variáveis de conduta docente explicitadas nas áreas de conhecimento, didática, atitudes, procedimentos e frequência. Peres e Boscarioli (2004) desenvolveram um método de avaliação de disciplinas de graduação que não se limita a reuniões pedagógicas ou discussões unilaterais. A intenção dos autores é que o método possa congregar opiniões de docentes e discentes, analisando o processo de ensino-aprendizagem sob diferentes óticas. O método foi aplicado no Curso de Bacharelado em Informática da Universidade Estadual do Oeste do Paraná. Outra prática comum nas IES, e que oferece a possibilidade de incorporação de outros aspectos da atividade docente, compreende a aplicação de estatutos da carreira docente universitária e está restrita aos processos de progressão na carreira (ABRANCHES, 2005). Segundo o Sindicato Nacional do Ensino Superior (Snesup) (2007), o Higher Education Academy (HEA) (Reino Unido) define três critérios para avaliação de desempenho pedagógico do docente, quais sejam: as atividades desempenhadas, o conhecimento básico (pedagógico e do conteúdo da disciplina) e os valores profissionais. Neste sentido, é proposta uma metodologia que contempla instrumentos de medição que compreendem a avaliação pelos alunos, a avaliação por outros docentes e o portfólio (documentos específicos que destacam a participação e experiência do docente especificamente em atividades relacionadas ao ensino). De forma geral, as referências citadas não contemplam a tentativa de construção de um índice quantitativo de desempenho docente que extrapole o âmbito das atividades de ensino, o que viabilizaria a incorporação de aspectos adicionais, como a orientação de alunos de pós-graduação, que estão inseridos na pluralidade das práticas docentes e que devem ser também monitorados e quantificados como elementos de aferição da qualidade do profissional.

Pinto e Oliveira (2004/2005) propõem um método de avaliação do desempenho de docentes universitários (MADU) que possui uma característica mais pluralista, e procura avaliar o docente nas seguintes perspectivas: Atitude perante o Ensino (AE); Atitude perante a Universidade (AU); Produção Científica e Investigação (PCI); e Esforço de progressão Continuado (EC). Através da atribuição de pesos e valores a cada um dos itens de avaliação, os autores apresentam uma equação de cálculo para a Avaliação Global de Desempenho (AGD) de cada docente. Embora o índice proposto por Pinto e Oliveira (2004/2005) represente essencialmente uma abordagem objetiva de quantificação de desempenho, admite-se a inclusão de considerações subjetivas geradas pelo diretor (avaliador) ou responsável por cada unidade universitária.

Rios (2004) apresenta um estudo que consiste na avaliação do valor e do mérito da avaliação de docentes (ou meta-avaliação), desenvolvido em um Centro Universitário localizado na região do ABC (SP). O trabalho teve como foco as atividades de ensino na graduação e a análise crítica dos mecanismos de avaliação do docente, inclusive pelo discente, através de relatórios disponibilizados pela instituição. De forma geral, os resultados revelaram que a avaliação dos docentes constitui-se em oportunidade de crescimento e desenvolvimento do professor e estimulam a reflexão, contribuindo para a aplicação de novas práticas no cotidiano da sala de aula. Abrantes e outros (1999) e Braskamp e Ory (1994) definem quatro categorias de classificação pragmática do trabalho docente, quais sejam: atividades de ensino, pesquisa (investigação), prática e serviço profissional, cidadania e participação cívica. Cada uma destas categorias compreende, por sua vez, subatividades intrínsecas que, no conjunto, mapeiam o perfil e o trabalho do docente em ensino, pesquisa e extensão. Acrescenta-se que o indicador sugerido neste trabalho (IAD) e a sua metodologia de implementação contemplam uma alternativa aderente à análise categórica e ampla sustentada por Abrantes e outros (1999).

Neste ponto vale ressaltar que a avaliação, como entendida no conceito mais moderno do processo ensino-aprendizagem, e muito embora pouco praticado pelo conjunto de docentes em geral, não é um mero exame ou uma mera medição de um desempenho. A avaliação é, portanto, aqui entendida como um "processo global de controle" e contribui para a aplicação planejada de ações preditivas, antecipativas e corretivas, inclusive por realimentação, ou mesmo, conforme destacado em Rios (2004), representa uma possibilidade de melhoria de desempenho do avaliado e incentiva o processo de reflexão. O termo "controle" como aqui empregado não deve ser entendido com o sentido corriqueiro de "supressão de liberdades individuais ou coletivas", mas sim no sentido estritamente técnico como empregado na teoria de controle de sistemas (ROYCE; CHARLES, 1996; NORMAN, 2009). No contexto desta teoria, os resultados oriundos dos instrumentos de medição, no presente caso o instrumento de avaliação docente, são utilizados com dois objetivos básicos e inter-relacionados: i) acompanhar o sistema para verificar se os seus objetivos qualitativos e quantitativos estão sendo alcançados; ii) utilizar esta informação para, caso os objetivos estejam sendo alcançados, manter as ações responsáveis por este sucesso ou, caso os objetivos não estejam sendo alcançados, usar esta informação de forma inteligente a fim de gerar ações corretivas e/ou preditivas para melhorar o próprio sistema, conduzindo-o ao alcance dos seus objetivos qualitativos e quantitativos. Assim, ainda no contexto desta teoria, muito embora a medição do desempenho seja um elemento fundamental para realimentação, a mesma é apenas um dos diversos elementos desta malha ou sistema de controle. Portanto, no que aqui está sendo denominado "processo global de ações de controle", o objetivo não é a punição, mas sim a melhoria do sistema como um todo, envolvendo todos os seus atores, e com objetivos globais e coletivos a serem atingidos, a fim de que o sistema possa alcançar os objetivos para ele traçados, dentro de requisitos qualitativos e quantitativos previamente especificados.

A despeito de ser apenas um dos elementos de um sistema de avaliação, a medição do desempenho dos diversos constituintes do processo em questão é um prérequisito essencial para um bom sistema de avaliação. Não é possível avaliar ou controlar bem aquilo que não se pode medir ou inferir corretamente. Assim, o estabelecimento de instrumentos de medição adequados é de fundamental importância. A avaliação docente, para os diversos fins citados anteriormente, é muitas vezes feita com base em instrumentos excessivamente subjetivos. A utilização de instrumentos de medição objetivos, baseados em indicadores quantitativos, traz uma série de vantagens. É possível citar, dentre outras:

• Permite estabelecer de forma concreta como a obtenção de índices individuais e/ou setoriais conduzirá ao cumprimento de objetivos globais;

• Tornam mais claros aos diversos atores envolvidos quais são suas atribuições, metas, responsabilidades, direitos e deveres;

• Torna mais uniforme, transparente e equânime o processo de avaliação;

• É operacionalmente mais rápido e barato, sendo adequado à aplicação em sistemas compostos por uma grande quantidade de indivíduos;

• Permite identificar mais facilmente onde e como as ações corretivas, preditivas e antecipativas devem ser implantadas, e quais são as ações mais eficazes a serem manipuladas.

Não há dúvida que os instrumentos de medição subjetivos também possuem algumas vantagens em relação aos objetivos. Por outro lado, a quantidade de vantagens destes últimos em relação aos primeiros, especialmente quando aplicados a sistemas com muitos pontos ou indivíduos de medição, faz com que a escolha dos instrumentos objetivos de medição seja a melhor alternativa a ser adotada. Além disso, os instrumentos de medição objetivos podem ser continuamente sofisticados e melhorados, a fim de captar, cada vez mais, todas as dimensões que se pretende medir do sistema em questão. Não obstante isto, a quantidade dos parâmetros envolvidos no cálculo de indicadores de desempenho (sistemas de medição objetivos) deve estar limitada apenas àqueles parâmetros que sejam significantes o necessário e suficiente para que o indicador possa retratar, da forma mais fidedigna e robusta possível, aquilo que se quer medir. Isto é, devem ser evitados indicadores que sejam formados por muitos parâmetros, muitos deles difíceis de valorar, e com pesos arbitrários. Tais indicadores, como muitas vezes são formados os diversos "baremas" formulados pelas IES (para concursos de docentes, progressão funcional, remuneração variável, etc.), carecem de robustez. Ou seja, é possível sintonizar quase qualquer desempenho com um conjunto adequado de pesos. Em outras palavras, manipulando os diversos pesos envolvidos no indicador, é possível chegar a uma "fórmula" que avalie mal ou avalie bem quase qualquer indivíduo. Como será visto no desenvolvimento apresentado mais adiante, o indicador aqui proposto não padece desta deficiência, já que ele não contempla pesos "empíricos", sendo as constantes nele consideradas derivadas de conceitos e princípios fundamentados e/ou de analogias com uma lógica bem definida.

Outra questão importante na formulação de indicadores de medição é evitar a formulação de instrumentos ou métricas com elevado grau de endogenia. Ou seja, é salutar que sejam levadas em consideração avaliações externas, realizadas por entidades e instituições que tenham credibilidade reconhecida. Além disso, é importante que os indicadores aplicados a níveis hierárquicos inferiores estejam em harmonia com os indicadores aplicados aos níveis hierárquicos superiores. Ou seja, os parâmetros utilizados para a avaliação docente individual devem estar harmonizados com aqueles utilizados para departamentos e colegiados de curso, que por sua vez devem estar harmonizados com os indicadores das unidades, e estes, por sua vez, também devem estar em consonância com os parâmetros de avaliação da IES. A avaliação das IES, evidentemente, deve estar harmonizada com os programas e as políticas de governo e de estado, o que, em se tratando de ensino superior no Brasil, está refletido nas diretrizes de órgãos ligados tanto ao Ministério da Educação (MEC), tal como a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), como ao Ministério da Ciência e Tecnologia (MCT), tal como o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Não se trata aqui de defender um alinhamento político ou ideológico subalterno ao governo, mas de dar eficiência, eficácia e produtividade ao sistema como o todo. As diversas instâncias hierárquicas inferiores possuem a sua representatividade nas esferas hierárquicas superiores, e é lá, no momento da discussão e deliberação dos programas e políticas, que se deve travar o embate político e ideológico. Depois de estabelecidos, democraticamente, os programas e as políticas de gestão, em todos os níveis, não é produtivo sabotar o que foi decidido, ou "remar contra a maré", mas sim trabalhar coletivamente para alcançar as metas de maneira ótima. Não cabe a um departamento boicotar a política de uma Unidade, nem esta a política de uma IES, e assim sucessivamente.

O Governo Federal, através do MEC, lançou recentemente o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI) (BRASIL, 2007). Este programa prevê, como meta global, além de um aumento mínimo de 20% das vagas no ensino de graduação, alcançar, gradualmente, ao final de cinco anos:

• Taxa de conclusão média de noventa por cento nos cursos de graduação presenciais;

• Relação de dezoito alunos de graduação por professor em cursos presenciais.

Com base nestas metas, o presente trabalho propõe a criação de um indicador de avaliação docente (IAD) aderente aos indicadores institucionais estabelecidos (BRASIL, 2007), e que procura contemplar os aspectos discutidos anteriormente. Portanto, o principal objetivo deste trabalho não é propor as bases conceituais de um novo indicador, mas especificamente "operacionalizar" os indicadores do REUNI para sua aplicação no nível individual do docente, melhorando-o em aspectos essenciais. Na seção 2, o desenvolvimento do indicador é apresentado e justificado, com base nos indicadores citados e na inclusão de alguns poucos, porém importantes, aspectos fundamentais para a atividade universitária não contemplados no REUNI. Na seção 3, são mostrados alguns resultados de simulação do IAD , sendo discutidos os efeitos dos seus principais elementos constituintes. Na seção 4, são tecidos alguns comentários finais e são apresentadas as conclusões.

Metodologia: desenvolvimento e justificativa do IAD

O IAD está baseado nos índices criados pelo MEC para avaliar as Instituições Federais de Ensino Superior (IES), especialmente a Taxa de Conclusão dos cursos de Graduação (TCG) e o Relação Aluno Professor (RAP), definidos como (BRASIL, 2007):

em que DIP é total de diplomados nos cursos de graduação presenciais num determinado ano, ING ₅ é o total de vagas de ingresso oferecidas pela instituição cinco anos antes, MAT é a chamada matrícula projetada, DDE é o número de professores equivalentes ao regime de Dedicação Exclusiva e DPG é a dedução da Pós-Graduação (PG). A MAT (BRASIL, 2007) é a soma dos produtos entre o tempo médio de um curso, em anos, o número de vagas anuais "novas" deste curso e o fator de retenção do curso. A DPG é definida como (BRASIL, 2007):

onde NAPG é o número de alunos da pós-graduação, definido como (BRASIL, 2007):

onde NCPG é o número de cursos de pós-graduação, NAC é o número de alunos do curso (mestrado profissional, mestrado acadêmico ou doutorado), CCC é o conceito do curso na CAPES e f ₇ é um fator de correção para cursos com conceito 7, igual a 1 para estes cursos e igual a zero para os demais.

A taxa de conclusão média desejada nos cursos de graduação presenciais é de noventa por cento. O RAP desejado é 18 ou superior. A relação de dezoito estudantes de graduação presencial por professor foi fixada com base nas determinações contidas na Lei de Diretrizes e Bases da Educação Nacional, Lei nº 9.394 (BRASIL, 1996, art. 57), no que se refere à carga horária dos professores, estimando-se salas de aulas com 45 alunos de graduação e uma carga horária discente de aproximadamente vinte horas semanais. Com base nestas estimativas, e considerando uma carga horária didática de 8 horas semanais para cada docente o RAP foi fixado:

Portanto, isto equivale, para um docente individual em regime de DE, ao desejo de que este docente ministre, por semestre, o equivalente a 2 disciplinas de 68 horas, cada um delas com 45 alunos. Assim, um RAP individual (ou IAD ) é proposto aqui, podendo ser escrito, em uma base anual, como:

onde NDMG é o número de disciplinas ministradas na graduação, NHAMDi é o número de horas-aula ministradas na disciplina i, NC é o número de cursos que têm alunos inscritos na disciplina i, NAIDj,i é o número de alunos do curso j inscritos na disciplina i, TCGj é a taxa de conclusão do curso j, DPGD é a dedução da pósgraduação do docente e RT é o regime de trabalho, sendo:

• RT = 1, para docentes em regime de DE;

• RT = 1/1,55 = 0,6452, para docentes em regime de 40 horas;

• RT = (1/1,55)/2 = 0,3226, para docentes em regime de 20 horas.

O RAP criado pelo MEC, equações (2)-(4), leva em consideração a qualidade da pósgraduação, através do conceito da CAPES, mas não considera a qualidade dos cursos de graduação. Portanto, é proposta a inclusão da qualidade dos cursos de graduação, traduzida pelo Conceito Preliminar de Cursos (CPC ). O CPC combina o desempenho obtido pelos estudantes no Exame Nacional de Avaliação de Desempenho dos Estudantes (ENADE) (INEP, 2006a, 2006b) com os resultados do Indicador de Diferença de Desempenho (IDD). Além disso, são consideradas ainda as informações de infraestrutura e instalações físicas, recursos didático-pedagógicos e corpo docente oferecidos pelo curso de uma determinada Instituição de Ensino Superior (INEP, 2009). De maneira similar ao adotado na pós-graduação, considerar-se-á o conceito 3 (três) como o mínimo aceitável, e variações máximas de mais ou menos meio em relação ao valor base do fator de correção, que é igual a um. Assim:

onde CPCj é o conceito preliminar do curso j.

Definindo NAPGD como o número de alunos da pós-graduação de um docente em particular, é possível, a partir da equação (3), obter a dedução da pós-graduação docente (DPGD ) como:

Substituindo a equação (8) na equação (6) e rearrumando:

A equação (10) mostra que, na realidade, o RAP de 18 para um docente individual em regime de DE equivale ao desejo de que este docente, além do encargo de graduação descrito anteriormente, seja responsável por 1,5 alunos de pós-graduação. O índice acima mostra também que não é possível obter um IAD igual ou superior a 18 sem encargos com disciplinas de graduação, a menos que se alcance um NAPGD igual ou superior a 7,5.RT, situação em que o IAD tende a infinito (matematicamente isto só ocorre com NAPGD igual a 7,5.RT, mas, evidentemente, esta mesma interpretação deve ser aplicada para o caso onde NAPGD é superior a 7,5.RT. Para uma análise mais rigorosa, ver o ^{apêndice A}).

Neste ponto, é possível inserir uma correção no índice, postulando que um docente deve obter o índice sempre que estiver afastado ou ocupando um cargo de direção. A inclusão da gestão acadêmica, em particular, é um dos fatores que aproximam o índice proposto da realidade, aumentando a sua aderência com a situação atual de muitas IES nas quais a instalação de novos cursos de graduação e de pósgraduação, com o consequente aumento de colegiados, não ocorre necessariamente na mesma velocidade da inserção de docentes nestas mesmas instituições. Isto tem provocado uma grande sobrecarga administrativa aos docentes, levando, inclusive, a uma dificuldade de disponibilidade de docentes para ocuparem estas funções. Assim, com a inclusão destas atividades no índice:

onde NMCD é o número de meses, ou frações de meses, em cargos de direção ou equivalentes (funções que justificam um cargo de direção, não concedido por falta de disponibilidade na IES) e NMA é o número de meses, ou frações de meses, em afastamento oficial da IES. Considerando que cargos de função gratificada tenham um peso igual à metade dos cargos de direção:

onde NMFG é o número de meses, ou frações de meses, em funções gratificadas ou equivalentes (funções que justificam uma função gratificada, não concedida por falta de disponibilidade na IES).

Neste ponto, resta apenas propor o cálculo de NAPGD. Para isto, é considerado que, para a formação de um aluno de pós-graduação, as disciplinas têm um peso de 20% e a dissertação ou tese tem um peso de 80% (estes percentuais podem ser definidos de forma diferente por cada Programa). Tomando como base, por exemplo, as "Normas Complementares para Cursos Stricto Sensu da Universidade Federal da Bahia (UFBA)" (ANDRADE, 1998), será considerado o número mínimo de créditos de cursos de mestrado (aqui o mestrado é considerado, ao invés do doutorado, cujo mínimo de créditos é 20, ou uma média dos dois, a fim de conferir uma valorização maior às aulas de pós-graduação), que é igual a 14. Assim, para formar um aluno de mestrado, são necessárias (14.17 = 238) horas de aula. Enquanto os índices propostos pelo MEC não levam em consideração a qualidade dos cursos de graduação, que é levada em conta no caso da pós-graduação, uma situação inversa ocorre em relação à taxa de conclusão. Então, é proposta também a inclusão da Taxa de Conclusão dos cursos de Pós-Graduação (TCPG), considerando um dado valor desejado (TCPGd). Assim, o NAPGD pode ser definido como:

onde NTSS é o número total de titulados em cursos stricto sensu (mestrado profissional, mestrado acadêmico e doutorado), ni é o número total de orientadores e/ou co-orientadores do titulado TSSi, CCCTi é o conceito na CAPES do curso do titulado TSSi, pi é o peso dado à importância da orientação no curso i, em relação à importância das disciplinas, CHMDPG é a carga horária média de disciplinas que o estudante de pós-graduação deve integralizar e NAAPG é o número de "alunosaula" em disciplinas da pós-graduação stricto sensu, definido aqui como:

onde NDMPG é o número de disciplinas ministradas na pós-graduação e CCCPDi é o conceito na CAPES do curso "preferencial" da disciplina i.

Assim, definindo o número de "alunos-aula" em disciplinas da graduação (NAAG) e o número total de titulações (NTT) como:

o IAD fica definido por:

onde NAAPG, NAAG e NTT estão definidos pelas equações (14), (15) e (16) e, apenas para relembrar a origem dos componentes da constante k:

• 18 é o RAP desejado;

• 6 é o número mínimo de alunos de pós-graduação, acima da média nacional de 1,5, necessário para se obter o RAP desejado;

• 2 é o número de semestres de um ano;

• 2 é o número típico de turmas de disciplinas de graduação lecionadas por um docente em um semestre;

• 68 é a carga horária típica de uma disciplina de graduação;

• 45 é o módulo típico de uma disciplina de graduação;

• 7,5 é o número total de alunos de pós-graduação necessário para se obter o RAP desejado.

É possível ainda considerar no índice a qualidade individual de cada docente em suas atividades de pesquisa e extensão. Assim:

onde NMPQDT é o número de meses, ou frações de meses, na condição de bolsista de pesquisa ou tecnologia do CNPq, NMEXP é o número de meses, ou frações de meses, na condição de bolsista de extensão do CNPq, e fPQDT e fEXP são fatores que variam de acordo com o nível da bolsa, por exemplo, conforme mostrado na Tabela 1 (nesta sugestão, equipara-se o nível máximo a um cargo CD, e o nível mínimo a um cargo FG).

Não há dúvida de que medir pesquisa e extensão através das bolsas concedidas aos docentes (ou apenas através delas) é um critério muito questionável. Em relação à pesquisa, no entanto, deve ser enfatizado que a mesma está sendo medida não através das bolsas, mas de forma indireta através da PG, incluindo o número de titulados e o conceito do Programa, que contempla indiretamente uma série de quesitos. Assim, o critério da bolsa é apenas um item adicional, a fim de reconhecer e incentivar a excelência nesta atividade. Já em relação à extensão, o REUNI não contempla nada desta atividade. A ideia aqui foi, portanto, sair do "nada" para ao menos contemplar esta atividade em alguma dimensão. O objetivo mais específico deste trabalho não é criar um indicador totalmente novo, nem mesmo fazer uma análise crítica sistemática dos índices do REUNI, mas desenvolver uma forma de "operacionalizar" estes índices no nível individual, e analisar alguns resultados. Assim, são inseridos novos elementos apenas quando indispensável, como no caso das atividades de administração. Portanto, não se desejou criar métricas muito complexas para as atividades de extensão, nem fazer uma formulação na qual esta atividade tivesse grande impacto global no indicador, a fim de não distorcer a aderência do índice individual em relação ao índice oficial, afastando-o dos índices globais da Instituição. Foram considerados ainda os princípios de robustez e exogenia. Embora seja uma atividade de difícil mensuração (e provavelmente este foi pelo menos um dos motivos desta atividade não constar nos índices do REUNI), especialmente quando se consideram os princípios citados, certamente seria possível formular uma maneira de avaliar as atividades de extensão com uma abrangência maior.

Alternativamente, caso se deseje levar em consideração os módulos máximos permitidos em cada tipo de disciplina, o NAAG pode ser definido como:

onde MDi é o módulo da disciplina i. Expressões um pouco mais elaboradas podem ser formuladas, a fim de, por um lado, não penalizar turmas de módulos muito grandes (por exemplo, 100), não completamente preenchidas e, de outro lado, não incentivar o estabelecimento de módulos muito inferiores a 45, utilizando, nestes casos, fatores multiplicativos inferiores a 45.

Vale ressaltar ainda que, na presente proposta, foram incluídos no indicador elementos que, embora essenciais às funções universitárias, não foram contemplados em Brasil (2007), tais como afastamentos, gestão acadêmica, atividades de extensão e reconhecimento adicional ao mérito na produção científica. A fim de não correr risco no objetivo de alcançar a meta institucional como um todo, a IES pode, mantendo o objetivo individual mínimo de um IAD igual 18, modificar a constante k, reduzindo-a em um percentual equivalente à quantidade de docentes necessários para desempenhar as funções não contempladas originalmente:

onde PRk é o percentual de redução da constante k.

Resultados de Simulação do IAD e Discussão

As figuras abaixo mostram o comportamento do IAD em relação a cada uma das variáveis que o compõem. Nestas figuras, os valores de referência mostrados na Tabela 2 são utilizados.

Simulações em relação a afastamentos, em relação à ocupação de cargos de direção e em relação à condição de bolsista de produtividade no maior nível não são necessárias, já que a maneira como o índice foi desenvolvido garante um IAD 18 nestas condições (para número de meses inferiores a 12, ou para níveis de bolsas inferiores ao máximo, o efeito pode ser inferido pelo efeito da FG). A Figura 1 mostra a variação do IAD com o número de titulados para um típico docente em regime de DE. Percebe-se que o IAD 18 é alcançado com um número de titulados entre 4 de 5. Se este docente ocupa uma função FG (e reduz à metade sua carga horária em graduação), o IAD 18 é alcançado com aproximadamente 2 conclusões de orientação. Assim, o encargo anual de uma função FG está equiparado, nestas condições, a 2,5 titulações de PG e mais 2 disciplinas de graduação, cada uma delas com uma média de 25 alunos. Se o docente tem um regime de 20 horas, ele já começa com um IAD superior a 18, mesmo sem nenhuma orientação concluída em PG (neste caso, considera-se também nenhuma aula na PG). Se o curso do docente alcança o conceito máximo da CAPES, o IAD 18 é alcançado com um número de titulados em torno de 3, ou seja, aproximadamente dois terços do número de titulados necessários em um curso com conceito 3. Assim, nota-se que a inserção do conceito do Programa no IAD é interessante, pois leva em conta a qualidade da pós-graduação (além disso, esta inserção faz parte da formulação original do índice oficial). Por outro lado, o seu efeito não é exacerbado, de modo que docentes que participam de Programas de menor conceito não são muito penalizados. Vale ainda pontuar que são várias as formas de se aumentar o IAD (inclusive na pesquisa e na pós-graduação, o que tende a aumentar o conceito do Programa). Assim, mesmo que seja através da atuação na graduação, este aumento pode ser feito, por exemplo, através do conceito do curso no CPC ou através do número de alunos, e não necessariamente através da carga horária. Portanto, não existe necessariamente a contradição de que Programas com conceito baixo permanecerão com conceito baixo, sem poder avançar, já que seus docentes precisariam compensar por isso dando mais aulas, não sobrando tempo para a pesquisa e a publicação. De qualquer forma, se desejado, soluções alternativas poderiam ser formuladas, especialmente para atenuar esta penalidade em Programas jovens.

A Figura 2 mostra a variação do IAD com o módulo de alunos da PG para um típico docente em regime de DE (variações na carga horária e no número de disciplinas ministradas terão o mesmo efeito). Percebe-se que o IAD 18 é alcançado com um módulo médio de aproximadamente 32 alunos (considerando 3 orientações concluídas na PG). Se este docente ocupa uma função FG (e reduz à metade sua carga horária em graduação; também considerando 3 titulados na PG), o IAD 18 é alcançado sem atividades de aula na PG. Assim, o encargo anual de uma função FG está equiparado, nestas condições, a uma redução em aulas de graduação de 272 para 136 na carga horária, além de não ser necessário ministrar aulas na PG (além disso, o número de titulações pode ainda ser reduzido a 2,5).

A Figura 3 mostra a variação do IAD com o módulo de alunos da graduação para um típico docente em regime de DE (variações na carga horária e no número de disciplinas ministradas terão o mesmo efeito). Percebe-se que o IAD 18 é alcançado com um módulo médio de 40 alunos (considerando 3 orientações concluídas na PG). Se este docente ocupa uma função FG (e reduz à metade sua carga horária em graduação; considerando 3 titulados na PG), o IAD 18 é alcançado com um módulo médio de menos de 10 alunos. Assim, o encargo anual de uma função FG está equiparado, nestas condições, a uma redução em aulas de graduação de 40 para 10 no módulo e de 272 para 136 na carga horária. Se o docente tem um regime de 20 horas, ele alcança um IAD 18 com um módulo médio de 18 alunos (esta simulação considera meia orientação concluída e nenhuma aula na PG). Esta figura mostra também a simulação de um docente DE que não ocupa cargo e que não tem nenhuma participação na PG (nenhum titulado, nenhuma aula). Este docente alcança o IAD 18 com um módulo médio de 70 alunos. Finalmente, a figura mostra ainda os efeitos da taxa de conclusão e do conceito preliminar do curso. Quando a primeira vai a 100%, o módulo médio para alcançar um IAD 18 cai de 40 para 28, e quando o segundo vai ao máximo (conceito 5), o módulo médio necessário para um IAD 18 cai para 26.

Conclusões

Este trabalho propôs um indicador para a avaliação do desempenho docente para instituições de ensino superior, tendo mostrado o seu desenvolvimento e as justificativas intimamente relacionadas aos indicadores estabelecidos pelo REUNI. O índice proposto é, portanto, aderente aos indicadores deste plano, permitindo que a instituição trace uma política harmonizada com os programas e políticas de governo e de estado. O índice proposto, por outro lado, evolui em relação aos indicadores estabelecidos no REUNI, ao contemplar aspectos essenciais da vida universitária, tais como afastamentos, gestão acadêmica, atividades de extensão e reconhecimento adicional ao mérito na produção científica. São incluídos também alguns aspectos fundamentais, tais como a qualidade da graduação (o que foi alvo de muitas críticas quando da formulação do REUNI) e a taxa de conclusão da pós-graduação. Os índices oficiais, em uma aparente contradição, só consideram a quantidade na graduação e não consideram a eficiência quantitativa na pós-graduação, "esquecendo", portanto, a dimensão qualitativa na graduação e a quantitativa na pós-graduação. As simulações realizadas mostram os principais cenários da atuação docente e o efeito das principais variáveis que o compõem, evidenciando que o alcance das metas propostas é razoavelmente factível. São discutidos também alguns graus de liberdade e alternativas que podem ser adotadas para satisfazer necessidades específicas. O índice faz uma avaliação docente bastante completa, na medida em que considera todas as principais atividades docentes, quais sejam, ensino, pesquisa, extensão e gestão acadêmica, tanto na graduação quanto na pós-graduação. Além disso, o índice possui um grau de robustez adequado, na medida em que os seus únicos elementos constituintes são a quantidade e a taxa de sucesso dos alunos pelos quais o docente é responsável, na graduação e na pós-graduação, os cargos de gestão acadêmica e a qualidade dos cursos de graduação e pós-graduação dos quais o docente participa, além da qualidade de suas atividades de pesquisa e extensão. Estes últimos itens de qualidade são considerados através de entidades externas à instituição, quais sejam, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), a CAPES (ambos órgãos do MEC) e o CNPq (órgão do MCT), agências oficiais nacionais de regulação e fomento, e de amplo reconhecimento. Este é outro ponto positivo do indicador, na medida em que contempla um considerável e salutar grau de exogenia em sua formulação. Merece destaque ainda o fato de que o indicador, apesar de individual, é em grande medida resultado de um trabalho coletivo e solidário, já que a maioria das ações no sentido de aumentar o seu valor tem um impacto direto na coletividade, tais como os módulos de ensino e os conceitos de qualidade na graduação e na pós-graduação, e a taxa de conclusão nos cursos de graduação. Sendo um índice que chega ao detalhe da avaliação individual, ele está propício ainda a ser modificado para gerar suas diversas versões institucionais, quais sejam, as instâncias de departamentos, colegiados e unidades, permitindo fazer uma completa, detalhada e separada avaliação de toda a instituição.

Agradecimentos

Os autores agradecem ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pelo apoio financeiro na realização deste trabalho.

Recebido em: 01/04/2009

Aceito para publicação em: 21/09/2010

Anexo A - Nomenclatura.

CCC conceito do curso na CAPES; CCCT conceito na CAPES do curso do titulado; CCCPD

conceito na CAPES do curso "preferencial" da disciplina;

CPC conceito preliminar do curso; CHMDPG

carga horária média de disciplinas que o estudante de pós-graduação deve integralizar;

DDE número de professores equivalentes ao regime de Dedicação Exclusiva; DIP

total de diplomados nos cursos de graduação presenciais num determinado ano; DPG dedução da pós-graduação;

DPGD dedução da pós-graduação do docente; DPGD

dedução da pós-graduação docente;

f fatores de correção para cursos e bolsas; IAD indicador de avaliação docente; ING

total de vagas de ingresso oferecidas pela instituição num determinado ano;

k constante do IAD; MAT

matrícula projetada;

MD módulo da disciplina; n número total de orientadores e/ou co-orientadores do orientando; NAAG

número de "alunos-aula" em disciplinas da graduação;

NAAPG número de "alunos-aula" em disciplinas da pós-graduação stricto sensu; NAC número de alunos do curso; NAID

número de alunos inscritos na disciplina;

NAPG número de alunos da pós-graduação; NAPGD número de alunos da pós-graduação de um docente em particular; NC número de cursos; NCPG número de cursos de pós-graduação; NDMG número de disciplinas ministradas na graduação; NDMPG número de disciplinas ministradas na pós-graduação; NHAMD número de horas-aula ministradas na disciplina; NMA número de meses, ou frações de meses, em afastamento oficial; NMCD número de meses, ou frações de meses, em cargos de direção ou equivalentes; NMEXP número de meses, ou frações de meses, na condição de bolsista de extensão do CNPq; NMFG número de meses, ou frações de meses, em funções gratificadas ou equivalentes; NMPQDT número de meses, ou frações de meses, na condição de bolsista de pesquisa ou tecnologia do CNPq; NTSS número total de titulados em cursos stricto sensu; NTT número total de titulações; p peso dado à importância da orientação no curso; PRk percentual de redução da constante k; RAP relação aluno professor; RT regime de trabalho; TCG taxa de conclusão dos cursos de graduação; TCPG taxa de conclusão dos cursos de pós-graduação; TSS titulado em cursos stricto sensu.

Anexo B - Subscritos.

d valor desejado; i disciplina específica, curso específico ou titulado específico; j curso específico; PQDT produtividade em pesquisa e desenvolvimento tecnológico; EXP extensão; 5 referente a cinco anos antes de um dado ano em questão; 7 cursos com conceito 7.

Anexo C - Abreviaturas.

AE Atitude perante o Ensino; AGD Avaliação Global de Desempenho; AU Atitude perante a Universidade; CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior; CD Cargo de Direção; CNPq Conselho Nacional de Desenvolvimento Científico e Tecnológico; DE Dedicação Exclusiva; EC Esforço de progressão Continuado; ENADE Exame Nacional de Avaliação de Desempenho dos Estudantes; FG Função Gratificada; IDD Indicador de Diferença de Desempenho; IES Instituições de Ensino Superior; IFES Instituições Federais de Ensino Superior; INEP Instituto Nacional de Estudos e Pesquisas educacionais Anísio Teixeira; MADU Método de Avaliação do desempenho de Docentes Universitários; MCT Ministério da Ciência e Tecnologia; MEC Ministério da Educação; PCI Produção Científica e Investigação; PG Pós-Graduação; REUNI Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais; UFBA Universidade Federal da Bahia.

Apêndice A - Avaliação e interpretação de condições de singularidade (indeterminação) do IAD e alternativa linear para os novos elementos do indicador.

A análise da equação (10), repetida abaixo, feita na seção 2 mostrou que o IAD tende a infinito quando se obtém um NAPGD igual 7,5·RT. Na realidade, esta situação ocorre apenas quando o numerador do IAD for diferente de zero, o que equivale a dizer que o docente teve alguma atuação em aulas de graduação.

Se o docente não teve qualquer atuação em aulas de graduação, o indicador tende a uma indeterminação matemática (zero dividido por zero). Neste caso, considerando a resolução desta indeterminação utilizando o teorema de L'Hospital (Ávila, 2003), chega-se a:

Portanto, considerando uma análise matemática rigorosa indicador, a interpretação prática que se pode dar a este resultado é que uma atividade docente mínima em aulas de graduação é sempre indispensável para se alcançar um IAD desejável. Assim, pode ser considerado que cabe a cada instituição, dentro de suas diretrizes e políticas acadêmicas, assumir uma ou outra interpretação do indicador nestas condições. No caso da interpretação rigorosa, onde uma atividade mínima de aulas de graduação é requerida, sugere-se modificar a forma como os meses de afastamento são considerados, de forma que, ao menos neste caso, não haja esta restrição. Neste caso, a equação (19) poderia ser modificada para considerar os meses de afastamento, por exemplo, de maneira aditiva (linear), ao invés da forma não linear tipicamente considerada no RAP proposto pelo MEC:

Alternativamente, se desejado, a consideração de funções de gestão acadêmica e a qualidade individual em atividades de pesquisa e extensão (todas ou algumas) podem também ser incluídas desta forma aditiva, já que não estão previstas na formulação original dos indicadores do REUNI. No caso de se considerarem todas elas de forma linear:

Além da necessidade de participação mínima em aulas de graduação, como já discutido anteriormente, a diferença em considerar estas atividades de forma aditiva, ou da forma como colocado na equação (19), é que, no caso linear, a contribuição destes elementos é linear e limitada, e na equação (19) a contribuição destes elementos cresce hiperbolicamente, podendo ser ilimitada e resultar em um RAP infinito.

• ABRANCHES, P. Ensaio sobre avaliação universitária [S. l.], 2005. Disponível em: <http://jvcosta.planetaclix.pt/artigos/abranches2.html>. Acesso em: 2009.
• ABRANTES, P. et al. Estudo sobre a avaliação dos docentes do ensino superior: desenvolvimento de instrumentos de avaliação de desempenho: relatório final. Setúbal, PT: Faculdade de Ciências da Universidade de Lisboa: Escola Superior de Educação do Instituo Politécnico de Setúbal: Escola Superior de Ciências Empresariais do Instituo Politécnico de Setúbal, 1999.
• ABRAMOWICK, M. Avaliando a avaliação da aprendizagem: um novo olhar. Lúmen, São Paulo, p. 198, 1995.
• ANDRADE, J. B. Normas complementares para Cursos de Pós-Graduação Stricto Sensu (Mestrado e Doutorado) na UFBA Salvador, BA: Câmara de Ensino de Pós-Graduação e Pesquisa, UFBA, 1998.
• BOCLIN, R. Avaliação de docentes do ensino superior: um estudo de caso. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 12, n. 45, p. 959-980, out./dez. 2004.
• BRASIL. Lei nş 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 23 dez. 1996.
• BRASIL. Ministério da Educação. Secretaria de Educação Superior. Reuni: reestruturação e expansão das universidades federais: diretrizes gerais. Brasília, DF, 2007.
• BRASKAMP, L. A.; ORY, J. C. Assessing faculty work: enhancing individual and institutional performance. San Francisco: Jossey-Bass Publishers, 1994.
• COSTA, J. V. Avaliação, acreditação e regulação [S. l.], 2005. Disponível em: <http://jvcosta.planetaclix.pt/artigos/aval_acred_reg.html>. Acesso em: 2009.
• INEP. Cálculo do conceito preliminar de cursos de graduação: nota técnica. Brasília, DF, 2009.
• ______. Enade: perspectiva de avaliação dinâmica e análise de mudança. Brasília, DF, 2006a. v. 2.
• ______. Relatório do Exame Nacional de Desempenho dos Estudantes: Enade 2004. Brasília, DF, 2006b.
• NORMAN, N. Engenharia de sistemas de controle 5. ed. Rio de Janeiro: Livros Técnicos e Científicos, 2009.
• PERES, S. M.; BOSCARIOLI, C. Avaliando disciplinas de graduação pela ótica do docente, do discente e do egresso. Varia Scientia, Cascavel, PR, v. 4, n. 7, p. 25-41, 2004;
• PINTO, J. P.; OLIVEIRA, E. R. Métodos de avaliação do desempenho dos docentes universitários. Ensino Superior, São Paulo, n. 1, p. 7-14, 2004/2005.
• RIOS, M. P. G. Meta-avaliação de docentes no ensino superior Tese (Doutorado) - Pontifícia Universidade Católica de São Paulo, São Paulo, 2004.
• ROYCE, H.; CHARLES, P. Sistemas de controle e realimentação São Paulo: Makron, 1996.
• SANTOS, S. M. Avaliação e acreditação [S. l.], 2007. Disponível em: <http://jvcosta.planetaclix.pt/artigos/sms.html>. Acesso em: 2009.
• SNESUP. Avaliação pedagógica e carreira docente. Ensino Superior, São Paulo, n. 25, jul./ago./set. 2007.

apêndice A

Datas de Publicação

• Publicação nesta coleção
  28 Mar 2011
• Data do Fascículo
  Dez 2010

Histórico

• Recebido
  01 Abr 2009
• Aceito
  21 Set 2010