Onde estão e o que fazem nossos mestres e doutores? Uma reflexão sobre critérios de avaliação da pós-graduação

Onde estão e o que fazem nossos mestres e doutores? Uma reflexão sobre critérios de avaliação da pós-graduação

Ana M. A. Carvalho

Pesquisador-bolsista do CNPq e Professora Associada Aposentada

^{Endereço para correspondência}

Este trabalho apresenta e discute alguns aspectos dos resultados de um projeto de pesquisa sobre o programa de pós-graduação do Departamento de Psicologia Experimental do IPUSP, um dos programas pioneiros de pós-graduação em Psicologia no Brasil, no decorrer de seus primeiros 25 anos de existência -1970-1994. O objetivo principal do trabalho é refletir sobre os rumos do ensino pós-graduado no país, e especialmente sobre a questão da avaliação e suas implicações para o desenvolvimento da pós-graduação em Psicologia e em outras áreas. Sugere-se, a partir de indicações do estudo, a natureza dinâmica e cíclica de um curso, um conceito que permite reflexão e crítica sobre os procedimentos atuais de avaliação. São apresentados dados relativos à população atendida pelo programa, em termos de origem por área de formação, destino profissional após a titulação e avaliação do impacto do programa sobre a atuação profissional posterior. São esboçadas algumas sugestões no sentido de reformular os critérios de avaliação de forma a incluir o indicador mais significativo de eficiência dos programas: o produto final do processo, o aluno formado.

Em 1994, completou 25 anos um dos programas pioneiros de pós-graduação em Psicologia no Brasil: o programa do Departamento de Psicologia Experimental do IPUSP A análise da história desse programa oferece um material muito rico para a reflexão sobre os rumos da pós-graduação no país e especialmente sobre procedimentos de avaliação e suas implicações sobre o desenvolvimento futuro de programas de pós-graduação em Psicologia e em outras áreas.

O presente trabalho baseia-se em dados colhidos no decorrer de um projeto de pesquisa que visou descrever e analisar criticamente esse programa ao longo de seus primeiros 25 anos de existência.¹ São apresentados aqui alguns resultados considerados interessantes para uma reflexão a respeito da questão da avaliação de programas de pós-graduação, obtidos através de questionários respondidos por ex-alunos e alunos e de alguns outros dados sobre a produção do curso.²

Dois tópicos emergem como mais importantes para essa reflexão a partir dos dados obtidos: a questão da natureza dinâmica e cíclica do programa e da compatibilização dessa dinâmica com os momentos e critérios de avaliação, e a questão dos critérios propriamente ditos. Os critérios atuais de avaliação priorizam a produção de dissertações/teses e a produção científica a intervalos fixos e regulares, critérios estes que homogeinizam áreas e sub-áreas qualitativamente diferentes do ponto de vista de tipo e ritmo de produção. O aperfeiçoamento do processo de avaliação requer, a nosso ver, o desenvolvimento de critérios que respeitem a heterogeneidade e ofereçam espaço para inovação - não só pelo valor intrínseco da inovação, como simplesmente por ser esta uma característica própria da natureza dinâmica e histórica dos cursos. Além disso, a produção, seja de dissertações/teses ou científica, é um indicador indireto da qualidade e do desempenho do curso. Diversos resultados obtidos neste estudo, e comunicados em outros trabalhos (Carvalho, 1998; Carvalho, em prep.) indicam que a produção - especialmente de dissertações/teses - é afetada por fatores como ingresso/saída de orientadores (previsíveis a partir de certos intervalos de tempo: contratação de novos docentes em cursos novos, aposentadoria em cursos implantados há mais tempo), prazos de credenciamento de novos orientadores, prazos de conclusão de curso, ou modificações no tipo de demanda, que ocorrem em intervalos que não correspondem necessariamente aos intervalos e critérios de avaliação. A título de exemplo, um orientador recém-credenciado passa a ser incluído como denominador no cálculo da produção de dissertações/teses, embora seja sabido que uma dissertação de mestrado demandará dois a três anos para ser concluída, e portanto que a inclusão desse orientador reduzirá proporcionalmente - e descabidamente, a meu ver-a produtividade do curso, avaliada a cada dois anos.

O indicador mais direto de produtividade, eficiência ou eficácia de um curso é o seu produto, ou seja, o aluno formado. É relevante desenvolver procedimentos que venham a permitir a obtenção de indicadores quantitativos e qualitativos sobre o impacto do curso na sociedade através do desempenho dos alunos. Em última instância - embora em conjunto com uma série de outros fatores - é a demanda de alunos e seu destino posterior que molda os cursos em termos de oferta de conhecimentos e de linhas de pesquisa, de inovação e de transformação dessa oferta. Conhecer a população atendida é, portanto, um primeiro passo essencial para a análise de um curso. O presente trabalho relata os resultados de um esforço nessa direção.

Quem é o Aluno do Programa de Pós-Graduação do PSE-IPUSP entre 1970 e 1994?

O curso em questão foi instalado em 1970, por ocasião da Reforma Universitária, que regulamentou pela primeira vez o ensino pós-graduado no país. Antes de sua instalação, o departamento já oferecia um curso de pós-graduação - que veio a ser conhecido como Regime Antigo - que atendia principalmente egressos de cursos de Psicologia e outros, em sua maioria já vinculados à carreira acadêmica na própria USP ou em outras universidades. Parte desses alunos concluiu o programa no Regime Antigo, enquanto outros, em geral os recém-ingressos, transferiram-se para o Regime Novo. Os dados relatados aqui referem-se a este último grupo e aos alunos que ingressaram posteriormente.

A figura 1 apresenta a distribuição dos alunos, por área de formação, ao longo dos 25 anos. A divisão desse período em fases foi um recurso de análise que visou apreender a evolução do programa. O critério de divisão foi o ingresso de corpo docente no programa, resultando em quatro fases: 1) Implantação: 1970-1973 (cinco orientadores permanentes); 2) Expansão inicial: 1974-1985 (ingresso rápido de sete novos orientadores formados pelo Regime Antigo de Doutorado); 3) Expansão secundária: 1986-1990 (ingresso gradativo de sete novos orientadores, formados pelo programa); 4) Situação atual: 1990-1994 (substituição lenta de docentes).

Estes resultados evidenciam que o programa atendeu prioritariamente, e ainda atende, a egressos de cursos de Psicologia. Atendeu ainda, na fase inicial, a egressos da área de Humanas - Filosofia e Educação - que na ocasião não dispunham de programas mais específicos. A partir da terceira fase, no entanto, observa-se uma diversificação da demanda, especialmente oriunda da área biológica e de paramédicas. Esta diversificação deve-se em parte à consolidação de sub-áreas do programa - Comportamento Animal, Bases Neurobiológicas do Comportamento, ocorrida a partir dessa fase - que ofereceram alternativas de aperfeiçoamento em tópicos complementares à formação básica do aluno - por exemplo, estudo de comportamento animal/ Etologia no caso de formados em Biologia. Ocorreu também um aumento de ênfase da área de Análise do Comportamento Operante em pesquisa aplicada, o que contribuiu para atrair alunos de outras áreas aplicadas (Carvalho, 1998).

Pode parecer, à primeira vista, que essa tendência significa uma mudança de rota do programa no sentido de formar profissionais de área aplicada mais do que pesquisadores e professores, como ocorria nas primeiras fases. A análise de motivos de ingresso pode oferecer algumas pistas a esse respeito (tabela 1).

Dois contrastes são de particular interesse nesta tabela. De um lado, reduziu-se proporcionalmente o número de alegações de carreira como motivo de interesse pelo curso. Isto significa principalmente que, na população que ingressou mais recentemente, é menor - na verdade quase nulo - o número de alunos já vinculados à carreira acadêmica por ocasião do ingresso no curso. Se, em 1970, era relativamente comum o contrato de um auxiliar de ensino sem nenhuma titulação, que atuaria no curso de graduação enquanto esperava ou tinha a oportunidade de fazer estudos pós-graduados, essa situação é hoje muito atípica, até em consequência da evolução dos próprios cursos de pós-graduação, que aumentou a oferta de pessoal titulado. Assim, os alunos ingressos em fases mais recentes muitas vezes ainda não têm vínculo de emprego no ensino; apesar disso, muitos têm intenção de seguir eventualmente carreira universitária e/ou de pesquisa. Por outro lado, as mudanças nas condições gerais de emprego no país para graduados do terceiro grau se reflete no aumento de importância do motivo "bolsa de estudo" para o ingresso na pós-graduação - fazer pós-graduação significa uma atividade remunerada cada vez mais escassa no mercado de trabalho normal. Além disso, até o final da primeira metade da década de 80 a oferta de bolsas era muito mais reduzida, e muitos alunos dessas primeiras fases fizeram seus cursos com recursos próprios, acumulando emprego e estudo. É possível que essa diferença esteja se refletindo ou venha a se refletir também em mudanças na motivação básica de conhecimento que orienta a maioria dos alunos pesquisados: além de aperfeiçoamento profissional, interesse e curiosidade apareceram no período analisado como motivos importantes de ingresso na pós-graduação. Esses resultados indicam a importância de acompanhar a evolução dos cursos e as características dos alunos ingressantes de forma a avaliar a adequação dos cursos à demanda e a refinar procedimentos de seleção de alunos, que são outros aspectos do que apontamos acima como a natureza dinâmica e cíclica dos cursos.

Para Onde Vai o Aluno Formado?

Esta é, a nosso ver, a medida mais relevante sobre a eficácia do curso em termos de seu impacto social. O objetivo central da pós-graduação stricto sensu é a formação de docentes e pesquisadores para o ensino superior, qualificando-os de forma a elevar o nível do ensino de graduação e a multiplicar centros de pesquisa pelo país. Na década de 70, quando o programa foi criado, havia uma demanda reprimida de formação pós-graduada entre os docentes de cursos superiores no país que, nas áreas cobertas pelo programa de Psicologia Experimental, foi significativamente canalizada para este programa. Essa demanda ocorreu inclusive no próprio departamento, que formou ao longo dessa década um número elevado de docentes contratados originalmente sem titulação.³ Com o aumento das exigências de titularidade para a carreira universitária, essa situação tendeu a se modificar, mas os alunos continuaram a encaminhar-se basicamente para as universidades após a titulação, como mostra a tabela 2.

A maciça maioria de ex-alunos do programa, como evidencia a tabela, profissionalizou-se (ou manteve-se) na carreira académica, confirmando a vocação do programa para a formação de docentes/pesquisadores. Entre os que obtiveram Doutorado, não há nenhum caso de abandono da atuação em Psicologia. Entre os Mestres, um certo número está atualmente cursando Doutorado e sem outra vinculação profissional. A mesma tendência se verifica nas respostas de 36 alunos que cursavam o programa por ocasião da coleta: 63,8% manifestaram intenção de profissionalizar-se em ensino superior e pesquisa, e outros 22% gostariam de acumular ensino/pesquisa com atuação em área aplicada; apenas 5,5% declararam interesse prioritário por áreas aplicadas.

Entre as 27 instituições de ensino superior/ pesquisa que receberam alunos titulados pelo programa contam-se 15 instituições federais (14 universidades e um instituto de pesquisa), 4 universidades estaduais e 8 particulares, entre as quais 3 universidades católicas. A contribuição do curso foi portanto principalmente para instituições públicas. A figura 2 ilustra essa distribuição e alista as instituições respectivas. A maior densidade, como seria de esperar, é no Estado de São Paulo, onde foram atingidas as três universidades estaduais, incluindo dois campi da USP e sete da UN ESP. No entanto, é também significativa a contribuição para as principais universidades federais do país, onde, em vários casos, novos programas de pós-graduação estão sendo implantados nos últimos anos com participação expressiva de ex-alunos do programa de Psicologia Experimental da USP.⁴

Avaliação do Curso pelo Aluno

A avaliação dos cursos de pós-graduação pelas agências oficiais baseia-se principalmente na quantidade e ritmo de produção. Há poucos indicadores qualitativos sobre o desempenho dos cursos em termos de relevância do elenco de disciplinas, qualidade da orientação e da infraestrutura e outros componentes que em geral são avaliados apenas de forma quantitativa e estereotipada (por exemplo, número de alunos por orientador), sem levar em conta especificidades das áreas e subáreas. A avaliação de um curso pelos alunos envolve, como se sabe, muitos fatores subjetivos e circunstanciais, mas pode ser um elemento valioso para o conhecimento sobre o curso, já que é o aluno quem conhece melhor seu cotidiano.⁵

Os resultados descritos a seguir baseiam-se em questionários respondidos por uma parte dos ex-alunos do programa de Psicologia Experimental do IPUSP (97 questionários, de um total de 170 ex-alunos que foi possível localizar) e por alguns alunos que cursavam o programa por ocasião da coleta (entre 29 e 34, dependendo da questão, de um total de 150 questionários distribuídos).

As perguntas relevantes no primeiro caso eram:

1) Qual foi a contribuição do curso para sua atuação profissional em termos de: qualidade de desempenho, motivação para o trabalho e posição na carreira? (Dê notas crescentes de 0-4 a cada um desses aspectos).

2) Avalie com uma nota de 0-4 a contribuição, para sua formação, de: disciplinas, exame de qualificação, trabalho de dissertação/tese.

3) O curso contribuiu principalmente: para sua formação geral, para a formação em sua área específica de atuação, ou por ter lhe dado um título? (Hierarquize esses três aspectos)

Nos três aspectos referentes à primeira questão as médias foram um pouco superiores a 3, na seguintes ordem: 3,3 para desempenho, 3,2 para posição na carreira e 3,0 para motivação (N= 97 ex-alunos). A contribuição do trabalho de dissertação/tese foi avaliado como mais importante, seguido pelas disciplinas e pelo exame de qualificação.

O tipo principal de contribuição do curso é apresentado na figura 3.

As avaliações de ex-alunos são portanto predominantemente positivas (acima de 3,0, ou entre Bom e Ótimo) e enfatizam a contribuição do curso em termos de formação geral. Essa última característica pode ser facilmente compreendida devido às origens do curso nas disciplinas obrigatórias de graduação englobadas originalmente sob a denominação "Psicologia Experimental", mas que cobriam uma variedade de temas -aprendizagem, motivação, sensação e percepção e comportamento animal, além de história e filosofia da ciência e história da Psicologia - e que resultaram em sua diversidade de áreas, unificadas principalmente pela postura em relação à ciência e à produção de conhecimento; essa diversidade tem sido questionada pelos procedimentos usuais de avaliação, que tenderam a valorizar programas com abordagens teóricas fechadas e tópicos restritos de pesquisa. Parece evidente, no entanto, que uma formação geral, que instrumentalize o aluno para o exercício crítico, científico e criativo de sua profissão em diversas disciplinas e temas, e para uma atuação inovadora e ajustada a condições e necessidades regionais, é mais desejável para os objetivos básicos da pós-graduação em Psicologia do que a formação de especialistas teóricos, temáticos ou metodológicos. A evolução recente de programas de pós-graduação em outras instituições de ensino superior no país confirma esta premissa: a flexibilidade é um requisito essencial quando a massa crítica de pesquisadores ainda é pequena e as áreas de pesquisa estão em fase de implantação ou consolidação inicial, como é o caso na maior parte das regiões do país. O benefício desse tipo de evolução para o ensino superior no país pode ser avaliado através da participação de alunos de graduação e de pós-graduação em trabalhos científicos comunicados em eventos ou em publicações, um dado que não é focalizado no presente trabalho, mas que, de acordo com diversas fontes, tem sido crescente nos últimos dez anos e poderia ser objeto de um levantamento específico.⁶

A formação em área específica foi menos apontada, em média menos do que a titulação, que na maioria dos casos foi colocada em 2o. lugar em termos de importância. Esta avaliação é compreensível considerando-se a pressão crescente por titulação na carreira universitária.

Aos alunos que estavam cursando o programa por ocasião da coleta de dados pediu-se uma avaliação mais particularizada das condições de trabalho oferecidas pelo curso, além de uma avaliação da importância dos três componentes do programa (disciplinas, exame de qualificação e dissertação/tese). A tabela 3 apresenta as notas médias (em uma escala de 0 a 4) para cada aspecto avaliado e para o curso como um todo. O número de respondentes é indicado entre parênteses, já que variou de pergunta para pergunta.

Da mesma forma que no caso da avaliação por ex-alunos, há uma valorização maior do trabalho de dissertação/ tese, seguido com igual ênfase pelos dois outros componentes do programa. A maioria das médias sobre as aspectos particulares do curso fica acima de 3,0, ou seja, entre Bom e Otimo. Chamam atenção principalmente as notas atribuídas à orientação e às relações interpessoais. Notas entre 2 e 3 (Regular) foram atribuídas a oferta de disciplinas, infraestrutura administrativa e de pesquisa, e produção científica do programa. Essas avaliações podem ser tomadas como indicadores de consciência crítica e expectativas altas do aluno em relação a suas condições de trabalho, já que por ocasião da coleta estas já estavam bastante melhoradas em contraste com fases anteriores, principalmente no que se refere ao acesso de alunos a equipamentos de informática. Quanto à oferta de disciplinas, é possível que a avaliação reflita um outro tipo de mudança no perfil de curso: segundo dados deste projeto, há uma oferta regular de 6 a 10 disciplinas por período letivo, o que seria em princípio suficiente para absorver a demanda; no entanto, essa oferta é bastante diversificada por sub-área de pesquisa. Por outro lado, ao longo do tempo a demanda tendeu a se especializar, concentrando-se nas sub-áreas, o que pode implicar escassez de oferta em certas sub-áreas. Implica também uma mudança de modelo cujas consequências para o programa ainda não podem ser bem avaliadas: se o aluno tende atualmente a não passar por todas as sub-áreas, a natureza de sua formação pode estar deixando de ser a formação geral enfatizada pelos ex-alunos, e se concentrando na formação na área específica de pesquisa. Esta tendência é reforçada por um outro fator: com o encurtamento dos prazos, especialmente de Mestrado, as exigências de créditos em disciplinas foram reduzidas. Cursando apenas três ou quatro disciplinas, é provável que o aluno tenda ainda mais a se concentrar em sua área pré-definida de interesse.

Observa-se, portanto, que mesmo com esta pequena amostra e procedimentos tentativos, a avaliação pelos alunos - tanto os já formados como os atuais - pode dar indicações valiosas e mais qualitativas sobre o desempenho do curso e monitorar o investimento de esforços em seu aperfeiçoamento e ajustamento a novas condições de funcionamento. Em contraste, as avaliações usuais baseadas em ritmo de produção nem sempre permitem identificar os processos subjacentes a alterações no desempenho de um curso. A título de exemplo, a fase 4 do programa aqui analisado - correspondente ao período entre 1990 e 1994 - caracterizou-se por queda na produção de dissertações/ teses, mas aumento de produção científica (comunicações e publicações). Essas mudanças refletem, pelo menos em parte, alterações no corpo docente no período em questão , com saída de alguns docentes e lenta substituição por novos orientadores -que, no entanto, contribuíam para a produção científica do curso mesmo antes de seu credenciamento (Carvalho, 1998; Carvalho, em prep.). Nas avaliações CAPES desse período, parece ter pesado mais a redução da produção de teses do que o aumento de produção científica, já que os conceitos caíram de A para B + . Como levar em conta nas avaliações a natureza dinâmica dos cursos e seus ciclos de produtividade?

Como Avaliar os Cursos de Pós-Graduação?

A experiência do presente projeto revelou as dificuldades envolvidas na coleta de dados a respeito da atuação profissional dos alunos após a titulação, um indicador que considero fundamental para a avaliação dos programas de pós-graduação stricto sensu. Não existem registros sistemáticos e centralizados nem sobre o destino profissional nem sobre a atuação e produção dos egressos. A coleta dos presentes dados - ainda muito incompleta - só foi possível devido às circunstâncias pessoais desta pesquisadora, ao contato com orientadores e pesquisadores deste e de outros programas que dispunham de alguma informação, e a procedimentos de distribuição de questionários que envolveram relações pessoais com ex-alunos.⁷

Talvez por se tratar de um programa pioneiro - implantado imediatamente após a Reforma Universitária que criou o Regime de Pós-graduação - a documentação a respeito do programa é assistemática e de difícil acesso. Por exemplo, não foi possível obter dados de arquivo sobre desempenho individual de alunos, prazos de realização do curso, bolsas, incidência de abandono, oferta de disciplinas por semestre/ano e outros indicadores que poderiam ser aproveitados na análise. Esses dados não estavam informatizados e só constavam de arquivos mortos inacessíveis na ocasião da coleta. Registros sistemáticos a respeito da produção científica do programa também só estavam parcialmente disponíveis, e suas informações eram frequentemente insuficientes para uma análise mais detalhada. Não existiam registros sistemáticos sobre a produção de alunos e ex-alunos não assinada por docentes/ orientadores. É de esperar que essas deficiências venham a ser minimizadas no caso de novos programas, implantados já na era da informatização.

A eficácia do questionário para alunos que ainda cursavam o programa foi muito baixa: 37 questionários foram respondidos, de um total de 150 distribuídos através de quatro diferentes procedimentos. O retorno de questionários de ex-alunos foi maior (97/170) mas viesado: o retorno foi mais significativo por parte de ex-alunos vinculados a instituições de ensino superior e/ou que tinham algum grau de relacionamento com a pesquisadora. Como alternativas para a obtenção desse tipo de dados sobre os alunos, sugere-se a criação de bancos de dados a serem alimentados com informações colhidas no momento de conclusão do curso (após a defesa), recuperando informações de cadastro (como data de ingresso, formação na graduação, atividade anterior) e atualizando itens gerais e de avaliação (duração do curso, bolsa, produção científica no decorrer do curso, expectativa profissional, motivos de ingresso versus avaliação etc.)

O Conselho Federal de Psicologia e a Sociedade Brasileira de Psicologia poderiam desempenhar um papel importante no sentido de recuperar dados sobre atuação profissional após a titulação e consequentemente contribuir para a avaliação dos cursos de pós-graduação. O Conselho dispõe de dados de cadastro relativos a todos os psicólogos brasileiros registrados; entre estes, uma parte terá feito cursos de pós-graduação, cuja natureza e origem pode ser registrada no cadastro. A análise sistemática e periódica de dados relativos à formação e ao exercício atual permitiria mapear o impacto social dos cursos de pós-graduação nas várias áreas da Psicologia, apesar da restrição de que muitos professores universitários em regime de dedicação exclusiva não se filiam ao Conselho. Complementarmente, a Sociedade Brasileira de Psicologia agrega a grande maioria dos profissionais do ensino superior, além de uma parte dos profissionais de outras áreas. Segundo dados obtidos neste projeto, quase 50% das comunicações científicas do programa são apresentadas à Reunião Anual da SBP Esta amostragem, que possivelmente é representativa também para outros programas, justifica o registro de dados a respeito de formação graduada e pós-graduada nas fichas de inscrição da Reunião, que constituiriam assim um banco de dados centralizado e relevante sobre o impacto dos cursos de graduação e pós-graduação sobre a produção científica em Psicologia no país, outro indicador potencialmente valioso para a avaliação desses cursos.

• Carvalho, A. M. A. (1998). Pós-graduação em Psicologia: PSE-IPUSP 25 anos (1970-1994). Resumos da XXVIII Reunião Anual de Psicologia, SBP, Ribeirão Preto, SP, p. 69.
• Carvalho, A. M. A. Produção da pós-graduação: Critérios de descrição e avaliação. Submetido a Educação Brasileira

1

"25 anos de pós-graduação no PSE-IPUSP: Descrição, análise e crítica", Subsidiado por bolsa de produtividade do CNPQ, 1994-1997.

2

Um informe detalhado a respeito de procedimentos metodológicos do trabalho é apresentado no relatório final do projeto, disponível na Biblioteca do IPUSP.

3

Há indícios de que esse pro-universidades com mestrados criados mais recentemente (Comunicação pessoal de M.M.P.Rodrigues, a respeito do Mestrado em Psicologia da UFES).

4

Entre os mais recentes, os programas da UFPA, da UFES e da UFSC.

5

Em minha experiência anterior, tanto de participação em comissões de reformulação de currículo como em um projeto de pesquisa sobre cursos de graduação em Psicologia, verifiquei concretamente que o aluno tem, em geral, uma visão mais global e mais atualizada sobre o curso do que os docentes isoladamente, e que esta visão frequentemente difere deforma significativa daquela que é oferecida por documentos de arquivo, como oferta e ementas de disciplinas.

6

Dados a respeito de participação de alunos em comunicações em congressos e em publicações serão analisados em outro artigo produzido a partir deste projeto (Carvalho, A.M.A. Produção da pós-avaliação.Submetido a Educação Brasileira.

7

Apesar das limitações, os dados sobre destino profissional referem-se a 65% dos alunos formados no período considerado (307), uma amostra usualmente considerada significativa.

Datas de Publicação

• Publicação nesta coleção
  14 Set 2012
• Data do Fascículo
  1999