Teses e dissertações: a qualidade em questão. Desdobramentos

Theses and dissertations: quality in question. developments

ARTIGOS

Teses e dissertações: a qualidade em questão. Desdobramentos^*

Theses and dissertations: quality in question. developments

Newton Cesar Balzan

Pós-Doutorado – Boston University, USA. Professor Titular da PUC-Campinas, atualmente vinculado à Pró-Reitoria de Graduação. Professor Voluntário da Faculdade de Educação da Unicamp. Campinas, São Paulo, Brasil. E-mail: [e-mail]

RESUMO

A pesquisa educacional vem registrando forte crescimento nas últimas décadas. Há dúvidas, porém, sobre a qualidade dessa produção e de seus posteriores desdobramentos. Este estudo faz parte de uma pesquisa mais ampla que teve como objetivo principal avaliar a qualidade de teses e dissertações defendidas entre 2000 e 2004, cujo foco de investigação envolveu 13 cursos de graduação correspondentes a 7 grandes áreas do conhecimento. Levantamento junto a bases de dados permitiu localizar 436 trabalhos direcionados à Educação Superior. Desses, 36 deles foram considerados como os mais relevantes para a investigação pretendida. Para o presente artigo, após leituras e releituras desse material, passou-se à análise por unidades, tendo-se como referência 10 categorias levantadas através do exame detalhado de 12 trabalhos selecionados aleatoriamente. Os resultados obtidos apontam para níveis de qualidade superiores àqueles que este pesquisador tinha como pressuposto inicial. Os autores foram entrevistados, procurando-se identificar os desdobramentos de suas pesquisas em termos de divulgação dos resultados, contribuição para a Educação Superior e desenvolvimento de suas carreiras acadêmicas.

Palavras-chave: Pós-Graduação. Teses e dissertações. Educação superior.

ABSTRACT

Educational research presented strong growth in the last decades. However, there are doubts about the quality of this production and of its further developments. This study is part of a broader research having as main purpose to evaluate the quality of theses and dissertations defended between 2000 and 2004 whose focus of investigation were 13 undergraduate programs in seven fields of knowledge. A survey on data bases permitted to locate 436 works related to higher education, of which 36 were considered as the most relevant for this research. For the present paper, after the readings and re-readings of the material, we made an analysis by units, having as reference 10 categories defined after detailed examination of twelve works randomly selected. The results obtained indicated levels of quality superior to those previously hypothesized. The authors were interviewed in order to identify the developments of their researches in terms of publication of results, contribution to higher education and advancement of their academic careers.

Keywords: Graduate studies. Theses. Dissertations. Higher education.

Introdução

A pesquisa educacional vem registrando forte crescimento ao longo das duas últimas décadas. Centenas de dissertações e teses foram defendidas, tendo como temática principal a educação superior. Há dúvidas, porém, sobre a qualidade dessa produção e sobre seus desdobramentos – em termos de divulgação e aproveitamento dos resultados, assim como de carreira acadêmica de seus autores. Some-se a isto o fato de o senso comum vir apontando para a ineficácia da produção acadêmica sobre o desenvolvimento da qualidade da educação superior, em nível de graduação.

Se por um lado a constatação de que a educação superior ainda deixa muito a desejar em termos de qualidade não é surpreendente, por outro lado, a constatação de que a produção acadêmica, especialmente no que se refere a dissertações e teses também não esteja satisfazendo às expectativas da comunidade acadêmica, constitui como algo novo e muito preocupante.

O baixo nível de exigência por parte de alguns orientadores, ao lado da pressão de tempo por parte da CAPES – por exemplo -, acabam dando origem a trabalhos mal estruturados, com sérios erros de redação e incompletos. É de se supor que na maioria dos casos, com um pouco mais de tempo disponível, muitos trabalhos considerados como apenas regulares poderiam atingir níveis mais altos, passíveis de serem classificados como bons e mesmo como muito bons. Se de fato as Agências de Fomento devem ser exigentes quanto ao tempo de duração das bolsas, é de se supor que aos candidatos a mestrado e doutorado deveria ser concedido o tempo que fosse necessário para a conclusão de trabalhos que somente pudessem ser classificados como excelentes. Dito de outra forma: nos casos em que os estudantes de pós-graduação não concluíssem suas pesquisas no tempo determinado por uma determinada Agência de Fomento, deveria ser dada a eles a oportunidade de prosseguir em suas investigações às próprias expensas.

Desenvolvendo-se o presente Projeto pretendeu-se melhor investigar estas questões, tomando como referência parte da produção científica que gerou dissertações e teses sobre a educação superior no Brasil durante o período 2000 - 2004 em 13 cursos de 7 grandes áreas do conhecimento, conforme distribuição adotada pelo CNPq.

Justificativa

É inegável a contribuição da pós-graduação para o avanço da ciência, da tecnologia, das letras e artes no Brasil a partir do início dos anos 1970. Inúmeros estudos foram realizados nas mais diversas áreas do conhecimento, dando origem a dissertações de mestrado e teses de doutorado que devem merecer atenção por parte dos pesquisadores.

No entanto, há sérias críticas quanto à qualidade de grande parte dessa produção, pondo em questão aspectos básicos, que abrangem da coerência entre os objetivos propostos e os procedimentos metodológicos utilizados, à articulação entre os capítulos, chamando a atenção para a falta de cuidado ou despreparo por parte dos autores e orientadores. O aspecto redação sempre vem à tona, cobrindo um continuum que vai do resumo – e abstract – às conclusões, passando pela análise de tabelas e gráficos, explicitação de metodologia e exposição dos resultados alcançados.

Ouve-se muitas críticas e reclamações, mas lê-se pouco a respeito, provavelmente devido ao fato de serem muito raras as pesquisas que focalizam a questão da qualidade ⁽¹⁾ da produção em nível de pós-graduação.

Este trabalho visou suprir, respeitando-se suas limitações, parte desta carência, através da análise de considerável acervo, decorrente de pesquisas em nível de pós-graduação, abrangendo 7 grandes áreas do conhecimento e 13 cursos de graduação.

Frequentemente é posto em dúvida o real significado da produção científica na área de educação superior, para o avanço da qualidade do ensino e aprendizagem no dia-a-dia da vida universitária. Faz parte do senso comum afirmar que "as teses e dissertações acabam ficando com as bancas e depositadas nas bibliotecas das instituições. A partir daí, nada de novo é gerado" .

A experiência que o autor desta proposta teve ao orientar uma dissertação de mestrado que focalizou a questão da divulgação da pesquisa acadêmica numa determinada IES veio confirmar aquilo que diz o senso comum. No entanto, não se pode afirmar se de fato ele tem procedência ou não, através de um único estudo. A ampliação do universo pesquisado trouxe novas informações a este respeito. Por isso, o estudo contempla contatos com os autores do acervo analisado de modo a levá-los a explicitar suas apreciações a respeito da divulgação e aproveitamento dos estudos que realizaram.

Há inúmeros trabalhos já publicados sobre Educação Superior, muitos deles voltados para a questão da qualidade do ensino junto a diferentes áreas e cursos. No entanto, faltam estudos direcionados à identificação de problemas comuns detectados neste nível de escolaridade, assim como a identificação de propostas alternativas para que uma melhoria considerável possa ser alcançada junto a ele.

Se por um lado o ensino é apenas uma parcela daquilo que caracteriza o período universitário e a metodologia do ensino apenas uma pequena parte do ensino, visto de modo geral, ambos são interligados e constituem aspectos fundamentais do período de graduação. Da mesma forma como foi destacado mais acima, faltam estudos voltados para a produção nesta área, isto é, que focalizem aquilo que vem sendo produzido sobre Educação Superior e suas respectivas metodologias de ensino.

Sem pretender atingir generalizações, justifica-se este estudo pela possibilidade de estimular outros pesquisadores a empreenderem análises semelhantes em outras áreas e/ou cursos, atingindo-se, a médio prazo, a possibilidade de se alcançar algumas generalizações tornando possível identificar os pontos que constituem verdadeiros gargalos na produção da pós-graduação.

Problema. Objetivos

O tema Teses e dissertações: a qualidade em questão. Desdobramentos, suscita uma série de questões que têm como eixo principal a questão da qualidade e as relações entre pesquisa e ensino.

Qualidade, que implica correção de linguagem, abrangendo do resumo e abstract à descrição dos resultados obtidos e à exposição das conclusões; descrição precisa sobre revisão da literatura relacionada ao estudo desenvolvido, clareza sobre os processos utilizados na seleção dos sujeitos e no tratamento dos dados; estabelecimento de relações entre o problema proposto e os objetivos – gerais e específicos -; tratamento correto dos dados obtidos, implicando comparações e conclusões parciais; elaboração correta de uma síntese abrangendo o conteúdo constante das partes e capítulos relatados.

Pesquisa, circunscrita aqui à produção de dissertações e teses em nível de pós-graduação e ensino, entendido neste trabalho como ensino superior – em salas de aulas, laboratórios, elaboração de trabalhos e outras atividades, em nível de graduação.

Muitas críticas são feitas sobre a desarticulação entre pesquisa e ensino e vice-versa. Não somente em nível de ensino e aprendizagem observa-se uma desarticulação –"informa-se na graduação para se formar na pós-graduação" – como também em termos de produção acadêmica, em que as queixas, bastante frequentes, vêm no sentido de que a mesma "fica nas gavetas".

Faltam estudos sobre essas relações-desarticulações, de modo a se passar do senso comum para afirmações fundamentadas em trabalhos já concluídos que incluem, como um dos problemas – senão o principal deles – a existência ou não dessas relações.

Uma série de questões foram propostas a partir destas considerações:

• As teses e dissertações selecionadas para estudo identificam com clareza os pontos que favorecem e que desfavorecem o desenvolvimento do ensino e aprendizagem em nível satisfatório?

• Quais os pontos de convergência e divergência podem ser constatados através da análise da produção de diferentes autores de um mesmo curso, assim como de diferentes áreas e cursos?

• Quais os desdobramentos – em termos de divulgação dos resultados e de carreiras acadêmicas - das dissertações e teses após suas conclusões?

• Que conclusões gerais podem ser extraídas a partir da análise de um número considerável de dissertações e teses direcionadas ao estudo da Educação em nível superior?

Conforme foi assinalado no tópico anterior, além destas questões direcionadas à Educação Superior, existe um consenso segundo o qual a produção acadêmica tem deixado muito a desejar em termos de qualidade. Desta maneira, concentrei minha atenção na questão da qualidade das obras selecionadas. Sem pretender dar a palavra final sobre trabalhos já aprovados em exames de qualificação e defesa, sem pretender – absolutamente - pôr em destaque nomes de autores e de orientadores – levantei uma série de questões para o exame desta produção:

• Qual a porcentagem dos trabalhos selecionados para análise passíveis de serem considerados como excelentes quanto à qualidade?

• Quais os problemas mais comuns que tendem a desqualificar a produção acadêmica? Redação? Sob que aspectos? Articulação entre os capítulos? Coerência entre objetivos e procedimentos metodológicos?

• Onde e sob que aspectos as teses e dissertações diferem entre si?

Estas são algumas das questões investigadas e que contribuíram para explicitar os objetivos que norteiam a presente proposta.

O objetivo geral do estudo desenvolvido foi assim enunciado: analisar teses de doutorado e dissertações de mestrado defendidas no Brasil durante o período 2000 a 2004 e entrevistar seus autores, de forma a contribuir para o esclarecimento de questões relativas:

• à qualidade desta produção;

• aos desdobramentos posteriores às defesas, em termos de divulgação dos resultados obtidos e de carreiras acadêmicas de seus autores;

• às relações entre pesquisa acadêmica e Educação Superior.

A partir deste objetivo geral, foram elencados uma série de itens ou objetivos específicos:

• Identificar pontos comuns e aspectos divergentes na produção acadêmica direcionada à Educação Superior;

• Identificar fatores que facilitam e que dificultam a divulgação e o aproveitamento dos resultados de dissertações e teses;

• Contribuir junto aos órgãos de fomento, oferecendo os resultados de um trabalho avaliativo da produção acadêmica;

• Oferecer contribuição aos programas de mestrado e doutorado que apresentam áreas de concentração e/ou linhas de pesquisa voltadas para a Educação Superior;

• Contribuir para a pesquisa educacional através do método utilizado no estudo desta produção.

Como decorrência da ação que seria desenvolvida emergiu, paralelamente, outro objetivo:

Contribuir para o desenvolvimento da qualidade da pesquisa em nível de pós-graduação,

• promovendo uma avaliação desta produção, a partir da identificação dos problemas mais comuns encontrados;

• identificando os fatores que contribuem positivamente e que dificultam a produção acadêmica em nível de excelência;

• identificando aquilo que se apresenta como marcantemente positivo e marcantemente negativo nesta produção acadêmica;

• especificando pontos e/ou aspectos básicos que permitem classificar os dois níveis de pós-graduação, sem pretender traçar limites rígidos entre mestrado e doutorado.

Procedimentos metodológicos

Trata-se de uma pesquisa qualitativa, contando com poucos e bastante simples aspectos quantitativos: quantas teses e dissertações foram acessadas; distribuição do material por áreas de conhecimento e cursos; tabulação simples dos achados.

A proposta toma como primeira referência a pesquisa desenvolvida em nível de doutorado por Gamboa (1987), que se debruçou sobre 102 dissertações e teses analisando-as sob o ponto de vista epistemológico.

Baseia-se em autores que privilegiam as pesquisas qualitativas e realizam estudos sobre análise de textos – Bakhtin (2000); Bardin (1979); Bogdan e Biklen (1998); Maingueneau (1989); Orlandi (1991, 1992); Soltis (1990); Weusthof (1995); Zeichner (1995) – e entrevistas – Appleton (1995); Kvale (1996); Mucchielli (1994); Pádua (2002).

Foram feitas leituras e releituras de 36 teses e dissertações, predominando as primeiras (58,3%) sobre as segundas. Representam 8,26% do material levantado, isto é, 436 dissertações e teses defendidas no período 2000 a 2004, voltadas para o ensino superior. A seleção dos 36 trabalhos foi realizada a partir da leitura dos resumos da totalidade encontrada.

Cumpre destacar, a propósito deste acervo, os seguintes pontos:

a) a referida produção foi levantada a partir das seguintes bases de dados: BRASED (INEP); Portal de Teses da CAPES; IBICT; Biblioteca Nacional; UNIBIBLIWEB (USP, UNESP, UNICAMP) e COMUT.

b) os trabalhos levantados – formando dois volumes com 538 páginas – contém informações sobre os seguintes pontos: a) Área; b) Nome do autor, título do trabalho, data de defesa; c) número de páginas, nível (mestrado ou doutorado), nome da Instituição em que o trabalho foi realizado, área de concentração, nome do(a) orientador(a) e indicação sobre a biblioteca na qual o mesmo foi depositado; d) palavras-chave; e) área(as) do conhecimento; f) nomes dos membros das bancas examinadoras; g) especificações sobre a(s) linha(s) de pesquisa; h) agência(s) financiadora(s) do(a) autor(a) da tese/ dissertação; i) idioma; j) especificação sobre a dependência administrativa; k) resumo.

Trata-se de produção referente às seguintes áreas de conhecimento e cursos de graduação: Ciências Exatas e Ciências da Terra: cursos de Matemática e Geologia; Engenharias: Engenharia Civil e Engenharia Elétrica; Ciências Biológicas: curso de Ciências Biológicas; Ciências da Saúde: Medicina e Educação Física; Ciências Humanas: História e Psicologia; Ciências Sociais Aplicadas: Direito e Jornalismo; Letras, Linguística e Artes: cursos de Letras e Artes Visuais.

São áreas e cursos focados com representação nas instituições em que este autor é docente-pesquisador, de modo a estabelecer, futuramente, elos de ligação com a qualidade da docência. Esta escolha pode ser justificada, também, a partir do significado que cada um dos cursos acessados tem para o conjunto das áreas e cursos existentes na maioria das IES. Inicialmente foram analisadas 6 dissertações e 6 teses, escolhidas aleatoriamente, representando 1/3 da produção total a ser pesquisada. Este trabalho permitiu levantar as seguintes categorias de análise:

Formato geral:

1. Nível; Título; Autor; Instituição; Ano.

2. Resumo; Abstract; Súmula.

3. Partes.

4. Capítulos.

5. Referências bibliográficas;

6. Bibliografia.

7. Anexos.

8. Número de páginas.

Análise qualitativa:

Análise, avaliação e comentários sobre:

1. Resumo: correção de linguagem; oferecimento ao leitor de uma idéia geral e clara sobre o estudo; apresentação, de forma sucinta: problema; objetivos; metodologia utilizada; resultados obtidos; Abstract: qualidade da versão para o inglês e outras línguas; comentários.

2. Metodologia: revisão da literatura; definição do problema de pesquisa; metodologia utilizada; instrumentos de coleta usados; sujeitos; tratamento dos dados; redação (fluência do texto; correção de linguagem; exemplos de erros); comentários.

3. Discussão dos dados obtidos: tratamento; comparações; conclusões parciais; redação (idem, como acima); comentários.

4. Resultados obtidos: relacionamento entre o problema e os objetivos traçados; redação (idem); comentários.

5. Conclusão: constitui ou não uma síntese daquilo que foi desenvolvido nos itens anteriores; avanços em relação àquilo que já foi apresentado nos capítulos anteriores; redação; comentários.

6. Capítulos: articulação entre eles; relações com o tema central; redação; comentários.

7. Referências bibliográficas: comparação entre as referências a autores feitas ao longo dos capítulos e aquelas que constam no tópico

   Referências bibliográficas.

8. Anexos: conteúdos; adequação ao texto principal.

9. Apreciação sobre o trabalho como um todo: relevância da pesquisa para a área de conhecimento, para a educação, para a própria pesquisa educacional. Comentários livres

Análise quantitativa

Para análise dos seis itens abaixo descritos foram atribuídos valores a cada um deles, considerando-se a escala: 5 (maior valor) = excelente; 4 = bom;

3 = regular; 2 = fraco; 1= ruim (menor valor). Para o cálculo da média foram somados os resultados da multiplicação do valor atribuído a cada item pelo peso estabelecido: item 1 = peso 1; item 2 = peso 2; item 3 = peso 2; item 4 = peso 2; item 5 = peso 1; item 6 = peso 2, dividindo-se, em seguida, o resultado da soma por 10.

Os seis itens foram:

1. Resumo: .... (valor atribuído) x 1 (peso) = ....

2. Redação: .... (valor atribuído) x 2 (peso) = ....

3. Estrutura geral, inclusive sob aspecto estético (distribuição das partes e capítulos; articulação entre os capítulos; referências bibliográficas; bibliografia; anexos): .... (valor atribuído) x 2 (peso) = ....

4. Metodologia/procedimentos metodológicos, inclusive tratamento dos dados e discussão: .... (valor atribuído) x 2 (peso) = ....

5. Conclusão: .... (valor atribuído) x 1 (peso) = ....

6. Relevância do tema e seu desenvolvimento para a educação superior: .... (valor atribuído) x 2 (peso) = ....TOTAL: .... (somatório dos valores atribuídos):10 = .... (Média ou Valor final)

Além deste autor trabalharam na análise das teses e dissertações um assessor e três auxiliares de pesquisa – sendo um deles o próprio assessor - que foram devidamente preparados para isto e contribuíram para a definição da escala de avaliação, inclusive dos pesos que deveriam ser atribuídos a cada um dos itens. Reuniões freqüentes com um ou com todos os participantes foram realizadas ao longo do período em que o trabalho foi desenvolvido.

Considerou-se como indispensável, além do suporte nos autores acima citados, consultas a autores que centraram suas produções nas áreas de conhecimento e cursos – ou disciplinas -, a elas correspondentes. Vejamos alguns deles: Balzan (1995); Balzan (1994); Banco Mundial (1995); Batista; Silva (1998); Bazzo (1998); Bianchini (1996); Hossne (1994); Kawamura (1979); Schuller (1991); Time (1999a, 1999b, 2000).

Cada tese ou dissertação foi analisada por dois auxiliares que atribuíram valores conforme escala explicitada a seguir. Nos casos em que as médias variavam até 20%, este autor reexaminava os pareceres e atribuía a média final. Nos casos em que a variação das médias finais ultrapassava 20%, um terceiro membro era chamado para efetuar mais uma leitura, atribuindo seus próprios valores e média final, respeitando àquilo que terá sido atribuído pelos dois primeiros analistas.

Foram considerados excelentes os trabalhos que obtiveram médias finais entre 4,5 e 5,0; bons, entre 3,6 e 4,4; regulares, de 2,5 a 3,5; fracos, de 1,6 a 2,4; ruins, de 1,0 a 1,5.

Entrevistas

Parte dos procedimentos metodológicos diz respeito a contatos com os autores dos trabalhos selecionados que foram entrevistados com base em roteiro especificamente elaborado para este fim e fundamentado nas análises até então já realizadas.

O roteiro de entrevistas continha as seguintes categorias traçadas a partir da análise de suas teses e dissertações:

1. Dados pessoais: nome; instituição de defesa; instituição de atuação atual; apoio por parte da própria Instituição e/ou de Agências de Fomento.

2. Divulgação dos resultados: A) Apresentação oral: locais; datas; receptividade; principais questões levantadas durante ou após a apresentação; formas utilizadas: caracterização do público presente; B) Divulgação impressa: periódicos; livros: partes; capítulos; relatórios junto à IES e a Órgãos de Fomento.

3. Sequência de atividades nos segmentos de ensino, pesquisa e extensão.

4. Desenvolvimento de outros projetos de pesquisa a partir dos resultados obtidos: pelo próprio ator; por outros autores.

5. Outras informações sobre sua tese/dissertação que gostaria de acrescentar.

A maioria absoluta dos autores foi contatada através do correio eletrônico. Como já havia ocorrido em pesquisas anteriores conduzidas por este mesmo autor, as entrevistas via correio eletrônico se revelaram mais objetivas e consistentes do que as realizadas pessoalmente.

Foram feitas sucessivas leituras das respostas dadas pelos pós-graduados, destacando-se períodos, assinaladas unidades de significado e discriminações percebidas, marcas discursivas. Os "recortes" de discurso obtidos foram transcritos e classificados de acordo com seu tema e teor, de forma a facilitar um processo sistemático de buscas de unidades de significados relevantes aos objetivos da pesquisa. Este processo conduziu à construção de categorias mais amplas. Estas, não tendo sido previamente determinadas, surgiram por serem recorrentes nas marcas discursivas dos respondentes, ficando evidentes na busca por convergências e divergências. Desta forma, SEQUÊNCIA À CARREIRA ACADÊMICA, PRODUÇÃO ACADÊMICA, PRÁTICA DOCENTE, OUTRAS ÁREAS DE ATUAÇÃO, ENTUSIASMO E FRUSTRAÇÃO, e NOVOS ENCAMINHAMENTOS TEÓRICOS, temas não relacionados no roteiro de entrevista, passaram a constituir núcleos temáticos de importância fundamental para a pesquisa como um todo.

Nesse sentido, as "falas" dos sujeitos não são mais "apenas" respostas de pessoas que concluíram mestrados e doutorados mas sim de indivíduos historicamente situados que concluíram suas teses e dissertações há alguns anos e passaram por inúmeras experiências que envolvem atividades didáticas na graduação, pós-graduação, cursos de especialização, que participaram de conferências, congressos e atividades afins, que orientaram trabalhos científicos, que vão de TCC (Trabalho de Conclusão de Curso) e Iniciação Científica a dissertações e teses, que contam ou não com publicações sob as formas de livros, capítulos de livros e artigos em periódicos especializados. São pessoas que continuam entusiasmadas com a vida universitária e pessoas que se sentem frustradas, tendo chegado a abandonar a profissão de docente-pesquisador.

Resultados obtidos

Teses e dissertações. Qualidade

Os resultados surpreenderam o autor por se mostrarem bem acima daquilo que ele, por pressuposto, esperava. Foram 15, ou 41,7% do total, aqueles considerados como excelentes; 12 (33,3%) foram classificados como bons; 5, ou seja, 13,9%, como regulares e 4 (11,1%), fracos. A nenhum deles foi atribuído o conceito ruim. Em síntese: 75% "seriam aprovados" como bons e excelentes e apenas 11,1% seriam "reprovados".

O Anexo contém as Tabelas 1 e 2. Na Tabela 1 consta um resumo de dados das análises realizadas, que permite ao leitor ter uma visão sobre os cursos focalizados nos trabalhos examinados, os níveis em que se situam, isto é Mestrado e Doutorado, os tipos de IES: Públicas – Universidades Federais e Estaduais, assim como CEFET – Particulares Confessionais e Particulares. Permite, também, visualizar a distribuição dos pontos (de 1,0 a 5,0) em cada um dos itens analisados: 1 (resumo), 2 (redação), 3 (estrutura) 4 (metodologia), 5 (conclusão) e 6 (relevância do tema e seu desenvolvimento para o ensino superior). Convém lembrar, a propósito, que aos itens acima foram atribuídos os seguintes pesos: item 1, peso 1; item 2, peso 2; item 3, peso 2; item 4, peso 2; item 5, peso 1; item 6, peso 2. Vê-se que as médias finais variaram de 2,0 a 5,0. A Tabela 2 aponta os resultados encontrados na pesquisa, por Área do Conhecimento do CNPq e Categoria Administrativa de IES.

Vejamos algumas observações feitas pelo autor e pelos auxiliares de pesquisa sobre diversos trabalhos classificados como excelentes:

a) A redação da tese carece de pouquíssima revisão ortográfica. O texto é fluente. Demonstrou intenso trabalho de pesquisa e o fez com critérios bastante adequados. A articulação entre os capítulos é coerente com o objetivo do estudo. Há grande relevância da pesquisa para a Educação Superior de modo geral, para a área do conhecimento - Ciências Biológicas- e respectiva sub-área – Ciências Biológicas-, assim como em relação à própria pesquisa educacional, pois se vincula à análise conceitual de níveis da ciência e níveis da realidade. Em que pese a grande importância da tese, enquanto estudo para a área, faltou detalhamento ou definição da pesquisa desenvolvida em si: a metodologia da pesquisa adotada para a "captação" dos artigos (especificada no Cap.3). Não há detalhamento. Não especifica exatamente quais foram os 43 textos.

b) O (a) autor(a) desenvolve um trabalho teórico, pesquisando os 'sentidos e significados' dos cursos de Direito ao longo da história e ressalta a origem da Universidade. Elabora uma discussão teórica sobre os interesses que influem no currículo e no ensino jurídico. Também se fundamenta na inscrição cultural que se refere aos valores morais que influenciam as atividades nos estabelecimentos sociais; reflete sobre a reforma educativa, as mudanças proporcionadas, vistas e tratadas através da epistemologia social; procura compreender a Pedagogia do Ensino Jurídico na faculdade analisada e define Pedagogia Jurídica como o campo de conhecimento que estuda os processos de educação jurídica, a qual se dá, através do ensino/aprendizado dos princípios, das normas, dos institutos e dos procedimentos jurídicos de caráter oficial ou não.

Menciona relatos e análises dos dados referentes às decisões pedagógicas dos professores do curso, resultados das entrevistas realizadas. Aborda a influência do Exame Nacional de Cursos nas decisões pedagógicas. No currículo da Faculdade de Direito em estudo as disciplinas são tradicionais, com conteúdos segmentados; as decisões pedagógicas demonstram a tensão entre os interesses advindos das demandas dos alunos em relação aos concursos públicos. A transmissão do conhecimento é pouco questionada por parte dos docentes. É necessário suscitar/exercitar/refletir uma pedagogia jurídica sociológica em detrimento à pedagogia jurídica de base psicológica (tradicional): uma pedagogia jurídica que dialogue dialeticamente com a ética, a história e a política, a educação e a sociologia.

A redação é clara e há fluência no texto, há articulação entre frases e parágrafos, entre os capítulos. Trata-se de um trabalho complexo, que contempla todas as exigências necessárias para a obtenção do título almejado.

Há relevância da pesquisa não só para a área de conhecimento, isto é, Ciências Sociais Aplicadas e um de seus Cursos de Graduação – Direito -, como também para a Pesquisa Educacional, o Ensino Superior, a Pedagogia, e a Formação de Docentes do Ensino Superior.

Passemos a diferentes observações sobre os trabalhos considerados como fracos.

a) O texto é bastante irregular, longo e descritivo, com baixo nível de reflexão pessoal. A introdução e os dois primeiros capítulos contêm inúmeros erros. Na p.56 introduz tabela sobre a legislação acerca da avaliação do Ensino superior sem qualquer comentário e a articulação entre os capítulos é deficiente.

Há parágrafos truncados, frases sem sentido e inserção de dados sem qualquer introdução a respeito.

Enquanto descrição da realidade dos profissionais no mercado, dos impasses no cotidiano de uma IES em Jornalismo, o estudo dá conta de mostrar os desafios. Os problemas surgem da ausência de análise mais aprofundada e de retomada da reflexão teórica como suporte para tal exame crítico e problematizador.

O (A) autor(a) parece que tentou abordar inúmeros aspectos do ensino, da sociedade capitalista, da profissão e acabou se perdendo na infinidade de temas. Faltou coerência. São pouquíssimos os momentos em que se percebe a posição do(da) próprio(a) autor(a ) frente aos aspectos constatados.

Enquanto projeto, há grande relevância da pesquisa para o Ensino Superior, para a área do conhecimento - Ciências Sociais Aplicadas- e para a área específica – Jornalismo. Entretanto, os limites dos resultados alcançados são evidentes.

b) No capítulo sobre a Psicologia no Brasil, remonta aos primórdios da atuação dos 'psicólogos amadores' desde o Século XIX, numa exaustiva lista de nomes. Apenas no final o (a) autor (a) chega aos dispositivos legais que dão forma ao currículo mínimo, definem a profissão de psicólogo, criam os Conselhos Regionais, entre outros aspectos. Não há, no entanto, qualquer análise deste material, o que seria importante para melhor caracterizar a formação ideal, para confrontá-la com aquilo que se observa na implantação do curso sob análise. O texto, em geral, é pobre e confuso em alguns momentos. Há erros de concordância e pontuação.

Quanto à relevância da pesquisa para a área de conhecimento e respectiva sub-área - Ciências Humanas e Psicologia-, para a educação e para a própria pesquisa educacional, não acrescenta nada. Do ponto de vista da Psicologia, não podemos avaliar.

Desdobramentos

Nossos mestres e doutores se expressam depois de alguns anos das conquistas de seus títulos. Passados os entusiasmos ou frustrações com as defesas, os anos seguintes lhes permitiram acumular novas experiências de modo a "filtrar" as impressões iniciais, expressando-se agora como agentes da educação superior junto a Universidades, Centros Universitários e Faculdades Isoladas.

A maioria absoluta dos respondentes deu sequência à carreira acadêmica: mestres passaram ao doutorado, em alguns casos trabalhando com temas sem relação com aquilo que pesquisaram anteriormente. Há doutores que já fizeram o pós-doutorado no exterior e acumulam experiências em orientações de mestrado e de doutorado. Há os que passaram para outras áreas de atuação: Secretários de Educação Municipais, deixando de lado a vida universitária por até oito anos; os que se tornaram coordenadores de cursos de graduação e de pós-graduação, assim como diretores de Faculdades.

A produção acadêmica durante o espaço de tempo decorrido entre as defesas e o momento atual - que oscila entre quatro e oito anos -, em termos de publicações, varia muito: vai desde o doutor que tem 86 publicações, algumas delas no exterior – Alemanha, Dinamarca, Estados Unidos, Portugal, Áustria,Venezuela e Estônia – 13 no prelo, além de 7 outros, submetidos a julgamentos, até os doutores e mestres que se limitaram a publicações internas, isto é, em revistas das IES onde atuam como docentes, ou de publicações endereçadas ao magistério de níveis fundamental e médio. Vejamos alguns exemplos:

a) Entendo o texto final (a tese) como síntese, naquele momento, da trajetória que vivi como professor de Prática de Ensino. (Obs.: o (a) autor(a) continua atuando junto a professores do ensino fundamental e médio, produzindo material didático para o ensino de Ciências e Biologia);

b) Não considero esgotadas as formas de divulgação da pesquisa. Ainda pretendo concluir um artigo para publicação em revista de pesquisa na área, bem como explorar um pouco mais as possibilidades de elaboração de material didático instrucional para o ensino de Matemática vinculado aos conhecimentos de Biologia e correlatos.

A maioria dos entrevistados se refere às suas teses e dissertações como fatores de grande importância para a prática docente que "ganhou nova vida", trabalhando de forma diversa daquela que se dava em períodos anteriores às defesas. Em outros termos, terão aprendido com e através de suas próprias pesquisas, desenvolvendo, agora, a pesquisa como método didático junto aos alunos de graduação:

a) Adotei um método de ensino especial que me fez destacar dos demais professores, profissionalmente. Isto não foi bom para a minha carreira, pois o núcleo de Direito continua fechado e sem condições de penetração, e de certa forma ninguém gosta de ver o outro professor ensinando de forma diferente e com melhor aceitação por parte dos alunos.

Ao entusiasmo que subsiste até hoje, existiu e em alguns casos continua ainda, o sentimento de frustração:

a) Tenho lutado muito para implantar a pesquisa como fonte de desenvolvimento para o aprendizado do aluno na graduação. Percebo que quando eles ouvem, esquecem, quando eles vêem entendem, mas, quando pesquisam aprendem. Foi isto que aprendi no mestrado em educação Acredite, querido professor, fui buscar emprego na Universidade e o coordenador de Direito sugeriu que eu escondesse o diploma de Mestre, pois, a universidade estava admitindo somente graduados, cujo salário é mais baixo e que naquele semestre, já havia dispensado 50 doutores e mestres, veja que decepção!

Há caso em que a frustração é tão grande que acaba levando a pessoa a abandonar não só a uma determinada IES, mas sim, a própria profissão:

a) Apresentei meu trabalho a alunos de graduação, pós-graduação, professores da rede pública de São Paulo e Rio Grande do Sul e professores da rede privada, em São Paulo. [...] As coordenações não só não gostaram do que ouviram como começaram a me atacar. A pressão foi tão grande que desenvolvi várias doenças e decidi sair da área acadêmica [...] Tenho verdadeira paixão pelo ato de formar e ajudar a se auto-formar, mas não pretendo tão cedo voltar a trabalhar na academia.Estou desperdiçando minha pesquisa e anos de trabalho? Não, estou me libertando da Síndrome de Burnout...

A pequena frustração inicial pode dar lugar a uma enorme produção na própria área e em áreas afins:

a) O primeiro local em que apresentei minha tese foi na Faculdade de Direito que me acolheu, possibilitando a realização do estudo de caso. O que apresentei parecia de certa forma, distante da concepção predominante de ensino jurídico daquela unidade universitária". (Observação: isto não impediu o (a) autor (a) de participar de um grande número de eventos sobre ensino de Direito no Brasil e no exterior: Canadá, Portugal, Angola, Espanha). ..."participei de Projetos de extensão, de pesquisa inter-institucional e internacional sobre o Ensino Jurídico, que decorrem de minha experiência relativa à elaboração de minha tese.

b) Não houve destaque e sim descrença e até visão de dificuldade para implantar" (Obs.: entrevistado ao comentar sobre sua apresentação oral na própria Instituição)."O grande destaque foi que a tese serviu para a elaboração do Projeto Pedagógico do Curso de Engenharia de Produção da Universidade, do qual fui o coordenador de implementação. O projeto pedagógico do curso, minhas aulas, meus projetos de pesquisa, todos têm sua gênese na minha tese de doutorado. Posso afirmar que todas as minhas atividades após a defesa da tese, têm suas origens nos estudos para a elaboração da mesma.

Há novos encontros com a própria área e surgem oportunidades para novos encaminhamentos teóricos:

a) A tese me favoreceu o encontro com a história da psicologia. Desde então, este é o mote principal de minhas pesquisas [...] Pretendo que os resultados desta pesquisa contribuam, refletindo minha vinculação orgânica com o magistério, para uma formação de psicólogos menos intimista e mais historicizada.

Conclusão

Há muito tempo vinha desejando desenvolver o projeto cujas justificativas, objetivos, procedimentos metodológicos e resultados alcançados acabo de descrever. Mergulhar nas tarefas que ele implicou constituiu um desafio para minha carreira acadêmica e de magistério.

O material analisado e os depoimentos de seus atores revelaram-se superiores àquilo que eu supunha ao elaborar o projeto. Afinal, o fato de 75% das teses e dissertações terem sido avaliadas como boas e excelentes, tem um significado muito importante.

Foi muito difícil acessar toda esta produção e mais difícil ainda, contatar seus autores, cujos endereços eletrônicos e residenciais estavam desatualizados. Para isto recorri a doutorandos de áreas do conhecimento e de cursos de graduação de interesse para a pesquisa. Telefonemas, e-mail's, fax, cartas para Universidades e Centros de Pesquisa, sondagens através de bancos de dados foram desenvolvidos praticamente durante todo o transcorrer dos últimos três anos.

Terá valido a pena? Acredito que sim, mas quem terá a última palavra a respeito serão os leitores da revista AVALIAÇÃO, com destaque aos docentes de Pós-Graduação em Educação e em outras áreas do conhecimento para as quais esta pesquisa acabou por se estender. Quais as apreciações dos docentes de cursos de graduação focalizados neste estudo? Como se expressarão os estudantes de pós-graduação e de graduação que entrarem em contato com o texto através de seus professores? Mais... como os colegas que participaram deste estudo na qualidade de sujeitos - autores de teses e dissertações, respondentes das questões que lhes foram propostas pessoalmente ou por meio eletrônico -, avaliarão minha própria conduta na pesquisa e os resultados alcançados?

Como pretendo continuar trabalhando até ... é claro que ficarei muito feliz se os docentes e estudantes pertencentes a quaisquer dos grupos acima entrarem em contato comigo.

Espero.

Notas

(1) Sobre o conceito de qualidade, veja-se, entre outros:

DIAS SOBRINHO, José (Org.) Universidade e projeto/qualidade. Avaliação institucional da Unicamp: processo, discussão e resultados. Campinas: Unicamp, 1994. p.102.

_______. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002.

GOODLAD, Sinclair. The question of quality: sixteen forms of heresy in higher education. UK: Sufolk, SRHE and Open University Press, 1995.

GREEN, Diana (Org.). What is quality in higher education? UK: SRHE and Open University Press, 1994

UNESCO. Tendências da educação superior para o século XXI. In: CONFERÊNCIA MUNDIAL SOBRE O ENSINO SUPERIOR, 1998, Paris. Anais... Brasília: UNESCO/CRUB, 1999.

ZUBER-SKERRITT, Ortrum; RAYAN, Ioni (Ed.). Quality in postgraduate education. London: Kogan Page, 1994.

Recebido: 28 set. 2011

Aprovado: 06 dez. 2012

• APPLETON, Jane V. Analysing qualitative interview data: addressing issues of  validity  and reliability. Journal of Advanced Nursing, n. 22, p. 993-997, 1995. doi: 10.1111/j.1365-2648.1995.tb02653.x
• BAKHTIN, Mikhail M. O problema do texto e observações sobre a epistemologia das Ciências Humanas. In: BAKHTIN, M. Estética da criação verbal São Paulo: Martins Fontes, 2000.
• BALZAN, Newton C. Sete princípios inaceitáveis sobre a educação em países em desenvolvimento. Em Aberto, Brasília, v. 64, p.19-34, 1994,
• ______. Alternative teaching in the confluence of tradition, modernity and postmodernity: from the students to the porfessor. In: WORLD CONGRESS OF COMPARATIVE EDUCATION, 9, Sydney, Austrália, 1995. Texto original.
• BANCO MUNDIAL. La enseñaza superior Las lecciones derivadas de la experiencia. Washington D.C., 1995
• BARDIN, Laurence. Análise de conteúdo Lisboa: Edições 70, 1979.
• BATISTA, Nildo A.; SILVA, Sylvia Helena S. da O professor de medicina. São Paulo: Loyola, 1998.
• BAZZO, Walter Antonio. Ciência, tecnologia e sociedade: e o contexto da educação tecnológica. Florianópolis: UFSE, 1998.
• BIANCHINI, David O compromisso com a qualidade educacional nas escolas de Engenharia, 1996. Dissertação (Mestrado) Universidade Estadual de Campinas, Campinas, 1996.
• BOGDAN, Robert; BIKLEN, Sari. Qualitative research for education: an introduction for theory and methods. Boston: Allyn and Bacon, 1998.
• GAMBOA, Silvio A. S. Epistemologia da pesquisa em educação, 1987. Tese (Doutorado) -  Universidade de Campinas, Campinas, 1987.
• HOSSNE, Willian S. Relação professor-aluno: inquietações, indagações, ética. Revista Brasileira de Educação Médica, Rio de Janeiro, v. 18, n. 2, p.73-81, maio/ago. 1994.
• KAWAMURA, Lili K. Engenheiro: trabalho e ideologia. São Paulo: Ática, 1979. (Ensaios 57)
• KVALE, Steinar. Interviews: an introduction to qualitative research interviewing, Thousand Oaks: Sage, 1996.
• MAINGUENEAU, Dominique.  Novas tendências em análise do discurso Campinas: Ed. Unicamp, 1989.
• MUCCHIELLI, Roger. A entrevista não-diretiva: dados qualitativos. São Paulo: Martins Fontes, 1994.
• ORLANDI, Eni P. Terra a vista. São Paulo, Cortez; Unicamp, 1991.
• ______. As formas do silêncio no movimento dos sentidos. Campinas: Ed. Unicamp, 1992.
• PÁDUA, Elisabete M. M. de. Análise de conteúdo, análise de discurso: questões teórico-metodológicas. Revista de Educação, Campinas, n. 13, p. 21-30, nov. 2002.
• SOLTIS, Jonas F. The ethics in qualitative research. In: EISNER, Elliot W.; PESHKIN, Alan (Orgs.). Qualitative inquiry in education New York: Columbia University, Teachers Press, 1990. p. 247-257.
• SCHULLER, Tom (Ed.). The futures of higher education London: Open University, Press, 1991.
• TIME. Special issue- The future of medicine. 11 jan. 1999a.
• TIME. Bleack days for doctor's. 8 Feb., 1999b. p. 31
• ______. The future ofá technology. 19 Jun., 2000.
• TURATO, Egberto R. Tratado da metodologia da pesquisa clínico-qualitativa. Construção teórico-epistemológica discussão comparada e aplicação nas áreas da saúde e humanas. Petrópolis: Vozes, 2003.
• WEUSTHOF, Peter J. M. Internal quality assurance in dutch universities: an empirical analysis of characteristics and results of self-evaluation. Quality in Higher Education, Abingdon Oxfordshire, UK, v. 1, n. 3, p. 235-248, 1995.
• ZEICHNER, Kenneth M. Beyond the divide of teacher research and academic research Teachers and teaching: theory and practice. Madison, Wisconsin v. 1, n. 2, p.153-172, Oct.1995.

*

Pesquisa desenvolvida com apoio do CNPq. Atuou como Assessor, Jorge Luís Moreira Alberto, Graduado em Pedagogia, Mestre em Educação pela PUC-Campinas (SP), atualmente vinculado ao Núcleo Técnico de Avaliação da PUC-Campinas (SP); atuaram como auxiliares de pesquisa: Maria Cristina Festa, Graduada em Pedagogia e Direito; Regina de Brito Rodrigues, Graduada em Ciências Sociais e Jornalismo, Mestre em Educação pela PUC-Campinas (SP).

Datas de Publicação

• Publicação nesta coleção
  23 Nov 2012
• Data do Fascículo
  Nov 2012

Histórico

• Recebido
  28 Set 2011
• Aceito
  06 Dez 2012