Avaliação desmedida

DEBATE DEBATE

Avaliação desmedida

Nísia Trindade Lima

Vice-Presidência de Ensino, Informação e Comunicação, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil. [e-mail]

Movidas por interesses e questões conjunturais diversas, ideias ganham força, conseguem ser implantadas como balizadoras da ação social e adquirem, desse modo, a aparência de objetividade. Foi o que ocorreu com muitas das orientações para a avaliação de pesquisa em curso no país nos últimos 20 anos, entre elas a ênfase atribuída a índices como o fator de impacto das publicações. Desconfiar do que parece natural é sempre uma premissa indispensável à análise da produção do conhecimento, e esta razão seria suficiente para saudar a discussão e a proposta apresentadas por Kenneth Rochel de Camargo Jr. Todavia, seu artigo vai além e traz importante contribuição, ao abordar, segundo a perspectiva dos estudos sociais da ciência, os indicadores usuais e ao criticar a crença ingênua na objetividade e na cientificidade da avaliação restrita a indicadores quantitativos. Traz ainda o mérito de problematizar os efeitos não antecipados de seu uso, tanto na definição das estratégias de publicação e de pesquisa como na própria qualidade do conhecimento publicado.

O tema não é novo. A institucionalização de parâmetros de avaliação apoiados em indicadores de impacto mereceram análises anteriores, a exemplo de dois artigos publicados nos Cadernos de Saúde Pública ^1,2. O primeiro, de autoria de Carlos Coimbra Jr., foi publicado em 1999 ¹ e abordou o papel das bases científicas internacionais na avaliação da produção científica. O autor inicia com uma boa discussão que exemplifica o problema dos efeitos não esperados da ação social, apontados com acuidade por Kenneth de Camargo Jr. No caso de Coimbra Jr. discute-se a indexação da bibliografia científica cujas origens remontam ao fim do Século XIX, e que foi criada para facilitar o acesso ao conhecimento sem qualquer objetivo de avaliar a qualidade de revistas ou mesmo de artigos. Detém-se o autor nos efeitos do uso do sistema de informações das bases bibliográficas do Institute for Scientific Information (ISI) para observar que "a quantidade de citações está relacionada, entre outros fatores, à língua na qual se publica, procedência do pesquisador e tamanho da comunidade de investigadores em determinado campo científico" ¹ (p. 886). Além de propor a dissociação entre qualidade científica e impacto da publicação, o texto ressalta que a utilização do fator de impacto não tem o mesmo potencial para a avaliação da pesquisa nos contextos nacionais periféricos e tampouco nas diferentes áreas de conhecimento. E conclui: "A área de saúde coletiva/saúde pública tanto na América Latina, quanto em diversas outras partes do mundo, sob a ótica que norteia uma base como o ISI, ocupa e, arrisco dizer, sempre ocupará uma posição 'periférica' em relação às áreas ditas básicas..." ¹ (p. 886).

O segundo artigo, publicado há quase seis anos por Luis David Castiel, Javier Sanz-Valero e Red-MeI-Cyted ², sugere que o artigo científico assume aspectos de mercadoria envolta em uma aura de fetichismo, segundo a teorização do valor de uso/valor de troca de Marx. Os autores assinalam que, "apesar das dificuldades, são necessárias análises contextuais de vetores e relações de poder que existem quando se publica ou quando se fazem citações" ² (p. 3048). Além da perspectiva marxista sobre a mercadoria e da discussão do valor de exposição proposto por Walter Benjamin, lançam mão de diferentes perspectivas dos estudos sociais da ciência, a exemplo dos textos de Bruno Latour e Steve Woolgar, os quais analisam a autoria científica e sua característica empresarial na sociedade contemporânea. Levantam ainda os problemas éticos intensificados à medida que a produtividade é elevada a um valor inquestionável, ressaltando que a resposta de estabelecer mais controles não é suficiente para lidar com as várias dimensões do problema.

A despeito da diferença de objetivos e perspectivas adotadas nos dois textos, há convergências importantes, sobretudo na crítica a se considerar apenas o impacto de trabalhos publicados, desconsiderando-se as especificidades do campo da saúde coletiva em relação aos "impactos sobre políticas, planejamento de estratégias de intervenção e de programas de saúde, ou sobre a organização de serviços que muito extrapolam a mera quantificação de referências/citações bibliográficas" ¹ (p. 887).

Em relação aos textos anteriores, o artigo ora em pauta vem à luz em um contexto no qual a crítica à utilização de indicadores que valorizam as citações se intensifica no cenário internacional e em todas as áreas do conhecimento. Não se trata mais de questionar a equidade na avaliação da produção científica e a posição periférica nos ranqueamentos de áreas como as humanidades, as ciências sociais ou a saúde coletiva. Perguntas sobre o sentido do uso dos indicadores de impacto em processos avaliativos são correntes entre pesquisadores renomados de todos os campos e disciplinas, e ganham crescente adesão e visibilidade pública, como pode ser atestado no manifesto San Francisco Declaration on Research Assessment (DORA), citado por Kenneth Camargo Jr.

A crítica fundamental do autor incide na substituição da avaliação da qualidade do conhecimento científico por processos avaliativos baseados predominantemente em indicadores quantitativos. A analogia com a obra de arte por ele sugerida me anima a fazer breve digressão, pois o que está em questão, se nos valermos de uma perspectiva sociohistórica para a análise do tema, é a perda da "aura" da obra artística como observou Walter Benjamin ³. Por outro lado, em todos os campos do conhecimento, verifica-se a transformação na organização social da atividade científica e, no caso das ciências sociais, podemos falar sob a inspiração de Wright Mills ⁴, a profunda transformação do artesanato intelectual com a crescente perda da imaginação.

Um dos pontos mais relevantes do artigo em debate consiste na discussão sobre as consequências imprevistas dos processos avaliativos, com destaque para conclusões acerca da publicação de resultados positivos e sobre a frequência de retratação por fraude ou erro nos periódicos de maior impacto. Menos grave que o erro e a fraude, o autor assinala o desestímulo à ousadia intelectual. Na melhor das hipóteses, se estaria radicalizando as características da ciência normal, tal como foi discutida por Thomas Kuhn ⁵, reduzindo-se a possibilidade de inovação científica.

Há ainda um importante aspecto referido à socialização das novas gerações de pesquisadores que gostaria de acrescentar: a ênfase na pontuação do que se publica faz com que sejam consideradas irrelevantes atividades cruciais para o desenvolvimento da crítica e da comunicação científica, a exemplo dos debates e centros de estudos, isto sem mencionar a atividade docente. Muitos de nós lidamos com a situação inusitada tempos atrás de apresentadores de trabalhos em congresso que se restringem à comunicação de seu próprio trabalho sem qualquer interesse pela discussão de teses e ideias científicas. E mais: tornou-se comum a ideia de que é desejável o trabalho intelectual incessante, sem tempo disponível para o lazer. Ao organizar uma das seções científicas de um congresso nacional, surpreendi-me com a seguinte sugestão – "Professora, aproveite o fim de semana e proceda a avaliação dos trabalhos". Até pensei em escrever uma crônica sobre nossa vida acadêmica com este título: "Aproveite o fim de semana...".

Outro efeito indesejado importante não comentado pelo autor é a desvalorização da publicação de livros, produção tradicionalmente nobre em diferentes campos do conhecimento, sobretudo nas áreas das humanidades e da saúde coletiva ⁶. Recentemente, alguns comitês da Capes vêm realizando esforço para alterar esse processo, mas ainda estamos longe de restituir ao livro acadêmico de qualidade a condição que ele apresenta em outros contextos nacionais e na história da publicação científica no Brasil. Sempre me agrada lembrar o prefácio do filósofo João Cruz Costa ⁷ ao livro A Luta pela Industrialização no Brasil, de Nícia Vilela Luz. Nele o estudioso da história das ideias saúda a publicação, antes dispersa na forma de artigos veiculados pela Revista História, e agora acessível a um público mais amplo do que o de leitores de periódicos. Ou seja, a visão integral dos resultados da pesquisa requeria essa forma de publicação, além da possibilidade de se ampliar o universo de leitores.

Diante do quadro exposto, a proposta de adoção de uma sistemática qualitativa de avaliação da ciência é apresentada de forma cuidadosa pelo autor do texto em debate. Trata-se de defender a publicação como um imperativo da atividade científica, ainda mais considerando o financiamento público, o que justifica o estabelecimento de metas, sem que se considere, entretanto, ser suficiente avaliar a qualidade da produção científica predominantemente por meios quantitativos. Há aqui convergência com o que vêm propondo destacados cientistas, entre eles Bruce Alberts, editor da revista Science, e Markus Meister, professor da Universidade de Harvard (Estados Unidos), em sua crítica a que as publicações científicas sejam valorizadas em si mesmas em detrimento da análise do conteúdo dos textos. Esse é também um dos argumentos defendidos com veemência por Lindsay Waters, editor de Humanidades da Universidade de Harvard, no livro Inimigos da Esperança ⁸. E por falar em esperança, no caso do Brasil, uma nota otimista é registrada por Kenneth de Camargo Jr. no que se refere a posições recentes da presidência do CNPq na mesma direção de sua proposta: a de uma avaliação que priorize a qualidade da publicação científica. Conclui o autor com uma exortação à comunidade científica que deve se mobilizar de modo a garantir a efetivação dessa política e sua disseminação para outras instituições. Em consequência, ao aderirmos a esse movimento, devemos estendê-lo à avaliação da pós-graduação.

Principal instituição não universitária de formação de recursos humanos para o SUS e o sistema de Ciência, Tecnologia e Inovação para o país, a Fiocruz conta hoje com 32 programas de pós-graduação em áreas do conhecimento diversas: ciências biológicas; saúde coletiva; medicina; interdisciplinar; ensino de ciências; farmácia e história. Tal diversidade reflete a riqueza e o caráter multidisciplinar da instituição, mas, em que pesem algumas iniciativas, ainda estamos distantes de um trabalho efetivamente integrado e interdisciplinar. Não é o caso de proceder a uma análise do tema nos limites deste comentário, mas cabe acentuar que muitas das dificuldades estão referidas ao sistema de avaliação. Esse cumpriu sem dúvida um papel da maior relevância com sua ênfase no compromisso com a divulgação dos resultados de pesquisa, da internacionalização e da superação da endogenia nas publicações nacionais. Apresenta, contudo, distorções importantes como é o caso da avaliação de periódicos que atribui conceituação diferente nas distintas áreas de conhecimento, desestimulando assim o exercício da interdisciplinaridade. E ainda, como já se comentou, privilegia os indicadores quantitativos e a publicação científica. O atual Plano Nacional de Pós-graduação (20102020) reconhece a necessidade de mudanças no sistema e propõe a adequação da metodologia de avaliação a novas tendências, o que implica, entre outras alterações, agregar indicadores de produtividade tecnológica e social aos critérios predominantemente acadêmicos já existentes. E ainda a revisão dos conceitos que presidem o recorte das áreas, cedendo algum espaço a considerações multidisciplinares. Contudo, não chega a propor modificações no processo de avaliação acadêmica, a despeito de intensa discussão do tema em diferentes comitês. Aprofundar o debate e indicar novos parâmetros para a avaliação é a tarefa que se impõe a todos nós.

O artigo de Camargo Jr. propõe a ousadia como antídoto ao conformismo e ao mal-estar contemporâneo na vida acadêmica. Em lugar de "publicar ou perecer", talvez seja a hora de pensarmos em "publicar e inovar" na ciência e na avaliação da pesquisa e do ensino.

Debate sobre o artigo de Camargo Jr.

Debate on the paper by Camargo Jr.

Debate acerca del artículo de Camargo Jr.

• 1. Coimbra Jr. CEA. Produção científica em saúde pública e as bases bibliográficas internacionais. Cad Saúde Pública 1999; 15:883-8.
• 2. Castiel LD, Sanz-Valero J; Red MeI-CITED. Entre fetichismo e sobrevivência: o artigo científico é uma mercadoria acadêmica? Cad Saúde Pública 2007; 23:3041-50.
• 3. Benjamin W. A obra de arte na época de sua reprodutibilidade técnica. In: Benjamin W, organizador. Magia e técnica, arte e política. 7Ş Ed. São Paulo: Editora Brasiliense; 1994. p. 165-96.
• 4. Mills W. A imaginação sociológica. Rio de Janeiro: Zahar Editores; 1982.
• 5. Kuhn T. A estrutura das revoluções científicas. São Paulo: Editora Perspectiva: DATA.
• 6. Canossa J. A saúde que se lê: uma reflexão a partir da trajetória da Editora Fiocruz [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca; Fundação Oswaldo Cruz; 2013.
• 7. Costa JC. Prefácio. In: Luz NV. A luta pela industrialização do Brasil. São Paulo: Editora Alfa Omega; 1978. p. 11-3.
• 8. Waters L. Inimigos da esperança. Publicar, perecer e o eclipse da erudição. São Paulo: Editora Unesp; 2006.

Datas de Publicação

• Publicação nesta coleção
  28 Maio 2013
• Data do Fascículo
  Set 2013