Comentários adicionais ao artigo de Thomaz e cols.: como avaliar "qualidade de publicação"

CARTA AO EDITOR

Comentários adicionais ao artigo de Thomaz e cols.: como avaliar "qualidade de publicação"

Paulo Roberto Benchimol-Barbosa; Ricardo Luiz Ribeiro; Eduardo Correa Barbosa

Hospital Universitário Pedro Ernesto - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ - Brasil

^{Correspondência}

Palavras-chave: Bibliometria, fator de impacto de revistas, publicações científicas e técnicas.

Em contribuição aos comentários previamente encaminhos sobre o artigo de Thomas e cols. gostaríamos de apresentar as seguintes observações¹. Concordamos, parcialmente, com a opinião expressa pelos autores na Conclusão, uma vez que a avaliação da qualidade de publicações por pares pode ser decisiva em situações nas quais a análise meramente quantitativa seja capciosa. Com efeito, a emissão de uma ponderação criteriosa sobre o texto de um artigo é pré-requisito para sua publicação. Gostaríamos de citar uma célebre pesquisa para destacar a importância da avaliação subjetiva.

Os químicos Stanley Pons, aluno de doutorado na Universidade de Utah, e Martin Fleischmann, seu orientador, anunciaram, em 1989, o que seria a mais revolucionária descoberta de todos os tempos: a fusão a frio, fonte inesgotável de energia limpa. O trabalho foi publicado como comunicação preliminar naquele mesmo ano e seguiram-se inúmeras tentativas de replicação do experimento². No total, o artigo mereceu 629 citações em publicações²!

Um verdadeiro best-seller científico? Não. Na verdade, a pretensa descoberta nunca foi replicada. As citações vieram de artigos que, na maioria, contestaram veementemente a validade tanto do experimento quanto dos resultados publicados. Ainda naquele mesmo ano, a pesquisa mereceu comunicado formal do governo norte-americano, revisado e atualizado em 1999, desmerecendo a maneira pela qual fora conduzida e divulgada: Fusão a frio nunca existiu³!

Assim, medir a relevância de um artigo científico somente com base no fator de impacto pode levar a conclusões precipitadas quanto ao mérito de uma dada publicação. Nesse sentido, em 2010, o Conselho Nacional de Pesquisa Médica do governo australiano decidiu abandonar a utilização do fator de impacto na análise das solicitações para bolsas de auxílio à pesquisa e à pós-graduação⁴. A avaliação subjetiva criteriosa sempre necessária para dirimir situações conflitantes. Paz e bem.

Carta-resposta

Concordamos que a validação da qualidade científica de um trabalho, utilizando-se exclusivamente os índices bibliométricos atuais, não está isenta de controvérsias. Em 2005, Andrew Coats fez uma profunda reflexão sobre a dificuldade de se encontrar um índice bibliométrico capaz de avaliar fielmente o impacto da produção acadêmica, numa época em que a informática já se mostrava grande aliada da divulgação do saber cientifico¹. O autor lançou mão da comparação entre os dez artigos mais citados e aqueles mais baixados pela internet, entre o total de manuscritos publicados na International Journal of Cardiology, num período de 12 meses. Sua conclusão foi que não houve um paralelismo entre esses dois grupos de artigos. De um modo geral, as citações clássicas favorecem os artigos originais, ao passo que os mais acessados pela internet tendem a ser aqueles artigos que abrangem revisões, temas novos e de destaque, como as pesquisas sobre células-tronco ou tratamento de doenças raras.

A partir dessa premissa, surgiu a dúvida do que é mais relevante, o maior número de citações ou de acessos via internet. Desafortunadamente, essa resposta ainda não foi obtida. Os editores, atentos ao modernismo das publicações pela internet, resolveram parcialmente o problema, disponibilizando também nos sítios de suas revistas os artigos mais acessados. Por sua vez, o Journal of Citations, da base Thompson Reuters, continua publicando anualmente o fator de impacto das revistas indexadas em sua base, levando em consideração o número de citações dos artigos.

O número de acessos a um determinado artigo, entretanto, também está sujeito a vieses. Assim, seriam pertinentes algumas colocações: Todos os acessos correspondem à leitura completa do manuscrito? Caso seja lido, seu conteúdo é realmente relevante? Quantos "desses lidos" mereceriam ser citados? Isso mostra a dificuldade de se avaliar a qualidade dos acessos em relação às citações de publicações científicas e põe em questão a fidelidade desse parâmetro bibliométrico.

Finalmente, o objetivo do artigo "Uso do fator de impacto e do índice H para avaliar pesquisadores e publicações" foi o de mostrar aos leitores da revista como se calcula o Fator de Impacto e o índice H, uma vez que são esses os índices bibliométricos mais usados pelas nossas agencias de fomento e instituições de ensino, o que justifica a disseminação do seu conhecimento².

Petronio Generoso Thomaz

Renato S. Assad

Luiz Felipe P. Moreira

Referências (Resposta)

Artigo recebido em 21/03/11; revisado recebido em 21/03/11; aprovado em 24/03/11.

• 1. Thomaz PG, Assad RS, Moreira LF. Uso do Fator de Impacto e do Índice H para avaliar pesquisadores e publicações. Arq Bras Cardiol. 2011;96(2):90-3.
• 2. Fleischman M, Pons S, Hawkins M. Eletrochemically induced nuclear fusiono f deuterium. J Electroanal Chem. 1989;261:301-8.
• 3. U.S. Department of Energy . A Report of the Energy Research Advisory Board to the United States Department of Energy, Washington, DC: U.S. Department of Energ:1989. [Cited imn 2011 Mar 20]. Available from: http://www.ncas.org/erab/
• 4. National Health and Medical Research Council: Australian Government. [Cited in 2011 Mar 21] Available from: http://www.nhmrc.govau/_files_nhmrc/file/grants/peer/impact%20factors%20in20peer%20review.pdf
• 1. Coats AJ. Top of the charts: download versus citations in the International Journal of Cardiology. Int J Cardiol. 2005;105(2):123-5.
• 2. Thomaz PG, Assad RS, Moreira LF. Uso do Fator de Impacto e do Índice H para Avaliar Pesquisadores e Publicações. Arq Bras Cardiol. 2011;96(2):90-93

Datas de Publicação

• Publicação nesta coleção
  30 Ago 2011
• Data do Fascículo
  Jul 2011