Comentarios adicionales al artículo de Thomaz et al: como evaluar "calidad de publicación"

CARTA AL EDITOR

Comentarios adicionales al artículo de Thomaz et al: como evaluar "calidad de publicación"

Paulo Roberto Benchimol-Barbosa; Ricardo Luiz Ribeiro; Eduardo Correa Barbosa

Hospital Universitário Pedro Ernesto - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ - Brasil

^{Correspondencia}

Palabras clave: Bibliometría, factor de impacto de revistas, publicaciones científicas y técnicas.

En contribución a los comentarios previamente encaminados sobre el artículo de Thomas et al nos gustaría presentar las siguientes observaciones¹. Concordamos, parcialmente, con la opinión expresada por los autores en la Conclusión, una vez que la evaluación de la calidad de publicaciones por pares puede ser decisiva en situaciones en las cuales el análisis meramente cuantitativo sea capcioso. En efecto, la emisión de una ponderación criteriosa sobre el texto de un artículo es prerrequisito para su publicación. Nos gustaría citar una célebre investigación para destacar la importancia de la evaluación subjetiva.

Los químicos Stanley Pons, alumno de doctorado en la Universidad de Utah, y Martin Fleischmann, su orientador, anunciaron, en 1989, lo que sería el más revolucionario descubrimiento de todos los tiempos: la fusión en frío, fuente inagotable de energía limpia. El trabajo fue publicado como comunicación preliminar aquel mismo año y siguieron innumerables tentativas de replicación del experimento². En total, ¡El artículo mereció 629 citaciones en publicaciones²!

¿Un verdadero best-seller científico? No. En verdad, el pretendido descubrimiento nunca fue replicado. Las citaciones vinieron de artículos que, en su mayoría, rechazaron vehementemente la validez tanto del experimento como los resultados publicados. Aun aquel mismo año, la investigación mereció comunicado formal del gobierno norteamericano, revisado y actualizado en 1999, desmereciendo la manera como había sido conducida y divulgada: ¡La fusión en frío nunca existió³!

Así, medir la relevancia de un artículo científico solamente con base en el factor de impacto puede llevar a conclusiones precipitadas en cuanto al mérito de una publicación dada. En ese sentido, en 2010, el Consejo Nacional de Investigación Médica del gobierno australiano decidió abandonar la utilización del factor de impacto en el análisis de las solicitaciones para becas de apoyo a la investigación y a la post graduación⁴. La evaluación subjetiva criteriosa es siempre necesaria para dirimir situaciones conflictivas. Paz y bien.

Carta respuesta

Concordamos que la validación de la calidad científica de un trabajo, utilizando exclusivamente los índices bibliométricos actuales, no está exenta de controversias. En 2005, Andrew Coats hizo una profunda reflexión sobre la dificultad de encontrar un índice bibliométrico capaz de evaluar fielmente el impacto de la producción académica, en una época en que la informática ya se mostraba gran aliada de la divulgación del saber cientifico¹. El autor utilizó la comparación entre los diez artículos más citados y aquellos más bajados de Internet, entre el total de manuscritos publicados en la International Journal of Cardiology, en un período de 12 meses. Su conclusión fue que no hubo un paralelismo entre esos dos grupos de artículos. De un modo general, las citaciones clásicas favorecen los artículos originales, al tiempo que los más visitados en Internet tienden a ser aquellos artículos que abarcan revisiones, temas nuevos y destacados, como las investigaciones sobre células tronco o tratamiento de enfermedades raras.

A partir de esa premisa, surgió la duda de que es más relevante, el mayor número de citaciones o de visitas vía Internet. Desafortunadamente, esa respuesta aun no fue obtenida. Los editores, atentos al modernismo de las publicaciones en Internet, resolvieron parcialmente el problema, haciendo disponibles también en los sitios de sus revistas los artículos más visitados. A su vez, el Journal of Citations, de la base Thomson Reuters, continúa publicando anualmente el factor de impacto de las revistas indexadas en su base, llevando en consideración el número de citaciones de los artículos.

El número de visitas a un determinado artículo, entre tanto, también está sujeto a sesgos. Así, serían pertinentes algunas colocaciones: ¿Todas las visitas corresponden a la lectura completa do manuscrito? En el caso de que sea leído, ¿Su contenido es realmente relevante? ¿Cuantos "de esos leídos" merecerían ser citados? Eso muestra la dificultad de evaluar la calidad de las visitas en relación a las citaciones de publicaciones científicas y pone en cuestión la fidelidad de ese parámetro bibliométrico.

Finalmente, el objetivo del artículo "Uso del factor de impacto y del índice H para evaluar investigadores y publicaciones" fue el de mostrar a los lectores de la revista como se calcula el Factor de Impacto y el índice H, una vez que son esos los índices bibliométricos más usados por nuestras agencias de fomento e instituciones de enseñanza, lo que justifica la diseminación de su conocimiento².

Renato S. Assad

Referencias

Referências (Resposta)

Artículo recibido el 21/03/11; revisado recibido el 21/03/11; aceptado el 24/03/11.

• 1. Thomaz PG, Assad RS, Moreira LF. Uso do Fator de Impacto e do Índice H para avaliar pesquisadores e publicações. Arq Bras Cardiol. 2011;96(2):90-3.
• 2. Fleischman M, Pons S, Hawkins M. Eletrochemically induced nuclear fusiono f deuterium. J Electroanal Chem. 1989;261:301-8.
• 3. U.S. Department of Energy . A Report of the Energy Research Advisory Board to the United States Department of Energy, Washington, DC: U.S. Department of Energ:1989. [Cited imn 2011 Mar 20]. Available from: http://www.ncas.org/erab/
• 4. National Health and Medical Research Council: Australian Government. [Cited in 2011 Mar 21] Available from: http://www.nhmrc.govau/_files_nhmrc/file/grants/peer/impact%20factors%20in20peer%20review.pdf
• 1. Coats AJ. Top of the charts: download versus citations in the International Journal of Cardiology. Int J Cardiol. 2005;105(2):123-5.
• 2. Thomaz PG, Assad RS, Moreira LF. Uso do Fator de Impacto e do Índice H para Avaliar Pesquisadores e Publicações. Arq Bras Cardiol. 2011;96(2):90-93

Fechas de Publicación

• Publicación en esta colección
  30 Ago 2011
• Fecha del número
  Jul 2011