Produção brasileira de conhecimento no campo da saúde da criança e do adolescente

Resumos

OBJECTIVES: To assess (a) the trend of MEDLINE citation of pediatrics articles associated with Brazilian institutions from 1990 through 2004; (b) the number of Brazilian pediatrics articles published in journals with the highest impact factor; and (c) the regional distribution of institutions. METHODS: PubMed search limited to ages 0 to 18 years, English language, MEDLINE and humans subsets, Brazilian affiliation. For each year, we compared the articles retrieved to the whole of MEDLINE citations with the same search limits, except for affiliation, as well as to the total Brazilian scientific production cited in MEDLINE, without age limits. We made a descriptive analysis, and used the chi-square test for trend. Data concerning publication in journals with the highest impact factor were aggregated into three-year periods. RESULTS: A total of 7,222 Brazilian pediatrics articles were listed in MEDLINE from 1990 through 2004, corresponding to 0.95% of all articles concerning the age group from 0 to 18 years. There was a fivefold increase in the absolute number of Brazilian articles along the study period. The ratio of Brazilian to total articles increased from 0.51 to 1.60% (p < 0.01). Scientific knowledge production remains strongly concentrated in the Southeast of Brazil. CONCLUSION: Brazilian research activities in pediatrics have had a steady upward trend, which relates to the proportional growth of the Brazilian scientific production as a whole.

Knowledge production; pediatric research; bibliometrics; impact fator

ARTIGO ORIGINAL

Produção brasileira de conhecimento no campo da saúde da criança e do adolescente

Danilo Blank^I; Luciana O. Rosa^II; Ricardo Q. Gurgel^III; Marcelo Z. Goldani^IV

^IProfessor, Departamento de Pediatria, Faculdade de Medicina, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre, RS

^IIResearch fellow, Faculdade de Medicina, Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS), Porto Alegre, RS

^IIIProfessor, Núcleo de Pós-Graduação em Medicina, Universidade Federal de Sergipe (UFS), São Cristóvão, SE

^IVProfessor, Departamento de Pediatria, Faculdade de Medicina, UFRGS, Porto Alegre, RS

^{Correspondência}

RESUMO

OBJETIVOS: Verificar (a) a tendência das citações de artigos de pediatria oriundos de instituições brasileiras, no MEDLINE, de 1990 até 2004; (b) o número de artigos publicados em periódicos com os maiores fatores de impacto; e (c) a distribuição regional das instituições.

MÉTODOS: Busca no PubMed com os seguintes limites: idade de 0 a 18 anos, língua inglesa, subconjuntos MEDLINE e humanos, afiliação brasileira. Para cada ano, comparamos os artigos encontrados com o total de citações no MEDLINE, obedecendo aos mesmos limites de busca, com exceção da afiliação; o mesmo foi feito com o total da produção científica brasileira citada no MEDLINE, sem limites de idade. Realizamos uma análise descritiva, usando o teste qui-quadrado para a tendência. Agregamos os dados relativos à publicação em periódicos com os maiores fatores de impacto em períodos de 3 anos.

RESULTADOS: Entre 1990 e 2004, o MEDLINE citou 7.222 artigos de pediatria brasileiros, correspondendo a 0,95% de todos os artigos tratando da faixa etária de 0 a 18. O número absoluto de artigos brasileiros aumentou cinco vezes durante esse período. A fração de artigos brasileiros em relação ao número total de artigos aumentou de 0,51 a 1,60% (p < 0,01). A produção científica permanece fortemente concentrada na Região Sudeste do Brasil.

CONCLUSÃO: As atividades brasileiras de pesquisa em pediatria demonstram uma tendência ascendente constante, proporcional ao crescimento de toda a produção científica brasileira.

Palavras-chave: Produção científica, pesquisa em pediatria, bibliometria, fator de impacto.

Introdução

O aumento da produção de conhecimento - e, portanto, do número de periódicos - na segunda metade do século passado levou a comunidade de profissionais e pesquisadores a encarar o desafio de desenvolver critérios de qualidade que pudessem orientar os leitores na seleção da melhor evidência científica^1,2. Entretanto, a falta de um esquema de consenso para medir os resultados técnicos e científicos sob um esquema conceitual razoável levou a um leque díspar de indicadores. Deste modo, na prática, a assim chamada cientometria é muitas vezes realizada somente com o uso da bibliometria, que é a medida de publicações científicas, mesmo que além dela não existam relações sistemáticas com outras categorias de medida de ciência e tecnologia³. A bibliometria baseia-se no conceito de que a qualidade de periódicos e artigos pode ser inferida pela hierarquização da produção científica, construída por meio de técnicas quantitativas que fornecem certos índices⁴.

O fator de impacto, introduzido no início da década de 1960 por Eugene Garfield e Irving Sherby, é a mais destacada das muitas medidas de citação de periódicos que têm sido propostas^5,6. Calcula-se o fator de impacto de um periódico dividindo o número de citações, no ano corrente, a quaisquer itens publicados no referido periódico nos 2 anos anteriores pelo número de artigos substantivos (itens fonte) publicados no periódico no mesmo período⁷. Assim, o fator de impacto, que é visto como um indicador da visibilidade e difusão de conhecimento científico, é basicamente uma razão entre citações e itens publicados passíveis de citação. Sua força reside sobretudo na abrangência, estabilidade e aparente reprodutibilidade; por outro lado, algumas falhas óbvias, junto com seu uso leviano, provocaram uma torrente de críticas e discussões controversas sobre sua exatidão^6,8-17. A Thomson Scientific, antes conhecida por Institute for Scientific Information (ISI), calcula e publica, no Journal Citation Reports, o fator de impacto dos 7.500 periódicos mais citados do mundo, que empregam a revisão por pares, em aproximadamente 200 áreas. Entre esses, 17 são brasileiros, e sete deles pertencem ao campo da saúde⁹.

Com o desenvolvimento de aplicações práticas dos índices bibliométricos, eles se tornaram a base técnica para a avaliação sistemática e decisões estratégicas dentro da arena política, assim como em todo o domínio social. No Brasil, a bibliometria é amplamente utilizada para nortear a alocação de subsídios e recursos técnicos, por meio de esquemas institucionais de hierarquização bibliográfica. Por exemplo, o Qualis - Sistema de Classificação de Periódicos, Anais e Revistas da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - emprega o Journal Citation Reports como referência para classificar os periódicos de circulação internacional¹⁸. A CAPES regula e orienta a produção científica nacional, por meio da avaliação contínua de institutos de pesquisa e cursos de pós-graduação, visando aumentar a participação brasileira no cenário internacional.

O grau de inserção internacional da produção brasileira científica pode ser medido pela análise de bases de dados de citações bibliográficas, como Biological Abstracts, FSTA-Food Science, Web of Science e OVID. Duas bases de dados destacam-se na América Latina: o SciELO (Scientific Library Online) e o LILACS (Literatura Latino-Americana e do Caribe em Ciências da Saúde). A maior base de dados do mundo na área da saúde é a MEDLINE (U.S. National Library of Medicine's Medical Literature Analysis and Retrieval System Online), que contém cerca de 13 milhões de referências a artigos de 4.800 periódicos do mundo todo¹⁹.

Embora a bibliometria esteja completamente incorporada ao trabalho diário dos pesquisadores como uma ferramenta para monitorar o desempenho pessoal e institucional, há poucos estudos que analisaram as tendências e o grau de inserção internacional da produção científica do Brasil de acordo com áreas de conhecimento específicas. Assim, decidimos realizar este estudo com os seguintes objetivos: (a) avaliar a inserção internacional da produção científica brasileira no campo da saúde da criança e do adolescente, bem como sua tendência temporal, por meio da pesquisa das citações da MEDLINE e publicação de artigos em revistas com maiores fatores de impacto; (b) avaliar a distribuição dessa produção científica, de acordo com a região geográfica e o tipo de centro de pesquisa.

Métodos

Realizamos uma busca no site PubMed, a fim de obter todas as citações anuais de artigos de afiliação brasileira na MEDLINE relacionados à saúde da criança e do adolescente, e que foram publicados em língua inglesa de 1990 a 2004. Para tanto, aplicamos os seguintes parâmetros delimitadores: affiliation [Brazil OR Brasil] ; age [All Child: 0-18 years] ; language [English] ; subjects [Humans] ; database subset [MEDLINE] ; publication date [1990-2004] . O parâmetro afiliação significa que a busca incluiu artigos cujo endereço do primeiro autor (inclusive o endereço de e-mail) ou instituição, como aparece na revista, situa-se no Brasil, independente do país de publicação da revista. Com tais delimitações, o resultado obtido pelo PubMed limita-se a citações na MEDLINE, também excluindo citações "em processo" e "fornecido pelo editor", pois essas ainda não passaram pelo processo completo de indexação e não contêm os dados necessários.

Calculamos a taxa anual de participação de artigos de afiliação brasileira em relação à base de dados de todas as afiliações.

Verificamos a localidade que definia a afiliação do artigo, tanto o endereço do autor como da instituição, e especialmente o tipo de instituição (centro de pesquisa, universidade, hospital de atendimento).

Também analisamos o número de artigos brasileiros que foram publicados nas revistas com os maiores fatores de impacto. Considerando que aproximadamente 66% das citações no campo da saúde da criança e do adolescente derivam de quatro revistas norte-americanas (Pediatrics, Journal of Pediatrics, JAMA e New England Journal of Medicine) e três britânicas (Archives of Disease in Childhood, Lancet e British Medical Journal)²⁰, realizamos uma busca seletiva de artigos brasileiros nessas sete revistas e agregamos os dados em períodos de 3 anos.

Realizamos uma análise descritiva dos dados, usando o teste qui-quadrado para a análise de tendência de proporções

Resultados

Um total de 7.222 artigos de pediatria brasileiros, publicados em inglês, foram citados na MEDLINE nos últimos 15 anos, pouco menos que 1% de toda a base de dados de artigos referentes a esse campo de estudo. Entretanto, o número absoluto de artigos brasileiros teve um aumento geral de 404%, enquanto que o crescimento de artigos de pediatria foi de apenas 61%. Houve um incremento significativo de 213% (p < 0,01) na fração de artigos brasileiros de pediatria na MEDLINE, enquanto que a fração de todos os artigos brasileiros publicados em inglês, independente de limites de idade, aumentou em 264% (p < 0.01) no mesmo período (Tabela 1).

O número de artigos de pediatria publicados nas revistas de maior fator de impacto permaneceram escassos durante o período avaliado. A Figura 1 mostra o número de artigos brasileiros sobre saúde da criança e do adolescente que foram publicados nas revistas analisadas, com exceção do JAMA e do New England Journal of Medicine, que não publicaram um único artigo brasileiro de pediatria de 1990 a 2004. Considerando o aumento significativo do número total de artigos brasileiros, tanto sobre pediatria como outras áreas, que foram indexados na MEDLINE, houve uma redução proporcional na quantidade de artigos publicados nesses periódicos de maior impacto.

Quanto ao estado de origem dos trabalhos, houve uma grande concentração da produção de conhecimento científico em São Paulo, que permaneceu estável ao longo do período estudado. Por outro lado, houve um aumento considerável na participação do estado do Rio Grande do Sul, e um pequeno acréscimo referente a Minas Gerais e Paraná, enquanto que a participação do Rio de Janeiro diminuiu (Figura 2).

Durante esse período, houve uma redução na participação de centros pediátricos no número total de artigos sobre saúde da criança e do adolescente, enquanto que a produção de centros de pesquisa voltados para outras áreas, como saúde pública, medicina interna, psiquiatria, fisiologia e biologia molecular, expandiram suas contribuições (Figura 3).

Discussão

Este estudo demonstrou um aumento significativo na visibilidade internacional de artigos brasileiros voltados à saúde da criança e do adolescente, embora não tenham sido introduzidos de maneira satisfatória no domínio das revistas com os maiores fatores de impacto. Os resultados também mostraram que a pesquisa no campo da saúde da criança e do adolescente vem seguindo a mesma tendência crescente de toda a produção de conhecimento médico no Brasil.

Outro estudo indica um crescimento geral de 44% na participação de artigos brasileiros entre as publicações científicas internacionais, e um aumento de 39% em citações gerais, de 1997 a 2001. No entanto, o número de citações de artigos de autores brasileiros diminuiu de 7,5 para 3,5 citações por artigo no mesmo período²¹. Pelo menos quatro hipóteses podem ser aventadas para explicar esse fenômeno: em primeiro lugar, os artigos brasileiros têm pouco acesso a revistas de maior fator de impacto, como demonstramos neste estudo, e, por isso, têm menor probabilidade de serem citados. Em segundo lugar, enquanto diversos autores brasileiros obtêm sucesso na publicação de artigos em revistas com maior fator de impacto, seus trabalhos são pouco citados. Foi demonstrado que somente 15% dos artigos de determinada revista são responsáveis por seu fator de impacto, e que a afiliação institucional do autor está entre os fatores que levam à citação de seu trabalho. Isso significa que pertencer a instituições de pesquisa periféricas reduz a chance de ser citado. Em terceiro lugar, apesar do fato de que um autor tem maior probabilidade de ser citado por seus pares, o baixo fator de impacto de revistas nacionais, além do baixo valor atribuído a elas pelos critérios de avaliação de agências financiadoras de pesquisas, levam os autores a enviar seus melhores artigos para periódicos internacionais. Isso resulta num círculo vicioso: quanto mais um autor afasta seus relatos de pesquisa de seus pares, publicando no estrangeiro, mesmo com poucas chances de ser citado em outro lugar, mais as revistas nacionais são desvalorizadas e, portanto, tendem a atrair menos artigos de qualidade, o que acarreta ainda menos citações. Em quarto lugar, podemos supor que o caminho para um reconhecimento mais amplo da produção científica brasileira está no meio de uma fase de transição, que pode ser caracterizada por um crescimento inicial na publicação de artigos em revistas internacionais, a qual deve ser seguida de uma maior visibilidade e, posteriormente, de mais citações.

Os resultados deste estudo confirmam a grande concentração de produção científica no estado de São Paulo, como demonstrado previamente²². O aumento do número de artigos de outros estados, como Rio Grande do Sul e Minas Gerais, correlaciona-se com a avaliação dos programas de pós-graduação realizada pela CAPES, que indica a crescente excelência nas instituições de pesquisa acadêmica nessas regiões¹⁸.

Por outro lado, a grande participação de especialidades não-pediátricas, como as ciências básicas, saúde pública, epidemiologia e medicina interna, demonstra que a saúde da criança e do adolescente como objeto de pesquisa não é um monopólio de centros de pesquisa pediátricos. Este achado também pode representar a origem histórica e inserção de pesquisadores em pediatria em programas de pós-graduação não-pediátricos. Porém, pode corresponder a estratégias institucionais de alguns centros de pesquisa, que tendem a concentrar sua produção em programas de pós-graduação hegemônicos, geralmente relacionados à ciência básica ou à saúde do adulto. Essa grande diversidade de abordagens nos leva a repensar a composição dessa área de estudo, particularmente em relação a programas de pós-graduação com um escopo pediátrico clínico restrito, de modo a promover uma reorganização futura dentro de um caráter multidisciplinar.

Algumas limitações metodológicas deste estudo devem ser apontadas. A primeira e mais óbvia é que uma busca no PubMed restringe os resultados a citações de artigos da MEDLINE. Já que apenas 32 das 283 revistas brasileiras indexadas na base de dados LILACS são parte das 4.250 revistas indexadas na MEDLINE, e somente 12 estão indexadas no ISI, é evidente que muitos estudos de qualidade não foram encontrados²³. Não tentamos obter manualmente as revistas não indexadas, pois fugiria ao escopo deste estudo. Porém, deve-se considerar que as poucas revistas brasileiras indexadas na MEDLINE tendem a ter um grande aumento nas submissões. Isso resulta em um aumento na taxa de rejeição, que remete um número crescente de bons artigos ao domínio menos acessível das publicações secundárias²⁴.

Segundo, a MEDLINE é uma base de dados bibliográfica que está em constante processo de atualização; assim, os números que obtivemos ainda podem mudar nos próximos 3 anos. Entretanto, verificamos a evolução de citações por 1 ano, utilizando os mesmos descritores e delimitações, e a modesta variação de dados não afetou as tendências gerais.

Terceiro, a decisão de incluir campos mais produtivos do que aqueles dedicados à pesquisa clínica pode ter levado a uma superestimação da verdadeira posição da produção de conhecimento dos pediatras brasileiros. No entanto, mantivemos critérios uniformes para analisar a tendência temporal, exatamente para mostrar a inserção internacional geral da pesquisa brasileira em pediatria.

Em conclusão, o aumento do número de artigos sobre a saúde da criança e do adolescente e sua inserção no cenário internacional contribuíram significativamente para a tendência de crescimento da produção brasileira de conhecimento científico. Contudo, apesar dos resultados positivos, muito poucos artigos brasileiros - em clara desproporção ao crescimento significativo de publicações - são publicados em revistas com maiores fatores de impacto. Isso impõe um grande desafio aos pesquisadores brasileiros: manter a visibilidade crescente no cenário de publicações internacionais, sobretudo por meio da busca por qualidade, a fim de superar a discriminação.

23. BIREME - Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde. http://www.bireme.br. Acesso: 31/10/2005.

Artigo submetido em 03.11.05, aceito em 22.01.06.

• 1. Garfield E. The impact factor: Institute for Scientific Information. http://www.isinet.com Acesso: 14/03/2005.
• 2. Aksnes DW. Citations and their use as indicators in science policy. Studies of validity and applicability issues with a particular focus on highly cited papers [ thesis] . Enschede-West, Nehterlands: University of Twente; 2005.
• 3. Geisler E. The measurement of scientific activity: research directions in linking philosophy of science and metrics of science and technology outputs. Scientometrics. 2005;62:269-84.
• 4. Bordons M, Zulueta A. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol. 1999;52:790-800.
• 5. Garfield E. Journal impact factor: a brief review. CMAJ. 1999;161:979-800.
• 6. Glanzel W, Moed HF. Journal impact measures in bibliometric research. Scientometrics. 2002;53:171-93
• 7. Garfield E. The agony and the ecstasy - The history and meaning of the journal impact factor. Conference at the 5th International Congress on Peer Review and Biomedical Publication; 2005 Sep 16-18; Chicago, USA. Chicago: JAMA/BMJ; 2005. http://garfield.library.upenn.edu/papers/jifchicago2005.pdf Acesso: 08/10/2005.
• 8. Coelho PM, Antunes CM, Costa HM, Kroon EG, Sousa Lima MC, Linardi PM. The use and misuse of the "impact factor" as a parameter for evaluation of scientific publication quality: a proposal to rationalize its application. Braz J Med Biol Res. 2003;36:1605-12.
• 9. Coura JR, Willcox LC. Impact factor, scientific production and quality of Brazilian medical journals. Mem Inst Oswaldo Cruz. 2003;98:293-7.
• 10. Leff D. Making an impact: the rise of the impact factor as a measure of journal quality. J Am Diet Assoc. 2005;105:29-30.
• 11. Lundberg G. The "omnipotent" Science Citation Index impact factor. Med J Aust. 2003;178:253-4.
• 12. Nakayama T, Fukui T, Fukuhara S, Tsutani K, Yamazaki S. Comparison between impact factors and citations in evidence-based practice guidelines. JAMA. 2003;290:755-6.
• 13. Porta M, Copete JL, Fernandez E, Alguacil J, Murillo J. Mixing journal, article, and author citations, and other pitfalls in the bibliographic impact factor. Cad Saude Publica. 2003;19:1847-62.
• 14. Saha S, Saint S, Christakis DA. Impact factor: a valid measure of journal quality? J Med Libr Assoc. 2003;91:42-6.
• 15. Walter G, Bloch S, Hunt G, Fisher K. Counting on citations: a flawed way to measure quality. Med J Aust. 2003;178:280-1.
• 16. Sevinc A. Manipulating impact factor: an unethical issue or an Editor's choice? Swiss Med Wkly. 2004;134:410.
• 17. Weale AR, Bailey M, Lear PA. The level of non-citation of articles within a journal as a measure of quality: a comparison to the impact factor. BMC Med Res Methodol. 2004;4:1-8.
• ¹⁸
  CAPES. Critérios Qualis e de conceitos relacionados à publicação. http://www.capes.gov.br/capes/portal/conteudo/10/QuemQuem.htm Acesso: 10/10/2005.
• 19. National Library of Medicine. MEDLINE Factsheet. http://www.nlm.nih.gov/pubs/factsheets/medline.html Acesso: 10/10/2005.
• 20. Birken CS, Parkin PC. In which journals will pediatricians find the best evidence for clinical practice? Pediatrics. 1999;103(5 Pt 1):941-7.
• 21. King D. The scientific impact of nations. Nature. 2004;430:311-6.
• 22. Rummler G, Spinola. A identificaçăo e procedęncia de periódicos nacionais referentes ŕ temática de saúde pública ou saúde coletiva, editados entre 1998 e 2003. Cad Saude Publica. 2004;20:1041-9.
• 24. Blank D, Buchweitz C, Procianoy R. Impact of SciELO and MEDLINE indexing on the submission of articles to a "non-English" journal. J Pediatr (Rio J). 2005;81:431-4.

Datas de Publicação

• Publicação nesta coleção
  12 Jun 2006
• Data do Fascículo
  Abr 2006

Histórico

• Recebido
  03 Nov 2005
• Aceito
  22 Jan 2006