Em busca da eficiência: visibilidade internacional da produção científica dos programas brasileiros de pós-graduação em saúde infantil e do adolescente entre 1998 e 2003

Resumos

OBJECTIVE:To assess the trend in the number of published articles by Brazilian graduate programs in child and adolescent health and the proportion of such publications cited in MEDLINE and Thomson Scientific's Journal Citation Reports (JCR), using the former database as a proxy for efficiency and the latter as an indicator of visibility. METHODS: We assessed the trends of 14 graduate programs concerning the number of theses, dissertations, and articles cited in MEDLINE and JCR, through secondary data from the latest two triennial evaluations carried out by the Brazilian Federal Agency for the Improvement of Higher Education (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, CAPES) between 1998 and 2000 and between 2001 and 2003). RESULTS:The number of published articles increased (1,520 to 1,917), as did the median number of articles cited both in MEDLINE (32.5 to 45) and in JCR (24.5 to 27). The median number of dissertations rose from 19.5 to 26.5; the median number of theses went up from 12 to 13.5. The median number of faculty advisors decreased (21.5 to 18.4). CONCLUSION: Graduate programs in child and adolescent health became more efficient in producing knowledge through the publication of more articles with broader international visibility. Such trend was contradictorily accompanied by a diminishing number of advisors.

Knowledge bases; bibliometrics; scientific publication indicators; support and finance policies on scientific publishing; scientific and technical publications; scientific communication

ARTIGO ORIGINAL

Em busca da eficiência: visibilidade internacional da produção científica dos programas brasileiros de pós-graduação em saúde infantil e do adolescente entre 1998 e 2003

Marcelo Z. Goldani^I; Ricardo Q. Gurgel^II; Danilo Blank^I; Jerônimo Gerolin^III; Jair J. Mari^IV

^IProfessor adjunto, Departamento de Pediatria, Faculdade de Medicina, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre, RS

^IIProfessor adjunto, Departamento de Medicina e Núcleo de Pós-Graduação em Medicina, Universidade Federal de Sergipe (UFSE), São Cristóvão, SE

^IIIAnalista de sistemas, Centro de Avaliação e Integração de Dados Institucionais, Universidade Federal de São Paulo (UNIFESP), São Paulo, SP

^IVProfessor titular, Departamento de Psiquiatria, UNIFESP, São Paulo, SP

^{Correspondência}

RESUMO

OBJETIVO:Avaliar a tendência do número de publicações oriundos dos programas de pós-graduação brasileiros em saúde da criança e do adolescente e a proporção de citações desses artigos no MEDLINE e no Journal Citation Reports (JCR), utilizando a primeira base de dados como medida de eficiência e a última como indicador de visibilidade.

MÉTODOS: Avaliamos 14 programas de pós-graduação quanto ao número de teses, dissertações e artigos citados no MEDLINE e JCR, através de dados secundários das duas últimas avaliações trienais realizadas pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), de 1998 até 2000 e de 2001 até 2003.

RESULTADOS:O número de artigos publicados aumentou (de 1.520 para 1.917), bem como o número mediano de artigos citados tanto no MEDLINE (de 32,5 para 45) como no JCR (de 24,5 para 27). O número mediano de dissertações aumentou de 19,5 para 26,5; o número mediano de teses cresceu de 12 para 13,5. O número mediano de orientadores diminuiu (de 21,5 para 18,4).

CONCLUSÃO: Os programas de pós-graduação em saúde infantil e do adolescente tornaram-se mais eficientes quanto à produção de conhecimento através da publicação de mais artigos com maior visibilidade internacional. Tal tendência foi acompanhada contraditoriamente pela redução no número de orientadores.

Palavras-chave: Bases de conhecimento, bibliometria, indicadores de publicação científica, políticas de apoio e financiamento para publicações científicas, publicações técnicas e científicas, comunicação e difusão científica.

Introdução

A eficiência da pesquisa acadêmica é de interesse crucial para os clínicos, incluindo os pediatras, dada a tendência crescente de se seguir a medicina baseada em evidências, cuja característica de incorporar ordenadamente evidências de pesquisa à prática médica advém diretamente do conceito de pesquisa e desenvolvimento. Sob um enfoque mais amplo da saúde pública, a pesquisa acadêmica de qualidade é essencial para a elaboração de políticas nacionais de saúde, para o planejamento de ações de saúde e para a provisão eficiente dos serviços de saúde^1-4.

Por outro lado, a maioria dos acadêmicos teóricos concorda atualmente que a pujança do binômio pesquisa/desenvolvimento de uma nação deve colocar a sociedade e o ambiente no cerne de um sistema de pesquisa fundamentado em qualidade, transparência e valorização dos recursos financeiros^2,5. Tal conceito geralmente se traduz pela equação que iguala eficiência à soma da utilização adequada de recursos financeiros e produção de conhecimento^6,7.

Uma vez que a chamada sociedade do conhecimento é cada vez mais vista como economia do conhecimento no contexto globalizado de hoje, e como tal, exige uma produção de conhecimento com a maior abrangência possível, a noção de visibilidade insere-se definitivamente no léxico da pesquisa acadêmica^8-14. De acordo com muitos autores, a julgar pelo cenário dos principais periódicos com revisão por pares, a aceitação de publicações é igual a qualidade, enquanto que a proporção de publicações citadas em bases de dados de prestígio como o MEDLINE e o Journal Citation Reports (JCR) é vista como um indicador de visibilidade^14-16. Essa combinação de visibilidade e qualidade é adotada pela maioria das agências que financiam pesquisas, como é o caso da CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), que fundamenta sua avaliação dos programas de pós-graduação na produção de publicações, visibilidade de preferência internacional e desempenho dos orientadores¹⁷.

O Brasil é um dos poucos países de renda média que possui um programa estatal sólido dirigido a projetos de financiamento de produção de conhecimento na área da saúde, a despeito do baixo orçamento destinado à pesquisa científica, levando em conta seu produto interno bruto^15,18,19.

As políticas governamentais de financiamento para pesquisa em saúde no Brasil são operacionalizadas principalmente através de três agências com abrangência nacional (a CAPES, o Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq e a Financiadora de Estudos e Projetos - FINEP), e através de fundações estaduais de apoio à pesquisa. A CAPES se destaca entre elas, tendo como principal objetivo organizar e planejar o desenvolvimento de recursos humanos em nível da pós-graduação. Seu processo de avaliação do programa de pós-graduação iniciou no final dos anos 1970, mas mudanças significativas nos métodos e critérios de avaliação ocorreram a partir de 1996, dando grande ênfase à produção de conhecimento, especialmente ao número de artigos publicados, visibilidade internacional e desempenho individual dos pesquisadores^17,20.

Durante esse período, a participação geral das publicações científicas brasileiras nas bases de dados de indexação internacionais aumentou significativamente de 0,56% para 1,49%, de modo que o Brasil ocupa, atualmente, a 17ª posição na lista de países com maior produção científica e a 9ª posição na lista de países com o maior aumento na produção científica dos últimos 10 anos²¹.

Estudos recentes mostram avanços importantes na publicação de artigos brasileiros sobre saúde humana em periódicos internacionais²². Dentre todos os campos de conhecimento que vêm seguindo essa tendência, a saúde infantil e do adolescente chama mais a atenção, tendo apresentado um aumento de 213% nas citações do MEDLINE nos últimos 12 anos²³. Várias especialidades de saúde contribuem para esse número de publicações, especialmente a saúde pública, medicina interna e centros de pesquisas cirúrgicas. Embora a contribuição dos institutos e departamentos acadêmicos de pediatria também seja significativa, pesquisas recentes sugerem que os mesmos não conseguem acompanhar a tendência ascendente dessas outras especialidades no que diz respeito a publicações²³.

O objetivo deste estudo foi avaliar a tendência no número de artigos publicados oriundos de programas brasileiros de pós-graduação em saúde da criança e do adolescente e a proporção de tais publicações citadas no MEDLINE e no JCR, utilizando a primeira base de dados como indicador de eficiência e a segunda de visibilidade.

Métodos

Este é um estudo ecológico de tendência temporal de dados secundários obtidos de relatórios de avaliação contínua de programas de pós-graduação em saúde infantil e do adolescente. Incluímos todos os programas pertencentes ao campo mencionado, credenciados pela CAPES e avaliados durante os últimos dois triênios (1998 até 2000, 2001 até 2003).

Analisamos as seguintes variáveis: número de trabalhos de conclusão (dissertações e teses), número de orientadores, número de orientandos e número de artigos publicados. Esses dados foram avaliados a partir dos relatórios anuais emitidos por cada programa de pós-graduação conforme os critérios estabelecidos pela CAPES. Já que a pontuação máxima do sistema Qualis da CAPES - processo de classificação dos veículos utilizados pelos programas de pós-graduação para difundir a produção intelectual de seus docentes e alunos - adota o JCR como referência para a classificação de periódicos de circulação internacional (Qualis Internacional A e B), e o MEDLINE como principal base de dados para a segunda posição (Qualis Internacional C), selecionamos esses dois critérios como indicadores de visibilidade²⁴. A visibilidade geral de cada programa foi inferida a partir da razão entre o número de artigos citados no MEDLINE e/ou no JCR e o número total de artigos publicados no mesmo período. É importante lembrar que essas duas bases de dados apresentam um certo grau de sobreposição, pois o mesmo artigo pode ser indexado em ambas.

A análise dos dados foi descritiva e feita através de medidas de freqüência e de tendência central. Usamos o teste de Wilcox para identificar diferenças significativas entre as medianas das amostras dependentes e a regressão linear para determinar a tendência das medianas dos orientadores e artigos por ano durante o período de estudo. O nível de significância adotado para todos os cálculos foi de p < 0.05.

Resultados

Quatorze programas de pós-graduação em saúde materno-infantil, pediatria e saúde infantil e do adolescente foram incluídos na análise, 10 dos quais eram credenciados pela CAPES para a obtenção de doutorado e quatro para a obtenção de mestrado.

Todos os índices avaliados de produção de conhecimento, por exemplo, dissertações, teses e artigos publicados, apresentaram uma tendência geral ascendente, conforme demonstrado pela análise das medianas dos artigos publicados pelos 14 programas. O número total de dissertações teve um aumento de 35,9% entre o primeiro e o segundo triênio, enquanto que o número de teses aumentou 12,5% (Tabela 1 ). O número total de artigos publicados foi de 1.520 durante o primeiro triênio e de 1.917 durante o segundo, correspondendo a um aumento de 26%. Se considerarmos separadamente a mediana dos artigos por programa citados no MEDLINE e no JCR, houve um aumento de 38,5% e 10,2% respectivamente. Em contrapartida, houve uma redução geral de 14,7% no número de orientadores entre 1998 e 2003 (p < 0,01) (Figura 1 ).

O aumento no número de artigos indexados no MEDLINE foi maior comparado àqueles indexados no JCR, embora tenha havido um aumento perceptível na visibilidade dos artigos publicados durante o período de estudo, conforme sugerido pela citação tanto no MEDLINE como no JCR (Tabela 2 ).

Discussão

Os resultados deste estudo indicam um aumento positivo moderado na produção científica dos programas de pós-graduação em saúde da criança e do adolescente, de acordo com estudos que avaliaram outras áreas de conhecimento²⁵. Todavia, um de nossos principais achados é a redução no número de orientadores em relação ao aumento no número de trabalhos de conclusão e artigos publicados.

Algumas questões podem ser levantadas na tentativa de discutir tais resultados. Primeiro, o processo de avaliação contínua realizado pela CAPES apresenta um impacto positivo sobre o desempenho dos programas de pós-graduação? A nova metodologia de avaliação implementado pela CAPES em 1998 considera tanto o número como a qualidade de artigos científicos como indicadores de desempenho. Assim, o fator de impacto dos periódicos nos quais os artigos são publicados é um dos principais critérios de qualidade, cujo objetivo de máxima excelência é a publicação em revistas com fator de impacto igual a ou acima da mediana dos periódicos de determinada especialidade. Em um estudo que avaliou os indicadores de desempenho para as áreas de pesquisa em câncer, doenças cardiovasculares e malária no Brasil no final dos anos 1980 e início dos anos 1990, os achados já demonstravam um crescimento contínuo da comunidade científica e previam um impacto positivo da atividade científica na educação biomédica²⁶²⁷. Em outro estudo recente, avaliando a produção de conhecimento em pediatria, mostrou-se um aumento no número de artigos publicados desde 1993, embora isso tenha iniciado antes da implementação do novo processo de avaliação pela CAPES, não enfocando especificamente a produção dos programas de pós-graduação²³. Por outro lado, o número decrescente de orientadores ao longo do presente estudo pode indicar uma reação aos novos critérios de avaliação, que tendem a afastar aqueles docentes com baixa produção acadêmica. Esse cenário pode interferir na adesão de novos pesquisadores e orientadores aos programas de pós-graduação, com subseqüente limitação de sua capacidade produtiva.

Em segundo lugar, será que um investimento financeiro maior em projetos de pesquisa na área de saúde humana está correlacionado a um aumento significativo na produção de conhecimento em saúde materno-infantil? Em geral, não houve nenhum aumento significativo no financiamento de pesquisa em saúde humana no Brasil nos últimos 20 anos. A dinâmica da competitividade no setor da produção de conhecimento não foi bem esclarecida ainda; não existe nenhuma referência teórica que possa explicar adequadamente o comportamento e relações entre os vários atores de um campo com tamanha competitividade. A ciência está certamente envolvida no processo de produção do bem-estar, porém não seguindo princípios básicos de mercado tal como a pressão de consumo, e nem mesmo é sensível a investimentos em áreas adjacentes à ciência e à tecnologia²⁸. No Brasil, como apontado por King, a produção científica é muito pequena quando comparada à renda nacional bruta, indicando que investimentos em ciência e tecnologia ainda não são vistos como prioridade estratégica do país¹⁵. Além disso, de acordo com a CAPES, apesar de um aumento de 205% nos títulos de mestrado e doutorado nos últimos 10 anos, houve um aumento de apenas 30% no orçamento para financiamento de programas de pós-graduação, com uma redução marcante de bolsas de estudo para novos alunos durante esse período²⁹. Portanto, esses achados sugerem que o crescimento da produção científica no Brasil ocorreu como reação das instituições à política de busca por excelência, na qual o processo de avaliação teve um papel fundamental.

Algumas limitações do presente estudo prejudicam uma análise mais detalhada da qualidade das publicações oriundas dos programas de pós-graduação. Primeiro, falta uma série de tendência temporal mais longa que permita uma definição mais adequada da correlação entre o novo método de avaliação e a tendência de produção científica. Em segundo lugar, não pudemos avaliar o fator de impacto dos periódicos nos quais os artigos envolvidos poderiam ser publicados. Em terceiro lugar, não conseguimos avaliar o número de citações que tais artigos obtiveram. Nesse sentido, a melhoria dos critérios de avaliação deve permitir o acesso a essa informação no futuro.

Em resumo, a produção científica dos programas de pós-graduação em saúde infantil e do adolescente teve um aumento marcante em termos de visibilidade internacional proporcionado pelo número crescente de publicações de artigos de melhor qualidade. A obtenção de tal nível de eficiência foi acompanhada pela redução no número de orientadores e pelo aumento no número de alunos em um cenário de restrição financeira. A implementação do novo processo de avaliação contínua da CAPES em 1998 estabeleceu novos parâmetros de eficiência que parecem ter estimulado, ao menos parcialmente, o significativo aumento na produção científica dos programas de pós-graduação.

Entretanto, ao compararmos os resultados, houve um aumento total de 95,6% no número de artigos relacionados à saúde infantil, realizados por instituições científicas brasileiras em geral, que foram citados no MEDLINE, entre 1998 e 2003, ao passo que as instituições direcionadas à pediatria apresentaram um desempenho menor, tendo aumentado sua produção em apenas 38,5%^23,30. Esses resultados sugerem, mesmo diante de um aumento significativo, que as instituições pediátricas não responderam na mesma proporção aos insumos gerais para a melhoria do desempenho da produção científica brasileira. As razões para esse cenário devem ser avaliadas imediatamente, entre outras razões, para investigar o orçamento total destinado à pesquisa nas instituições pediátricas e o desempenho administrativo dos programas face aos novos critérios, tais como escalas de dificuldades, oportunidades e pressão administrativa.

Por fim, se olharmos para esse cenário à luz do relato feito por de Meis et al.²⁹, que descreveram o grande nível de estresse dos alunos e docentes de pós-graduação causado pelo conflito entre a crescente competitividade e a escassez de recursos, e levando em conta todas as limitações impostas pela falta de investimentos, devemos pôr em dúvida o crescimento dos programas de pós-graduação.

Agradecimentos

Agradecemos ao revisor pelos comentários pertinentes, que ajudaram a melhorar significativamente a qualidade deste artigo.

Artigo submetido em 25.01.07, aceito em 20.06.07.

Referências bibliográficas

• 1. Vianna CM, Caetano R, Ortega JA, Façanha LO, Mosegui GB, Siqueira M, et al. Flows of financial resources for health research and development in Brazil, 2000-2002. Bull World Health Organ. 2007;85:124-30.
• 2. Guimarães R. Pesquisa em saúde no Brasil: contexto e desafios. Rev Saude Publica. 2006;40(N Esp):3-10.
• 3. Schwartzman S. Equity, quality and relevance in higher education in Brazil. An Acad Bras Cienc. 2004;76:173-88.
• 4. Pope C. Resisting evidence: the study of evidence-based medicine as a contemporary social movement. Health (London).2003;7:267-82.
• ⁵ London, Department of Health, Research and Development Directorate. Best research for best health: A new national health research strategy. London: Department of Health; 2006. http://www.dh.gov.uk/prod_consum_dh/idcplg?IdcService=GET_FILE&dID=23849&Rendition=Web Access: 10/06/2007.
• 6. Levy D. Latin America's tertiary education: accelerating pluralism. In: Levy D. Higher Education and Science and Technology in Latin America and the Caribbean: Responding to Expansion and Diversification. 2002 March 8; Fortaleza: Brazil; 2002. http://www.iadb.org/sds/doc/FortalezaLevy.pdf Access: 10/06/2007.
• 7. Salerno C. What we know about the efficiency of higher education institutions: the best evidence. 2003. http://www.minocw.nl/documenten/bhw-99-bgo99.pdf Access: 10/06/2007.
• 8. Coimbra CE Jr. Dezoito anos de Cadernos de Saúde Pública. Cad Saude Publica.2002;18:4-5.
• 9. Li L, Zhang F. Developing English-language academic journals of China. Scientometrics.2003;57:119-25.
• 10. Ugolini D,Casilli C. The visibility of Italian journals. Scientometrics.2003;56:345-55.
• 11. Brown L. New impact factors reflect NPG's investments. 2004 [site na Internet]; http://www.nature.com/press_releases/if_pr.doc Access: 10/06/2007.
• 12. Zhao D. Challenges of scholarly publications on the web to the evaluation of science: a comparison of author visibility on the web and in print journals. Inf Process Manage. 2005;41:1403-18.
• 13. Campanario JM, González L, Rodríguez C. Structure of the impact factor of academic journals in the field of Education and Educational Psychology: citations from editorial board members. Scientometrics. 2006;69:37-56.
• 14. Buela-CasalG, PerakakisP, TaylorM, ChecaP. Measuring internationality: reflections and perspectives on academic journals. Scientometrics.2006;67:45-65.
• 15. King DA. The scientific impact of nations. Nature.2004;430:311-6.
• 16. Patel V. Closing the 10/90 divide in global mental health research. Acta Psychiatr Scand.2007;115:257-9.
• ¹⁷ Brasil, Ministério da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), Diretoria de Avaliação (DAV). Quesitos, indicadores e critérios para a avaliação trienal da grande área de ciências da saúde - 2001-2003. 2003.
• 18. Pinheiro-Machado R, de Oliveira PL. The Brazilian investment in science and technology. Braz J Med Biol Res.2001;34:1521-30.
• 19. YeFY. A quantitative relationship between per capita GDP and scientometric criteria. Scientometrics.2007;71:407-13.
• 20. Brasil, Ministério da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), Diretoria de Avaliação (DAV). Principais características do Qualis. 2007.
• 21. Glänzel W, Leta J, Thijs B. Science in Brazil. Part 1: A macro-level comparative study. Scientometrics. 2006;67:67-86.
• 22. BressanRA, GerolinJ, MariJJ. The modest but growing Brazilian presence in psychiatric, psychobiological and mental health research: assessment of the 1998-2002 period. Braz J Med Biol Res.2005;38:649-59.
• 23. Blank D, Rosa LO, Gurgel RQ, Goldani MZ. Brazilian knowledge production in the field of child and adolescent health. J Pediatr (Rio J).2006;82:97-102.
• ²⁴ Brasil, Ministério da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Classificação de periódicos, anais, revistas e jornais. 2007. http://qualis.capes.gov.br/webqualis/ Access: 10/06/2007.
• 25. Pellegrini Filho A, Goldbaum M, Silvi J. [Production of scientific articles about health in six Latin American countries, 1973-1992]. Rev Panam Salud Publica.1997;1:23-34.
• 26. Rodrigues PS, Fonseca L, Chaimovich H. Mapping cancer, cardiovascular and malaria research in Brazil. Braz J Med Biol Res. 2000;33:853-67.
• 27. Zorzetto R, Razzouk D, Dubugras MT, Gerolin J, Schor N, Guimares JA, et al. The scientific production in health and biological sciences of the top 20 Brazilian universities. Braz J Med Biol Res. 2006;39:1513-20.
• ²⁸ Brasil, Ministério da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Relatório de Atividades - Exercício 2004.
• 29. de Meis L, Velloso A, Lannes D, Carmo MS, de Meis C. The growing competition in Brazilian science: rites of passage, stress and burnout. Braz J Med Biol Res. 2003;36:1135-41.
• 30. Gibbons M, Limoges C, Nowotny H, Schwartzman S, Scott P, TrowM. The new production of knowledge. Competitiveness, collaboration and globalization. London: Sage; 1994.

Datas de Publicação

• Publicação nesta coleção
  09 Nov 2007
• Data do Fascículo
  Out 2007

Histórico

• Aceito
  20 Jun 2007
• Recebido
  25 Jan 2007