O papel da informetria e da cienciometria e sua perspectiva nacional e internacional

The role of informetrics and scientometrics in the national and international perspective

O papel da informetria e da cienciometria e sua perspectiva nacional e internacional^*

Cesar A. Macias-Chapula, PhD.

Resumo

O objetivo deste trabalho é discutir o papel da informetria e da cienciometria numa perspectiva nacional e internacional, analisando seu uso e sua prática. Inicialmente, apresenta as definições de bibliometria, cienciometria e informetria para, em seguida, tratar do papel da ciência enquanto um processo social, com o objetivo de identificar as limitações dos indicadores científicos. Algumas dificuldades para o desenvolvimento dos indicadores científicos também são abordadas.

Palavras-chave

Informetria; Cienciometria; Bibliometria; Indicadores.

INTRODUÇÃO

Publicar os resultados de suas pesquisas é um compromisso que os cientistas são compelidos a cumprir (Merton¹). O avanço do conhecimento produzido pelos pesquisadores tem que ser transformado em informação acessível para a comunidade científica. Portanto, a pesquisa é desenvolvida num contexto de troca. A publicação dos resultados de pesquisa tem três objetivos: divulgar descobertas científicas, salvaguardar a propriedade intelectual e alcançar a fama (Okubo²). Um documento científico é, ao mesmo tempo, mais e menos que um conceito ou um dado ou uma hipótese. Se o documento é a expressão de uma pessoa ou de um grupo trabalhando em uma frente de pesquisa, podemos dizer alguma coisa sobre as relações entre as pessoas a partir dos próprios documentos (Price³).

Atualmente, os indicadores da atividade científica estão no centro dos debates, sob a perspectiva das relações entre o avanço da ciência e da tecnologia, por um lado, e o progresso econômico e social, por outro. Revisões de políticas científicas pareceriam inconcebíveis, hoje, sem recorrer aos indicadores existentes. Se por muito tempo o foco das avaliações permaneceu orientado para medir os insumos, como verbas e pessoal de P&D (pesquisa e desenvolvimento), crescentemente o interesse está se voltando para os indicadores de resultados (Okubo²; King⁴). Em tudo o que se refere à ciência, os indicadores bibliométricos e cienciométricos tornaram-se essenciais.

O objetivo deste trabalho é discutir o papel da informetria e da cienciometria numa perspectiva nacional e internacional, analisando seu uso e sua prática. Inicialmente, o trabalho apresenta as definições de bibliometria, cienciometria e informetria para, em seguida, tratar do papel da ciência enquanto um processo social, com o objetivo de identificar as limitações dos indicadores científicos. Algumas limitações e dificuldades para o desenvolvimento dos indicadores científicos também são abordadas.

Definições

Entre os cientistas da informação da Europa e dos Estados Unidos, o termo informetria tornou-se comum somente nos últimos dez anos, como um campo geral de estudo que inclui as áreas mais antigas da bibliometria e da cienciometria. Tague-Sutcliffe⁵ definiu assim essas disciplinas:

• Bibliometria é o estudo dos aspectos quantitativos da produção, disseminação e uso da informação registrada. Usada pela primeira vez por Pritchard

  ⁶ em 1969, a bibliometria desenvolve padrões e modelos matemáticos para medir esses processos, usando seus resultados para elaborar previsões e apoiar tomadas de decisão.

• Cienciometria é o estudo dos aspectos quantitativos da ciência enquanto uma disciplina ou atividade econômica. A cienciometria é um segmento da sociologia da ciência, sendo aplicada no desenvolvimento de políticas científicas. Envolve estudos quantitativos das atividades científicas, incluindo a publicação e, portanto, sobrepondo-se à bibliometria.

• Informetria é o estudo dos aspectos quantitativos da informação em qualquer formato, e não apenas registros catalográficos ou bibliografias, referente a qualquer grupo social, e não apenas aos cientistas. A informetria pode incorporar, utilizar e ampliar os muitos estudos de avaliação da informação que estão fora dos limites tanto da bibliometria como da cienciometria.

McGrath⁷, em sua tipologia para a definição e classificação dessas três disciplinas, identificou seus objetos de estudo, suas variáveis, seus métodos e objetivos. Um resumo desse trabalho encontra-se na Tabela 1.

Tabela 1

Tipologia	Bibliometria	Cienciometria	Informetria
Objetos de estudo	Livros, documentos, revistas, artigos, autores, usuários	Disciplinas, assuntos, áreas, campos	Palavras, documentos, bases de dados
Variáveis	Número de empréstimos (circulação) e de citações, freqüência de citação de palavras, extensão de frases etc.	Fatores que diferenciam as disciplinas e subdisciplinas. Revistas, autores, documentos. Como os cientistas se comunicam.	Difere da cienciometria no propósito das variáveis; por exemplo, medir a recuperação, a relevância, a revocação etc.
Métodos	Ranking, freqüência, distribuição.	Análise de conjunto e de correspondência.	Modelo vetor-espaço, modelos booleanos de recuperação, modelos probabilísticos; linguagem de processamento, abordagens baseadas no conhecimento, tesauros.
Objetivos	Alocar recursos: tempo, dinheiro etc.	Identificar domínios de interesse. Onde os assuntos estão concentrados. Compreender como e quanto os cientistas se comunicam.	Melhorar a eficiência da recuperação.

Tipologia para definição e classificação da bibliometria, cienciometria e informetria (McGrath⁷)

O escopo da informetria é prático e teórico (Glanzel e Schoepflin⁸), sendo que sua prioridade, em primeiro lugar, tem sido o desenvolvimento de modelos matemáticos e, em segundo lugar, a determinação de medidas para o fenômeno estudado. Os modelos oferecem uma base prática para a tomada de decisões, e seu valor está na sua capacidade de sintetizar, em poucos parâmetros, as características de muitos grupos de dados: formato completo, concentração, difusão e mudança através do tempo.

A cienciometria e a bibliometria concentram-se em poucas e bem definidas áreas, como seguem (Tague-Sutcliffe⁵):

• aspectos estatísticos da linguagem e freqüência de citação de frases, tanto em textos (linguagem natural) como em índices impressos e em formato eletrônico;

• características da relação autor-produtividade medidas por meio do número de artigos ou outros meios; grau de colaboração;

• características das publicações, sobretudo a distribuição em revistas de artigos relativos a uma disciplina;

• análise de citação: distribuição entre autores, artigos, instituições, revistas, países; uso em avaliação; mapa de disciplinas baseado na co-citação;

• uso da informação registrada: circulação em bibliotecas e uso de livros e revistas da própria instituição; uso de bases de dados;

• obsolescência da literatura, avaliada pelo uso e pela citação;

• crescimento de literaturas especializadas, bases de dados, bibliotecas; crescimento simultâneo de novos conceitos;

• definição e medida da informação; e

• tipos e características dos níveis de desempenho da recuperação.

Hoje, a bibliometria e a cienciometria são aplicadas a uma grande variedade de campos, por exemplo, história da ciência, ciências sociais, documentação e biblioteconomia, política científica e indústria da informação.

Recentemente, a OCDE (Organización para la Cooperación y Desarrollo Económico) fez referência à bibliometria como uma ferramenta que permite observar o estado da ciência e da tecnologia através da produção da literatura científica como um todo, em um determinado nível de especialização (Okubo²). A bibliometria é um meio de situar a produção de um país em relação ao mundo, uma instituição em relação a seu país, e até mesmo cientistas em relação às suas próprias comunidades. Esses indicadores científicos são igualmente apropriados para macro-análises (por exemplo, a participação de um determinado país na produção global de literatura científica em um período específico) e para micro-análises (por exemplo, o papel de uma instituição na produção de artigos em um campo da ciência muito restrito). Combinados a outros indicadores, os estudos bibliométricos podem ajudar tanto na avaliação do estado atual da ciência como na tomada de decisões e no gerenciamento da pesquisa.

Os produtos da ciência não são objetos, mas idéias, meios de comunicação e reações às idéias de outros. Enquanto os cientistas e o dinheiro investido em pesquisa estiverem inter-relacionados, mais difícil será medir a ciência como um corpo de idéias e fenômenos, ou compreender sua relação com o sistema econômico e social.

A ciência como um sistema social

Ciência é um processo social. As ações e o comportamento de cientistas dependem do contexto. Para compreender isso, precisamos conhecer os cenários e as personalidades, estejamos olhando quer para o modo como os cientistas fazem ciência, quer para as formas pelas quais os resultados de seus esforços profissionais são comunicados (Cronin⁹). Na verdade, a ciência necessita ser considerada como um amplo sistema social, no qual uma de suas funções é disseminar conhecimentos. Sua segunda função é assegurar a preservação de padrões, e a terceira é atribuir créditos e reconhecimento para aqueles cujos trabalhos têm contribuído para o desenvolvimento das idéias em diferentes campos.

O meio mais comum de atribuir créditos e reconhecimento na ciência é a citação. O artigo de periódico com a sua lista de citações é, e provavelmente assim permanecerá, o meio universalmente aceito pelo qual a instituição científica registra e divulga os resultados de suas investigações. Com o surgimento de índices de citação comerciais nas últimas três décadas, a importância das citações ganhou uma nova dimensão nas vidas dos cientistas, departamentos de pesquisa, universidades e nações.

De acordo com Cronin⁹, a comercialização de citações significa que aqueles que produzem as citações (autores), aqueles que as utilizam (outros cientistas), aqueles que as processam e comercializam (indústria da informação) e aqueles que as distribuem (bibliotecários e cientistas da informação) precisam ter uma compreensão segura do que a citação acarreta e significa.

Estudos anteriores (como os de Cronin⁹ e Kaplan¹⁰) analisaram o alcance das práticas de citação dos autores quando são regidas por normas, e em que grau essas práticas são influenciadas por fatores externos à ciência. Conjecturas parecem favorecer a idéia de que muitos autores citam por um reflexo da moda, sem necessariamente refletirem sobre as implicações dessa prática. Em outras palavras, pode não estar claro nas mentes desses autores por que eles citam de uma determinada maneira, ou como as citações estão relacionadas com a ideologia da ciência. Assim, a atenção dos estudos tem se concentrado no por que e também no que das citações.

A questão mais importante se refere ao grau em que as práticas da citação refletem os elementos normativos e de valor dos sistemas da ciência (Mitroff¹¹). Uma análise adequada da atividade social da ciência deve ser baseada na compreensão dos objetivos muito especiais do trabalho de um cientista; e uma análise do conhecimento científico adquirido deve abranger seu caráter de propriedade social, o produto de um processo histórico (Ravetz¹²).

Razões para citar

A indexação de citações está baseada na premissa de que uma citação bibliográfica é a expressão de uma relação entre dois documentos, aquele que cita e aquele que é citado. Haverá invariavelmente uma lacuna entre por que o autor citou e por que nós pensamos que o autor citou. As razões que levam um autor a citar de uma determinada forma podem ser sérias ou frívolas. Em 1971, Weinstock identificou quinze funções específicas da citação, todas classificadas como sérias. São elas:

1. Prestar homenagem aos pioneiros.

2. Dar crédito para trabalhos relacionados.

3. Identificar metodologia, equipamento etc.

4. Oferecer leitura básica.

5. Retificar o próprio trabalho.

6. Retificar o trabalho de outros.

7. Analisar trabalhos anteriores.

8. Sustentar declarações.

9. Informar aos pesquisadores de trabalhos futuros.

10. Dar destaque a trabalhos pouco disseminados, inadequadamente indexados ou desconhecidos (não citados).

11. Validar dados e categorias de constantes físicas e de fatos etc.

12. Identificar publicações originais nas quais uma idéia ou um conceito são discutidos.

13. Identificar publicações originais que descrevam conceitos ou termos epônimos, por exemplo, Mal de Hodgkin.

14. Contestar trabalhos ou idéias de outros.

15. Debater a primazia das declarações de outros.

A citação é influenciada por uma multiplicidade de fatores, mas nem todos eles estão relacionados com as convenções reconhecidas pela publicação acadêmica. Os fatores sociais e psicológicos, por exemplo, têm aí uma função significativa, juntamente com as lembranças e esquecimentos subconscientes (Aaronson¹³). Há também fatores extrínsecos; por exemplo, os leitores ou a percepção do autor em relação às necessidades e expectativas dos leitores. O perfil e o status da revista na qual o artigo será publicado; a abrangência, formato e extensão do artigo; o conhecimento do autor sobre a área e a sua habilidade / disposição em usar as fontes e os serviços apropriados de informação são outros fatores envolvidos.

May¹⁴ desafiou a visão ortodoxa de que as citações oferecem um quadro preciso das relações intelectuais entre as publicações. Ele concluiu que os autores selecionam citações para servir a seus objetivos científicos, políticos e pessoais, e não para descrever sua linhagem intelectual. Durante as últimas décadas, diferentes classificações e abordagens sobre o assunto foram tratadas por Bonzi¹⁵, Chubin e Moitra¹⁶, Duncan et al.¹⁷, Finney¹⁸, Frost¹⁹, Hodges²⁰, Lipetz²¹, Moravcsik e Murugesan²², O’Connor²³, Oppenheim e Renn²⁴, entre outros.

Segundo Cronin⁹, a citação precisa ser considerada em relação aos hábitos, atitudes, experiências e expectativas de quatro grupos distintos, mas sem limites definidos (não mutuamente exclusivos). São eles: os Controladores de Qualidade, os Educadores, os Consumidores e os Produtores. Juntos, esses grupos formam, definem e demonstram as normas de citação através da prática, de tal forma que é possível afirmar que elas existem.

Os Controladores de Qualidade são aqueles que atuam como guardiões da comunidade científica; são os editores de revistas, os revisores científicos e os membros do conselho editorial. É preciso realizar pesquisas sobre as atitudes e práticas desse grupo. O papel dos Educadores é representado pelos professores universitários e orientadores. Os Consumidores são aqueles para quem as citações são dirigidas: os leitores e os membros da comunidade científica. Os Produtores são aqueles que estão ativamente envolvidos no processo de publicação.

É necessário pensar a citação como um processo. Os resultados desse processo são as listas de citações que acompanham os trabalhos acadêmicos. O tipo e a composição dessas listas refletem a personalidade do autor e seu meio profissional. Não existe uma teoria única da citação capaz de explicar por que os autores citam de uma determinada maneira (Cronin⁹). A maioria das análises de citação tem apresentado mais características internas do que externas, concentrando-se em dados quantitativos e em distribuições de freqüência, em vez de tratar os contextos nos quais os autores utilizam as citações. A análise de citação exige este último tipo de estudo.

A perspectiva nacional e internacional

As abordagens informétricas, bibliométricas e cienciométricas, pelas quais a ciência pode ser retratada através dos resultados que alcançam, são baseadas na noção de que a essência da pesquisa científica é a produção de conhecimento e que a literatura científica é um componente desse conhecimento. A idéia de avaliar a literatura remonta ao começo do século. Entretanto, a criação do Science Citation Index (SCI) em 1963 abriu caminho para todos os que buscavam medir a ciência usando métodos quantitativos e objetivos.

Governos de todos os países gradualmente perceberam a necessidade de analisar criticamente suas políticas científicas e tecnológicas. Alguns consideraram necessário criar unidades administrativas em suas agências de pesquisa (Educação, Indústria, Saúde). Outros preferiram treinar especialistas e desenvolver indicadores em um contexto acadêmico que encoraja o intercâmbio de idéias. Essa é a preocupação, por exemplo, da Red Iberoamericana de Indicadores de Ciencia y Tecnología – RICYT.

Cada vez mais, a informetria e a cienciometria têm sido orientadas para a política científica. Em meio século, essas disciplinas conquistaram seu lugar como instrumentos para medir a ciência tanto nos países industrializados do Ocidente, como no Leste Europeu e em países em desenvolvimento, como a Índia. A Holanda e o Reino Unido foram os primeiros a publicar estudos regulares sobre ciência usando indicadores informétricos e cienciométricos. Grupos de pesquisa nesses países foram pioneiros na construção teórica e na aplicação desses campos (Irvine e Martin^{25, 26}, Leven²⁷, Moed et al.²⁸).

Nos círculos políticos e científicos de muitos países, entretanto, tem sido difícil obter a aceitação da informetria ou da cienciometria como medidas da ciência. Alguns pesquisadores rejeitam a idéia de ter sua atividade científica avaliada por um sistema quantitativo. Não é fácil dar um salto das análises feitas em nível de um país ou de uma disciplina científica para a avaliação de pesquisadores individuais (Chauvin²⁹, Rappa³⁰), que acreditam que a avaliação por pares é a única forma pela qual eles devem ser examinados.

A análise dos dados informétricos e cienciométricos oferece informações sobre a orientação e a dinâmica científica de um país, bem como sobre sua participação na ciência e na tecnologia mundial. Análises cooperativas tornam possível identificar redes científicas e revelar os elos entre países, instituições e pesquisadores, assim como permitem conhecer o impacto dos principais programas e organizações. A cienciometria também traz à luz a estrutura das disciplinas científicas e as conexões entre elas.

Por outro lado, os indicadores são baseados numa abordagem comparativa. Valores absolutos não são indicativos por si, mas alcançam seu pleno significado somente em comparação com os valores de outros grupos. De fato, contar trabalhos não é difícil; dar sentido aos dados é mais complexo. Números não falam por si mesmos; ao contrário, precisam ser interpretados, considerando-se as tendências reais e falsas nos dados e no método usado para computá-los.

Os indicadores

Abaixo estão os indicadores mais conhecidos e de importância no cenário nacional e / ou internacional.

Número de trabalhos - Reflete os produtos da ciência, medidos pela contagem dos trabalhos e pelo tipo de documentos (livros, artigos, publicações científicas, relatórios etc.). A dinâmica da pesquisa em um determinado país pode ser monitorada e sua tendência traçada ao longo do tempo.

Número de citações - Reflete o impacto dos artigos ou assuntos citados.

Co-autoria - Reflete o grau de colaboração na ciência em nível nacional e internacional. O crescimento ou o declínio da pesquisa cooperativa podem ser medidos.

Número de patentes - Reflete as tendências das mudanças técnicas ao longo do tempo e avalia os resultados dos recursos investidos em atividades de P&D. Esses indicadores determinam o grau aproximado da inovação tecnológica de um país.

Número de citações de patentes - Mede o impacto da tecnologia.

Mapas dos campos científicos e dos países - Auxiliam a localizar as posições relativas de diferentes países na cooperação científica global.

As técnicas informétricas e cienciométricas têm sido aplicadas para conduzir análises nacionais e internacionais da literatura científica. Alguns estudos têm examinado o quanto dessa literatura é a contribuição de vários países em um certo período (Hulme³¹, Narin e Carpenter³², Schubert et al.³³), ou têm sistematizado dados para mostrar o quanto diferentes países são citados (Narin e Carpenter³², Schubert et al.³³).

Além das análises de abrangência realmente internacional, outras pesquisas têm aplicado os métodos da informetria e da cienciometria para estudar os produtos científicos de países individuais (Arunachalam et al.³⁴, Velho³⁵, Macias-Chapula³⁶), ou grupos de países (Arunachalam and Markanday³⁷, Macias-Chapula^{38, 39, 40}, Narvaez-Berthelemot⁴¹), ou para comparar países (Braun e Schubert⁴², Galban e Gomez⁴³, Lancaster et al.⁴⁴, Narvaez-Berthelemot⁴⁵, Russell⁴⁶).

Apesar desses trabalhos, pouco tem sido feito para estudar a influência que um país pode exercer sobre outro, embora algumas investigações tenham dimensionado o quanto um país pode citar o trabalho de uma nação vizinha (Rabkin and Inhaber⁴⁷). Por outro lado, os métodos bibliométricos e cienciométricos podem também ser usados para observar as diferenças entre influências nacionais e internacionais na ciência. Por exemplo, os cientistas mais requisitados por políticos para prestar assessoria são os mais citados em revistas nacionais? Ou em revistas internacionais? Eles publicam mais em seu país ou no exterior? Eles publicam em revistas mais prestigiosas do que os cientistas que têm menos influência política?

As principais revistas que publicam trabalhos relacionados à informetria e à cienciometria encontram-se a seguir em ordem alfabética:

Bulletin of the Medical Library Association

Information Processing & Management

Interciencia

International Journal of Scientometrics and Informetrics (IJSI)

International Society for Scientometrics & Informetrics (ISSI) Proceedings

Journal of Documentation

Journal of Information Science

Journal of the American Society for Information Science (JASIS)

Rapport de l’ Observatoire des Sciences et des Techniques (France)

Research Evaluation

Research Policy

Revista Española de Documentación Científica

Science & Public Policy

Scientometrics

Social Studies of Science

Dificuldades e limitações

Com relação ao tipo de documentos, a principal limitação para identificar a produtividade científica de um país é a cobertura das bases de dados. Poucas bases incluem livros, capítulos de livros e teses, e a maioria não incorpora a assim chamada literatura cinzenta (relatórios técnicos, conferências, notas técnicas etc.).

Os principais problemas referentes aos cálculos estatísticos de publicações são:

1. As publicações oferecem contribuições diferentes ao conhecimento científico; e

2. Variações nas médias de publicação em especialidade e contexto institucional.

Com relação às citações, os sociólogos argumentariam que elas só podem ser compreendidas através do exame das condições sociais que predispõem os cientistas a citar da maneira como o fazem. Assim, para compreender o significado da citação, é necessário entender a sua realidade social. Na observação de Martyn⁴⁸, a citação não é uma entidade, mas um fenômeno. O que os sociólogos reivindicam é um completo entendimento desse fenômeno, uma vez que os autores não citam da mesma forma. As técnicas de indexação de citações não explicitam a natureza das relações entre os documentos, apenas as utilizam para indexar a literatura científica (Blackwell e Kochtanek⁴⁹).

MacRoberts e MacRoberts⁵⁰ relacionaram os seguintes problemas da análise de citação, enquanto fenômenos e dados:

1. Influências formais não citadas.

2. Citação tendenciosa ou preconcebida.

3. Influências informais não citadas.

4. Autocitação.

5. Diferentes tipos de citação.

6. Variações nas médias de citação relacionadas ao tipo de publicação, nacionalidade, período, extensão e especialidade.

7. Limitações técnicas de índices de citação e bibliografias:

• Autoria múltipla.

• Sinônimos.

• Homônimos.

• Erros de edição.

• Cobertura da literatura.

Glanzel⁸ declarou que as políticas de publicação e as possibilidades de recuperação oferecidas pelos negociantes de bases de dados tendem a limitar a pesquisa bibliométrica. As bases de dados são insuficientes frente às expectativas dos especialistas em bibliometria. Certas mudanças na estrutura dos dados ou dos padrões fariam sentido somente se pudessem retornar há pelo menos dez ou quinze anos. Contudo, mudanças desse nível parecem ser definitivamente irreais, considerando os custos para os usuários.

Grupos de dados incompletos, como as fontes de corporações, são parcialmente responsabilidade dos negociantes. Na maioria dos casos, os editores de revistas ou mesmo os autores são os responsáveis por omissões de dados ou por informações incorretas. Outros fatores que prejudicam a confiabilidade das bases de dados bibliográficos são a elaboração superficial e arbitrária dos registros bibliográficos (por exemplo, autores com diferentes afiliações), os critérios de seleção não documentados e os problemas de compatibilidade entre diferentes versões da mesma base de dados (por exemplo, online e CD-ROM).

Esses problemas e limitações demandam um diálogo entre autores, editores e as empresas que gerenciam as bases de dados para discutir todos os pontos aqui levantados. Particularmente os países em desenvolvimento têm urgência em identificar e tratar esses problemas antes de adotar novas tecnologias de informação.

The role of informetrics and scientometrics in the national and international perspective

Abstract

The purpose of this paper is to highlight the role of informetrics and scientometrics in the national and international perspective, noting their uses and practices. Beginnig with some definitions of bibliometrics, scientometrics and informetrics, this paper discusses the role of science as a social process aiming at identifying the limitations of science indicators.

Keywords

Informetrics; Scientometrics; Bibliometrics; Indicators.

Cesar A. Macias-Chapula, PhD.

Consultor em Ciência da Informação

Hospital General de México

[e-mail]

Tradução do inglês de Irati Antonio

• ¹
  MERTON, R.K. Social and democratic social structure. In: SOCIAL theory and social structure. New York: Free Press, 1957. p. 550-61.
• ²
  OKUBO, Y. Bibliometric indicators and analysis of research systems: methods and examples. Paris: OCDE/GD, 1997.
• ³
  PRICE, D. Little science, big science New York: Columbia University Press, 1963.
• ⁴
  KING, J. A review of bibliometric and other science indicators and their role in research evaluation. Journal of Information Science, n. 13, p. 261-76, 1987.
• ⁵
  TAGUE-SUTCLIFFE, J. An introduction to informetrics. Information Processing & Management, v. 28, n. 1, p. 1-3, 1992.
• ⁶
  PRITCHARD, A. Statistical bibliography or bibliometrics? Journal of Documentation, n. 25, p. 348-9, 1969.
• ⁷
  MCGRATH, W. What bibliometricians, scientometricians and informetricians study; a typology for definition and classification; topics for discussion. In: INTERNATIONAL CONFERENCE ON BIBLIOMETRICS, SCIENTOMETRICS AND INFORMETRICS, 1989, Ontario. Second Conference.. Ontario: The University of Western Ontario, 1989.
• ⁸
  GLANZEL, W., SCHOEPFLIN, U. Little scientometrics, big scientometrics… and beyond? In: INTERNATIONAL CONFERENCE ON BIBLIOMETRICS, SCIENTOMETRICS AND INFORMETRICS, 1993, Berlin. Fourth International Conference.. Berlin: [s.n.], 1993.
• ⁹
  CRONIN, B. The citation process: the role and significance of citations in scientific communication. London: Taylor Graham, 1984.
• ¹⁰
  KAPLAN, N. The norms of citation behaviour: prolegomena to the footnote. American Documentation, v. 16, n. 3, p. 179-84, 1965.
• ¹¹
  MITROFF, I.I. The subjective side of science: a philosophical inquiry into the psychology of the Apollo moon scientists. Amsterdam: Elsevier, 1974.
• ¹²
  RAVETZ, J.R. Scientific knowledge and its social problems Harmondsworth: Penguin, 1971.
• ¹³
  AARONSON, S. The footnotes of science. Mosaic, v. 6, n. 2, p. 22-7, 1975.
• ¹⁴
  MAY, K.O. Abuses of citation indexing. Science, n. 156, p. 890-2, 1967.
• ¹⁵
  BONZI, S. Characteristics of a literature as predictors of relatedness between cited and citing works. JASIS, v. 33, n. 4, p. 208-16, 1982.
• ¹⁶
  CHUBIN, D.E., MOITRA, S.D. Content analysis of references: adjunct or alternative to citation counting? Social Studies of Science, n. 5, p. 423-41, 1975.
• ¹⁷
  DUNCAN, E.B. et al. Qualified citation indexing: its relevance to educational technology. In: DUNCAN, E.B., MCALEESE, R. (eds.). Information retrieval in educational technology Aberdeen: University of Aberdeen, 1981. p. 70-9.
• ¹⁸
  FINNEY, B. The reference characteristics of scientific texts Dissertation (MSc.) – Centre for Information Science, City University, London, 1979.
• ¹⁹
  FROST, C. The use of citations in literary research: preliminary classification of citation functions. Library Quarterly, v. 49, n. 4, p. 399-414, 1979.
• ²⁰
  HODGES, T. Citation indexing: its potential for bibliographic control. Thesis (PhD.) – University of California, Berkeley, 1978.
• ²¹
  LIPETZ, B.A. Improvement of the selectivity of citation indexes to science literature through the inclusion of citation relationship indicators. American Documentation, v. 16, n. 2, p. 81-90, 1965.
• ²²
  MORAVCSIK, M.J., MURUGESAN, P. Some results on the function and quality of citations. Social Studies of Science, n. 5, p. 86-92, 1975.
• ²³
  O’CONNOR, J. Citing statements: computer recognition and its use to information retrieval. Information Processing and Management, v. 18, n. 3, p. 125-31, 1982.
• ²⁴
  OPPENHEIM, C., RENN, S.P. Highly cited old papers and the reasons why they continue to be cited. JASIS, v. 29, n. 5, p. 225-31, 1978.
• ²⁵
  IRVINE, J., MARTIN, B.R. The economic effects of big science: the case of radio astronomy. In: SCIENCE & TECHNOLOGY INDICATORS CONFERENCE, 1980, Paris. [Proceedings…] Paris: OECD, 1980.
• ²⁶
  IRVINE, J., MARTIN, B.R. CERN. Past, performance and future prospects. Research Policy, n. 13, p. 311-42, 1984.
• ²⁷
  LEVEN, O. Report of the National Survey Committee on Biochemistry The Hague: Staatsuitgeverij, 1982.
• ²⁸
  MOED, H.F. et al. On the measurement of research performance: the use of bibliometric indicators. Leiden:Leiden University, 1983.
• ²⁹
  CHAUVIN, R. Evaluer, évaluer. La Recherche, n. 22, p. 782, 1991.
• ³⁰
  RAPPA, M.A. Bibliometric methods for monitoring the emergence of new technologies Cambridge, MA: MIT, 1989. (Report n. WP3049-89BPS)
• ³¹
  HULME, E.W. Statistical bibliography in relation to the growth of modern civilisation London: Grafton, 1923.
• ³²
  NARIN, F., CARPENTER, M. National publication and citation comparisons. JASIS, n. 26, p. 80-93, 1975.
• ³³
  SCHUBERT, A., GLANZEL, W., BRAUN, T. Scientometric datafiles: a comprehensive set of indicators on 2649 journals and 96 countries in all major science fields and subfields 1981-1985. Scientometrics, n. 16, p. 3-478, 1989.
• ³⁴
  ARUNACHALAM, S. et al. Physics research in Israel: a preliminary bibliometric analysis. Journal of Information Science, n. 8, p. 185-95, 1984.
• ³⁵
  VELHO, L. The meaning of citation in the context of a scientifically peripheral country. Scientometrics, n. 9, p. 71-89, 1986.
• ³⁶
  MACIAS-CHAPULA, C.A. Primary health care in Mexico: a non-ISI bibliometric analysis. Scientometrics, v. 34, n. 1, p. 63-71, 1995.
• ³⁷
  ARUNACHALAM, S., MARKANDAY, S. Science in the middle-level countries: a bibliometric analysis of scientific journals of Australia, Canada, India and Israel. Journal of Information Science, n. 3, p. 13-26, 1981.
• ³⁸
  MACIAS-CHAPULA, C.A. Production and dissemination of the Mexican biomedical journals, with some considerations of the Latin American/Caribbean region. In: EGGHE, L., ROUSSEAU, R. (eds.). Informetrics 89/90 Amsterdam: Elsevier, 1989. p. 217-28.
• ³⁹
  MACIAS-CHAPULA, C.A. Patterns of scientific communication among Latin American countries in the field of medical education. Scientometrics, v. 23, n. 1, p. 123-35, 1992.
• ⁴⁰
  MACIAS-CHAPULA, C.A. Non-SCI subject visibility of the Latin American scientific production in the health field. Scientometrics, v. 30, n. 1, p. 97-104, 1994.
• ⁴¹
  NARVAEZ-BERTHELEMOT, N. et al. International scientific collaboration in Latin America. Scientometrics, v. 24, n. 3, p. 373-92, 1992.
• ⁴²
  BRAUN, T., SCHUBERT, A. Scientometric versus socio-economic indicators. Scatter plots for 51 countries, 1978-1980. Scientometrics, v. 13, n. 1/2, p. 3-9, 1988.
• ⁴³
  GALBAN, C., GOMEZ, I. La cooperación científica entre España e Iberoamérica en revistas internacionales. Revista Española de Documentación Científica, v. 15, n. 4, p. 405-24, 1992.
• ⁴⁴
  LANCASTER, F.W. et al. Some publication patterns in Indian and Japanese science: a bibliometric comparison. International Forum on Information and Documentation, v. 9, n. 4, p. 11-6, 1984.
• ⁴⁵
  NARVAEZ-BERTHELEMOT, N. et al. International scientific collaboration: cooperation between Latin America and Spain, as seen from different databases. Journal of Information Science, n. 19, p. 389-94, 1993.
• ⁴⁶
  RUSSELL, J.M. The increasing role of international co-operation in science and technology research in Mexico. Scientometrics, v. 34, n. 1, p. 45-61, 1995.
• ⁴⁷
  RABKIN, Y., INHABER, H. Science on the periphery: a citation study of three less developed countries. Scientometrics, n. 1, p. 261-74, 1979.
• ⁴⁸
  MARTYN, J. An examination of citation indexes. Aslib Proceedings, v. 17, n. 6, p. 184-96, 1965.
• ⁴⁹
  BLACKWELL, P.K., KOCHTANEK, T.R. An iterative technique for document retrieval using descriptors and relations. In: ASIS MEETING, 1981, Washington. Proceedings of the 44^th.. Washington: ASIS, 1981. p. 215-7.
• ⁵⁰
  MACROBERTS, M.H., MACROBERTS, B.R. Problems of citation analysis: a critical review. JASIS, v. 40, n. 5, p. 342-9, 1989.

^*

Trabalho apresentado no Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998. Traduzido e publicado na

Ciência da Informação com a permissão do autor.

Datas de Publicação

• Publicação nesta coleção
  20 Out 1998
• Data do Fascículo
  1998