A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro?

The evaluation of science and peer review: past and present. What will the future be like?

A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro?

The evaluation of science and peer review: past and present. What will the future be like?

Amilcar Davyt

Doutorando no Departamento de Política Científica e Tecnológica, Instituto de Geociências, Universidade Estadual de Campinas (Unicamp), caixa postal 6152

[e-mail]

Léa Velho

Professora livre-docente do Departamento de Política Científica e Tecnológica, Instituto de Geociências, Universidade Estadual de Campinas (Unicamp), caixa postal 6152

[e-mail]

DAVYT, A. e VELHO, L.: ‘A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro?’. História, Ciências, Saúde – Manguinhos, VII(1), 93-116, mar.-jun. 2000.

Este artigo oferece um apanhado geral de diferentes aspectos – antecedentes históricos, elementos teóricos, conceituais e empíricos – relativos aos processos de avaliação por pares na ciência. Em particular, são revisadas as diferentes modalidades de julgamento por pares, desde suas origens nas primeiras associações científicas no século XVII até nossos dias. Apresentam-se também alguns dos seus desdobramentos e as principais críticas que o processo tem recebido. O argumento que se desenvolve é que as formas adotadas nos diferentes momentos e nas várias instituições resultam de processos de negociação, historicamente localizados, entre atores sociais variados. Conseqüentemente, mudanças nos contexto levam a novas negociações – o que está ocorrendo neste momento. Assim, o final do artigo reflete sobre que futuro (ou futuros) se pode esperar para o sistema de revisão por pares.

PALAVRAS-CHAVES: revisão por pares, avaliação da ciência, financiamento da pesquisa.

DAVYT, A. e VELHO, L.: ‘The evaluation of science and peer review: past and present. What will the future be like?’. História, Ciências, Saúde – Manguinhos, VII(1), 93-116, Mar.-June 2000.

This article examines the historical antecedents and theoretical, conceptual, and empirical elements of peer review in the field of science. Specifically, it looks at various modalities of peer judgment from its origins within the first scientific associations, in the seventeenth century, to the present. Some of the main developments and chief criticisms of the process are also reviewed. It is argued that the particular forms adopted at each moment and by each institution are the result of historically localized processes of negotiation between different social actors. Changes in context must of course lead to new negotiations, which is what we are witnessing at this moment. The final section is a reflection on what the future (or futures) holds for the peer review system.

KEYWORDS: peer review, evaluation of science, research funding.

A avaliação é mais que uma ação cotidiana na ciência; ela é parte integrante do processo de construção do conhecimento científico. É através da avaliação – seja de artigos para publicação, seja do currículo de um pesquisador para contratação, seja de um projeto de pesquisa submetido para financiamento, seja de outras várias situações e atores – que se definem os rumos, tanto do próprio conteúdo da ciência quanto das instituições a ela vinculadas. Diante disso, não surpreende que a avaliação da atividade científica tenha surgido com a própria ciência.
Evidentemente, isto não significa que os mecanismos e procedimentos da avaliação da ciência tenham sido sempre os mesmos desde seu surgimento, há mais de três séculos. Assim como a ciência e os cientistas de hoje diferem muito de suas contrapartes do tempo da revolução científica, também os critérios e instrumentos de avaliação da ciência têm mudado. Estes são modelados em contextos históricos particulares e tendem a traduzir e incorporar as mudanças contextuais, ainda que com algum atraso, no seu funcionamento interno.
O que parece ter se mantido durante todo este tempo é a noção de que apenas os próprios cientistas podem avaliar o trabalho de seus colegas. Desde Galileu na corte dos Médici em Florença, passando pelos editores de livros e periódicos do século XVII em diante, até os cientistas atuais tentando conseguir financiamento para seus projetos, os detentores do poder de decisão – príncipes, outros patronos, governos ou os próprios cientistas – sentiram necessidade de assessoria para tomar decisões. Desenvolveu-se, então, uma tradição em que tal assessoria seria solicitada aos ‘pares’, isto é, aos colegas daquele que estava em julgamento (colegas estes que, freqüentemente, competem com o julgado pelos mesmos recursos e recompensas: financiamento, premiações, espaço editorial, posições profissionais etc.) e que, por sua formação e experiência, fossem capazes de emitir opinião informada e confiável. Este processo tem sido, genericamente, denominado de ‘revisão por pares’ ou ‘julgamento por pares’ (peer review). Apesar do nome comum, e de sempre envolver, de alguma maneira, a opinião de um ‘par’, o julgamento por pares, na realidade, não é um procedimento único e envolve uma enorme gama de formas institucionais. Estas, como já apontado, certamente refletem características do contexto histórico e social onde o processo se realiza.
Este artigo oferece um apanhado geral de diferentes aspectos – antecedentes históricos, elementos teóricos, conceituais e empíricos – relativos aos processos de avaliação por pares na ciência. Em particular, são revisadas as diferentes modalidades de julgamento por pares, desde suas origens nas primeiras associações científicas no século XVII até nossos dias. Apresentam-se também alguns dos seus desdobramentos e as principais críticas que o processo tem recebido. O argumento que se desenvolve é que as formas adotadas nos diferentes momentos e nas várias instituições resultam de processos de negociação entre atores sociais variados. Conseqüentemente, as críticas advêm, por um lado, dos atores que se sentem excluídos da negociação ou prejudicados por ela, e, por outro, de mudanças contextuais que chamam por novas negociações – o que está ocorrendo neste momento. Assim, o final do artigo reflete exatamente sobre que futuro (ou futuros) se pode esperar para o sistema de revisão por pares.

A avaliação da ciência através do julgamento por pares

A utilização sistemática de referees, ou árbitros, para avaliar a atividade científica é apenas um exemplo de juízes encarregados de avaliar a qualidade do desempenho num sistema social. Esses juízes encontram-se em todos os âmbitos institucionais, sendo parte integral do sistema de controle social, avaliando os desempenhos e distribuindo recompensas (Zuckerman e Merton, 1973, p. 460). Na ciência, entretanto, a avaliação tem uma caraterística especial: as recompensas devem ser decididas na base da "análise por iguais" (Roy, 1984, p. 316). No processo de desenvolvimento e consolidação da ciência como instituição social, a revisão por pares define-se como ‘o’ método de avaliação formal, ‘o’ mecanismo auto-regulador da ciência moderna (Chubin e Hackett, 1990, p. 3). Tal procedimento contribui para a consolidação da comunidade científica, na medida em que são seus integrantes os únicos que definem as regras de acesso e exclusão e que, através de uma hierarquia própria, distribuem internamente tanto prestígio e autoridade como recursos (Nicoletti, 1985, p. 12).

Num sentido estrito, o método de julgamento por pares "baseia-se somente na avaliação de outros pesquisadores da mesma disciplina" (Cole, Rubin e Cole, 1977, p. 34), ou da "mais próxima subespecialidade que seja possível encontrar" (Roy, 1984, p. 318), do mesmo ou superior nível acadêmico. Alguns autores, entretanto, preferem utilizar o termo num sentido mais amplo, mais genérico: "um método organizado para avaliar o trabalho científico, que é usado pelos cientistas para garantir que os procedimentos estejam corretos, estabelecer a plausibilidade dos resultados e distribuir recursos escassos – como o espaço em revistas, fundos de pesquisa, reconhecimento e reputação" (Chubin e Hackett, 1990, p. 2). Ou seja, a definição de par faz-se mais ampla, mas mantém-se dentro dos limites da comunidade científica: os ‘colegas’ são os cientistas "capazes de conhecer o estado da arte no campo e dar um parecer sobre a qualidade do objeto avaliado" (Spagnolo, 1989, p. 123).

O julgamento é realizado pelos pares profissionais dos solicitantes, a partir de critérios de avaliação determinados internamente pela própria comunidade científica. A representatividade desses pares "não é definida genericamente pelas suas articulações com outras instâncias de participação social, mas por critérios arbitrados pela própria comunidade em termos da excelência de sua produção científica e de sua formação acadêmica" (Nicoletti, 1985, p. 13).

As razões para o sucesso deste mecanismo devem ser buscadas na estrutura de autoridade da ciência, "no qual o julgamento por pares encaixa-se perfeitamente" (Spagnolo, 1989, p. 124). Para alguns autores, é esta estrutura, "na qual o sistema de assessores ocupa um lugar central, que fornece a base institucional para a confiabilidade e a acumulação do conhecimento" (Zuckerman e Merton, 1973, p. 495). Outros autores atribuem este sucesso ao esforço dos próprios cientistas em manter uma estrutura que lhes é extremamente favorável: "(o julgamento por pares) é também fundamental para a instituição científica, defendido como símbolo e garantia da autonomia. ... preserva a autonomia da ciência através de uma aparentemente rigorosa auto-regulação. Mas ao mesmo tempo ... estabelece uma ponte entre o misterioso e esotérico conteúdo da ciência e o território mundano da alocação de recursos" (Chubin e Hackett, 1990, pp. 2-3).

O sistema de assessores não apareceu tal como é conhecido hoje, mas tem se modificado ao longo da história, em resposta ao desenvolvimento da própria instituição científica e aos contextos (Zuckerman e Merton, 1973, p. 462). É possível distinguir diferentes tipos, ou subsistemas, da avaliação científica através de pares, que se adequam aos diversos tipos de atividades. A distinção mais óbvia seria: a) avaliação de potencialidades: refere-se em particular ao desempenho possível do indivíduo, grupo, instituição, país ou outro ator social que execute pesquisa científica, ou à qualidade da pesquisa que ainda não foi realizada; b) avaliação da capacidade demonstrada: refere-se ao desempenho já demonstrado por aqueles atores ou à qualidade dos trabalhos por eles realizados (Merton, 1973, pp. 424-6). A seguir, tratamos de cada uma destas modalidades, começando pela última.

Histórico dos processos de avaliação em ciência

A avaliação da pesquisa realizada

A avaliação da pesquisa realizada é uma prática que se inicia dentro das primeiras sociedades e academias científicas no século XVII, quando os cientistas começam a criar maneiras próprias de se relacionar e de controlar o trabalho científico. Uma delas diz respeito ao controle do registro dos ‘resultados’ que deveriam receber o rótulo de científico.

Para obter credibilidade e assegurar seu status como conhecimento, a crença individual ou a experiência tinha que ser efetivamente comunicada aos outros, isto é, fazer sua passagem do domínio privado para o público. Entre as técnicas desenvolvidas com esta finalidade por Boyle e outros contemporâneos, destaca-se a recomendação de que "relatórios experimentais fossem escritos de maneira a permitir a leitores distantes – não presentes como testemunhas – replicar os efeitos relevantes" (Shapin, 1996, p. 107). Métodos, materiais e circunstâncias deveriam ser detalhados minuciosamente, de maneira que os leitores que o desejassem pudessem reproduzi-los e assim se tornar testemunhas diretas. Com estes procedimentos, que rapidamente se espalharam pelas sociedades científicas de outros países europeus, a comunidade experimental do século XVII mostrou-se capaz de fazer o trabalho de policiamento do conhecimento de maneira satisfatória: apenas os resultados de experimentos que fossem devidamente relatados, escrutinizados e tidos como verdadeiros pelos demais praticantes poderiam ser reconhecidos como científicos. Assim, para passar para o domínio público (isto é, ser publicado), o trabalho científico precisava da chancela de seus pares.

Assim, com poucos meses de diferença no ano de 1665, a Académie des Sciences de Paris, primeiro, e a Royal Society de Londres, logo depois, instituíram um grupo de editores – cientistas reconhecidos como competentes pelos demais associados –, com a função de ‘revisar’ os manuscritos remetidos para publicação em suas respectivas revistas científicas, o Journal des Sçavans e o Philosophical Transactions. Dessa forma, estes grupos constituíram-se na "estrutura de autoridade que transforma a simples ‘impressão’ do trabalho científico em sua ‘publicação’" (Zuckerman e Merton, 1973, p. 494).

A partir desse momento, diversas sociedades científicas foram desenvolvendo sistemas de medidas para preservar sua credibilidade, adotando regras estritas de avaliação da atividade de seus integrantes. Assim, em meados do século XVIII, a Royal Society of Medicine, de Edimburgo, na Escócia, havia institucionalizado técnicas de avaliação que eram quase indistinguíveis do sistema vigente hoje (Spagnolo, 1989, pp. 125-6). Atualmente, os procedimentos estão fortemente padronizados, ainda que possam ocorrer pequenas variações de revista para revista. A variação mais recente é a adotada por algumas revistas eletrônicas, tais como o British Medical Journal, que, tendo como base desenvolvimentos da Internet e dos programas participativos de auditório na televisão, colocam os artigos submetidos para serem comentados por todos os leitores, sem que tenham passado por julgamento prévio de pares. Essa prática, no entanto, pode ser considerada bastante incomum e de modo algum representa o padrão das revistas eletrônicas. De fato, a grande maioria delas continua a decidir sobre publicação, seja pelo meio tradicional ou eletrônico, com base exclusivamente no julgamento por pares – o convite para comentários dos leitores é feito apenas para aqueles artigos que já receberam o aval dos pares. Fica claro, portanto, que, a despeito do enorme avanço nas tecnologias de comunicação, o cerne do sistema de revisão por pares para publicação continua imutável (Harnad, 1998). O julgamento por pares, neste caso, adota o nome de refereeing, ou melhor, arbitragem, em português.

O sistema de consulta prévia para publicação, além da função óbvia de facilitar a informação dentro da comunidade científica, "transforma um manuscrito científico num ‘conhecimento’ consensual" (Chubin e Hackett, 1990, p. 84). É, portanto, o processo ‘por excelência’ de construção de verdades científicas; é a prática que valida e autentica o conhecimento científico; outorga aceitação ao trabalho de um pesquisador, e, por isso, crédito e reconhecimento, da forma que seja.

A arbitragem é, assim, o ponto de encontro de duas transformações: o processo de negociação para atingir consensos na atividade científica, no qual as ‘múltiplas’ realidades transformam-se na ‘verdade científica’; e o processo pelo qual interpretações subjetivas de resultados são colocadas num texto manuscrito seguindo determinadas regras, transformando-se num artigo científico, e logo, numa entidade quantificável. Isto descreve um processo de legitimação mútua de atores diferentes: pesquisadores e artigos (Callon, Law e Rip, 1986; Fabbri e Latour, 1995). Neste último caso, o processo de objetivação que acontece numa "caixa-preta" (Chubin e Hackett, 1990, p. 50) transforma os textos que ‘sobrevivem’ ao mecanismo de julgamento por pares em artigos que são depois contabilizados e utilizados como indicadores da produção científica. Voltaremos a comentar sobre os indicadores bibliométricos.

A avaliação da pesquisa por fazer

A avaliação de projetos de pesquisa é, para alguns autores, um exercício de futurologia, ou "uma elevada forma de nonsense" (Ziman, 1983). Para o futuro financiador (seja o Estado ou outro qualquer), no entanto, tal avaliação faz sentido, na medida em que, com base no parecer dos especialistas, acredita-se ser possível reduzir os riscos de financiar, por exemplo, um projeto atraente, promissor, mas não exeqüível. Com base nesta premissa, o julgamento por pares tem sido amplamente utilizado pelas agências financiadoras – governamentais, universitárias, privadas – para alocar recursos a indivíduos ou grupos que apresentam propostas de pesquisa.

A quantidade de formas diferentes de implementação do sistema pode ser maior que a de agências: "há uma infinidade de sistemas nos quais a influência do par científico varia desde quase nada mais que o empréstimo passivo do nome para legitimar, até um controle quase completo" (Roy, 1984, p. 318). O sistema de julgamento por pares deve ser considerado, então, como uma ‘família’ de procedimentos relacionados, com algumas características em comum e diferenças marcantes (Chubin e Hackett, 1990, p. 13). Em alguns casos, os pares efetivamente tomam as decisões, sendo a agência apenas um intermediário no processo de julgamento das propostas e alocação de recursos. Em outros casos, os pares aconselham, participando de um processo decisório mais amplo, onde a decisão final é tomada pelos gerentes ou outros órgãos colegiados. Às vezes, utilizam-se apenas as opiniões de pares emitidas sigilosamente por carta; outras vezes, constituem-se painéis com pares ou especialistas por área do conhecimento, que procedem à análise em bloco dos projetos juntamente com as opiniões dos assessores (Travis e Collins, 1991).

Ainda que tenha sido utilizado algumas vezes (Crosland e Galvez, 1989), o julgamento por pares para alocação de recursos para pesquisa passou a ser adotado, sistematicamente, nos Estados Unidos durante as décadas de 1940 e 1950, com a concepção e o estabelecimento do aparato institucional da política científica. O marco temporal é geralmente colocado em 1937, quando o National Advisory Cancer Council passou a julgar as propostas de pesquisa do National Cancer Institute, através de um mecanismo deste tipo. O modelo adotado, formal e bem especificado nos estatutos da instituição, é até hoje utilizado pelos National Institutes of Health (NIH). Por outro lado, a National Science Foundation (NSF), desde sua criação no início da década de 1950, utiliza diversas formas de julgamento por pares, ainda que o procedimento não esteja expresso nos seus estatutos (Chubin e Hackett, 1990, pp. 19-20).

Diferentemente da revisão de artigos científicos, que foi instituída por iniciativa dos próprios cientistas, a revisão por pares para fins de financiamento da pesquisa originou-se nas agências de fomento, estabelecendo uma relação da comunidade científica com os organismos do Estado. Estes necessitavam do aconselhamento de cientistas reconhecidos para a nova atividade de alocar recursos para a ciência. As primeiras reações dos cientistas foram opostas a esse envolvimento, mas o mecanismo foi sendo aceito e, finalmente, "capturado" pelos cientistas, que o incorporaram ao sistema de recompensas da ciência (Rip, 1994, pp. 7-8)

O estabelecimento deste procedimento para a alocação de recursos, fortemente baseado na opinião da própria comunidade científica, relaciona-se, cronológica e conceitualmente, ao ‘contrato’ social entre ciência e sociedade expresso no documento de Vannevar Bush, ‘Science: the endless frontier’, entregue ao presidente Truman, dos Estados Unidos, em 1945. Nele se detalha o fundamento do que depois seria conhecido como modelo linear de inovação: a suposição de uma cadeia com uma ponta inicial na ciência pura, seguida pela aplicada, o desenvolvimento tecnológico, a inovação, levando, finalmente, ao progresso econômico e social (Ronayne, 1984). De acordo com este modelo, então, era lógico imaginar que o investimento público na ciência de qualidade, mais cedo ou mais tarde, retornaria para a própria sociedade. Para tanto, bastava garantir que, de fato, fosse apoiada a "ciência de qualidade", que só poderia ser identificada pelos próprios cientistas.

Dentro do contrato social estabelecido pelo mencionado documento, o Estado, como principal financiador da ciência, delegava tais tarefas às agências financiadoras (no caso dos Estados Unidos, foi criada a National Science Foundation para esta finalidade) e estas delegavam as principais decisões aos próprios cientistas – os únicos juízes competentes. A necessidade de prestar contas para a sociedade perdia sua importância quando confrontada com o argumento de que o sistema de revisão por pares estava selecionando a melhor pesquisa, e isto era o que o governo (e também a sociedade) desejava (ou deveria desejar). A comunidade científica, então, tinha grande autonomia na distribuição interna de recursos, prestava contas apenas a si própria e não sofria qualquer controle social direto (Dickson, 1988, pp. 25-6).

Este modelo de institucionalização da política científica logo influenciou os governos da maioria dos países industrializados, que estabeleceram instituições com funções semelhantes (Salomon, 1977, p. 49). Uma das características comuns de todos esses organismos foi o papel ativo da comunidade científica na sua organização (Rip, 1994, p. 6). Isto não é surpreendente quando se lembra que nessas instituições, onde a revisão por pares é a regra, os cientistas negociam seus interesses com os do Estado. Assim, o ‘sucesso’ deste sistema resulta na sua disseminação, principalmente a partir da década de 1960, quando os recursos para a ciência e tecnologia ganham destaque no orçamento dos países, e criam-se e consolidam-se instituições para gerir tais recursos. As práticas concretas implementadas adequaram-se às condições particulares de cada país e, dentro deles, de cada instituição (Castro, 1986, p. 152).

Os países em desenvolvimento não ficaram de fora desta vez. Uma das diretrizes centrais das políticas promovidas pelos organismos internacionais – como a Organização dos Estados Americanos (OEA) e a Organização Educacional, Científica e Cultural das Nações Unidas (Unesco) – para estes países, conjugada às pressões das incipientes comunidades científicas locais, foi a criação de conselhos de pesquisa. A década de 1960, em especial, está marcada por um aprofundamento da influência desses organismos na definição das políticas de ciência e tecnologia. A OEA, por um lado, urgia os diferentes países da América Latina a incluir o apoio explícito à pesquisa científica e à formação de pesquisadores nos seus planos de desenvolvimento (Bastos e Cooper, 1995, p. 16). A Unesco, por outro lado, organizou conferências em distintas regiões do mundo; na América Latina denominou-se Castala (Conferência sobre a Aplicação da Ciência e da Tecnologia ao Desenvolvimento na América Latina), e teve lugar em 1965 com a participação de especialistas e representantes das comunidades científicas e dos governos dos diferentes países da região. Dentre as recomendações da Castala destaca-se a da criação de organismos nacionais para a formulação das políticas, integrados principalmente com cientistas e tecnólogos (Unesco, 1965, grifo dos autores).

Os conselhos de pesquisa, criados com base nestas recomendações, ou reformulados como no caso do Brasil, eram responsáveis pela coordenação dos então chamados sistemas nacionais de ciência e tecnologia e, ao mesmo tempo, pelos arranjos institucionais para o financiamento da pesquisa (Braverman e González, 1980). A participação de cientistas nos altos cargos desses organismos, idéia incluída também nas sugestões, unida à pequena representatividade de outros setores da sociedade no caso latino-americano, possibilitou que a comunidade acadêmica tivesse papel destacado nas políticas implementadas. Assim, os organismos constituídos ‘têm a cara’ da comunidade, que lhes imprime a sua concepção de ciência, a sua lógica de vinculação entre ciência e desenvolvimento e, acima de tudo, a legitimidade do mérito científico como critério para alocação de recursos. Na implementação desta política, a comunidade acadêmica opta pela ênfase no apoio ao pesquisador que já tem reconhecimento de seus pares e ao projeto de pesquisa individual, e avalia tal projeto sem levar em consideração as necessidades da realidade nacional (Albagli, 1988, p. 35).

Desdobramentos e críticas sobre o julgamento por pares

A quantificação da revisão por pares e os indicadores bibliométricos

Paralelamente ao desenvolvimento e à consolidação do aparelho do Estado responsável pela alocação de recursos à ciência e tecnologia (C&T), logo depois do final da Segunda Guerra Mundial, começa a surgir um interesse desses organismos públicos – e dos próprios governos em geral – na medição das atividades científicas. Este interesse consolida-se com o desenvolvimento da teoria e da metodologia de indicadores de C&T (Holbrook, 1992, p. 262). É principalmente na década de 1960 que as ferramentas da ciência começam a ser utilizadas para estudar a própria atividade científica: com componentes metodológicos da sociologia e da história, é criada uma área de pesquisa que tem se denominado "ciência da ciência" (Price, 1986a). Aplicam-se, assim, os métodos de pesquisa habituais das ciências naturais, fundamentalmente os quantitativos, ao objeto ‘ciência’ enquanto fenômeno e instituição social.

Esta nova área de investigação, chamada cientometria ou cienciometria (ainda que o primeiro termo pareça uma tradução mais adequada do neologismo inglês scientometrics, cienciometria é mais comumente usada na literatura especializada em português e espanhol), desenvolve seus métodos, seus instrumentos, seus meios de comunicação, sua própria comunidade, sendo definida como a área que compreende todos os tipos de análises quantitativas dos recursos e resultados dos processos científicos, sem observação direta da atividade de pesquisa (Chubin e Restivo, 1983, p. 57). Baseada especialmente no referencial teórico conceitual da sociologia da ciência de Robert Merton, a cientometria já foi considerada por alguns a sociologia da ciência (Hargens, apud Chubin e Restivo, 1983, p. 57).

A variedade de temas que interessam à cienciometria inclui "o crescimento quantitativo da ciência, o desenvolvimento das disciplinas e subdisciplinas, a relação entre ciência e tecnologia, a obsolescência dos paradigmas científicos, a estrutura de comunicação entre cientistas, a produtividade e criatividade dos pesquisadores, as relações entre desenvolvimento científico e crescimento econômico etc." (Spinak, 1998, p. 142). E, sem dúvida alguma, o desenvolvimento desta especialidade foi facilitado pelo aparecimento das bases de dados e das técnicas e métodos quantitativos propostos por Eugene Garfield ao criar o Institute for Scientific Information (ISI) e publicar, entre outros, o Science Citation Index (SCI) a partir de 1963.

As diferentes modalidades de indicadores quantitativos da ciência são derivadas, principalmente, das publicações científicas. À medida que os novos conhecimentos são quase sempre publicados, de uma forma ou de outra, o número e a qualidade dessas publicações são os indicadores mais desenvolvidos e utilizados, constituindo os que são denominados de indicadores bibliométricos (Morita-Lou, 1985, p. 13). A diversidade de indicadores, simples e complexos, que têm surgido ao longo dos anos é imensa, conforme se percebe facilmente ao folhear os exemplares de uma das principais revistas da área, Scientometrics. Apesar disso, é possível agrupar a grande maioria de tais indicadores em duas categorias básicas: os indicadores de publicação – que medem a quantidade e o impacto das publicações – e os indicadores de citação – que medem a quantidade e o impacto das vinculações ou relações entre publicações. Cada um deles pode ser medido de forma simples, relativa ou ponderada segundo diversos critérios; além disso, com base em várias técnicas de mapeamento, é possível medir a colaboração e as posições relativas de pessoas, instituições e países (Macias-Chapula, 1998, pp. 137-8; Rousseau, 1998, pp. 150-2; Spinak, 1998, p. 145).

Os indicadores bibliométricos têm sido objeto de várias críticas e questionamentos. A limitação mais geral imputada ao uso dos mesmos baseia-se no argumento de que, na realidade, parte importante da atividade científica não é descrita na literatura, como o conhecimento tácito transmitido diretamente na formação do cientista (Gilbert, 1978, p. 17), e que a publicação é apenas um dos tipos de comunicação e, certamente, não o mais importante (Manten, 1980, p. 307).

Na defesa destes indicadores argumenta-se que eles conseguem, de uma maneira particular, unir qualidade e quantidade no contexto da avaliação da pesquisa; ou seja, a racionalidade das medidas procura dar conta de uma qualidade, já previamente definida pela racionalidade científica, que está expressa nos produtos gerados pela pesquisa (Guimarães, 1992, p. 42). Dessa forma, são construídos os indicadores ‘objetivos’ da produção científica, muitas vezes utilizados pelos administradores da ciência nas universidades e instituições de pesquisa, ainda que talvez pouco usados no nível dos planejadores das políticas de desenvolvimento nacionais, dos parlamentares ou dos executivos do governo (Velho 1998, pp. 34-8). É importante ressaltar que a racionalidade que dá sustentação a estes indicadores é a mesma das avaliações por pares: interna à lógica da ciência. O resultado do julgamento de um ou vários colegas transforma-se, reduzindo-se na apresentação de uma medida, num indicador objetivo da atividade científica.

Nas bases de dados internacionais, tem se gerado o que se pode denominar uma reificação de um sistema universal de avaliação da qualidade científica, um padrão único, passível de ser utilizado internacionalmente. Assim, não se consideram as diferenças significativas na organização, no sistema de comunicação e no comportamento dos cientistas das diferentes áreas do conhecimento, de diferentes países, e de naturezas diferentes de pesquisa básica ou aplicada (idem, 1989, p. 961). Sendo que as primeiras análises empíricas e a construção das bases tomaram como ponto de partida principalmente a área da física num contexto acadêmico, os incontáveis estudos a respeito dessas diferenças permitem várias críticas ao uso indiscriminado dos indicadores bibliométricos. Tem sido apontado, por exemplo, que é de se esperar que um núcleo de publicações de partida (o conjunto inicial de revistas) alternativo produziria distribuições de títulos bem diferentes das atualmente geridas pelo ISI (Rousseau, apud Spinak, 1998, p. 148).

No processo de construção dessas bases internacionais, em particular do SCI, produz-se uma nova seleção dos artigos publicados: as revistas onde eles aparecem também são avaliadas através de um complexo processo onde interagem muitos fatores ditos "qualitativos e quantitativos", como periodicidade, conteúdo editorial, inter-nacionalidade e análise de citação (Testa, 1998, p. 234). As revistas julgadas de melhor qualidade, segundo esses critérios das instituições que constroem os índices, são incluídas nessas bases de dados, constituindo assim "os canais mais importantes de comunicação científica internacional", ou seja, a literatura mainstream (Garfield, 1983, p. 113).

Ainda que as publicações seriadas sejam medidas válidas apenas para algumas áreas científicas, em particular as ‘básicas’ e entre elas as ‘duras’ (Frame, 1985), os indicadores derivados delas tendem a ser usados nas considerações de política científica no mundo todo. Assim, é lugar-comum assimilar a excelência científica ao reconhecimento e prestígio acadêmico internacionais, ao impacto na comunidade científica mundial, medidos através destes instrumentos. A dicotomia entre excelência e periferia científica é colocada por alguns autores ao analisar a situação da ciência nos países subdesenvolvidos: qualifica-se a ciência marginal à produção mainstream como não excelente, quase por definição (Cueto, 1989). Com este enfoque, na periferia só é possível ter ilhas de excelência, quando grupos de pesquisa conseguem trabalhar em áreas que despertam o interesse e são aceitas pela ciência internacional, ou quando, correndo atrás, logram atuar no limite da fronteira científica estabelecida por essa ciência e publicar seus artigos nos jornais científicos considerados excelentes.

O processo de construção de indicadores científicos, entretanto, é um processo social assentado em premissas teóricas válidas somente no seu contexto (Velho, 1989, p. 965). Isto porque qualquer exercício de avaliação implica certos valores; a base mínima a partir da qual se elaboram os indicadores é composta por julgamentos subjetivos. Estes incorporam, desde o início, uma série de elementos, premissas, condições e variáveis de contexto. Dessa forma, utilizar bases de dados construídas numa determinada realidade em outra consideravelmente distinta pode ser inadequado e trazer dificuldades e erros. A partir deste fato é que aparecem alguns outros questionamentos aos indicadores mais utilizados, num nível que pode ser denominado como ‘técnico’, relativo à metodologia usada na formação da base de dados, ainda que nem sempre sejam claramente distinguíveis as limitações técnicas das conceituais.

Os indicadores bibliométricos foram desenvolvidos em situações de financiamento em torno do steady-state, junto a uma base e uma prática científicas bem estabelecidas (Thomas, 1992, p. 150). A primeira distinção importante está, então, vinculada à situação dos países subdesenvolvidos, nos quais os esforços estão destinados a criar uma infra-estrutura para o crescimento da ciência (Cano e Burke, 1986, p. 2). Vários autores têm apontado o viés da cobertura de revistas pelo ISI, favorecendo os países cientificamente centrais (Rabkin e Inhaber, 1979, p. 262; Frame, 1980, p. 137). Ainda dentro deles, são apontadas diferenças em favor dos países de língua anglo-saxã, e em particular, dos Estados Unidos (Narin e Carpenter, 1975, pp. 84-6; Jagodzinski-Sigogneau et alii, 1982, p. 121; Arvanitis e Chatelin, 1988, p. 114). Assim, as tentativas de utilizar bases de dados como o SCI de forma universal implicariam uma manifestação, na prática, da ‘internacionalização’ de uma forma particular de ciência nacional, a ciência de alguns países ‘do centro’. Ou, como afirmado por Spinak (1998, p. 144), "a chamada ciência internacional (ou mainstream) é, em grande medida, o resultado das ‘ciências nacionais’ dos países centrais".

Assim como os países cientificamente centrais têm apontado problemas no uso do SCI para medir o seu próprio esforço científico, espera-se que a cobertura incompleta da produção científica no mundo subdesenvolvido não afete a todos por igual. Existem trabalhos que mostram evidências de importantes diferenças entre regiões, em particular levando em conta distintas contribuições científicas segundo áreas de pesquisa ou especialidades (Frame et alii, 1977; Davis e Eisemon, 1989; Sancho, 1992); em particular, alguns estudos com resultados nesse sentido foram realizados especificamente para países latino-americanos (Frame, 1977; Roche e Freites, 1982; Cano e Burke, 1986). Em vista disso, a utilização dessa base de dados nas considerações e decisões de política científica dos países subdesenvolvidos – e em especial da América Latina – é ainda mais problemática e questionável.

As críticas e discussões sobre a revisão por pares

Existe uma ampla variedade de críticas que se referem tanto aos princípios e fundamentos do sistema de revisão por pares quanto aos mecanismos efetivamente implementados, seja de revisão de artigos para publicação, seja de propostas para financiamento. Principalmente nos Estados Unidos, originados da própria comunidade científica na década de 1960, e do Congresso a partir da década de 1970, e depois em outros países, realizaram-se estudos, inquéritos e análises sobre os procedimentos empregados por diversas agências. Estes estudos surgiram a partir desta série de críticas e, ao mesmo tempo, realimentaram as antigas críticas e originaram outras. Aliás, é de salientar que tanto as críticas ao sistema de pares quanto as suas alternativas têm ressurgido de tempo em tempo, retomando, às vezes com nova roupagem, os mesmos tópicos e problemáticas. Exemplo disso foi o recente debate conduzido na Internet sobre o sistema de revisão por pares nas ciências sociais, coordenado por Steve Fuller, da Universidade de Durham, sob os auspícios do Economic and Social Research Council da Grã-Bretanha. Organizado na forma de trinta tópicos, a conferência virtual acabou não tendo a repercussão que se esperava, tal como se indica pelo número considerável de tópicos que não recebeu qualquer contribuição dos participantes. Ainda que esta aparente falta de interesse num debate crucial para os pesquisadores e todo o scientific establishment tenha que ser melhor entendida e diagnosticada, é possível que ela seja devida, pelo menos em parte, à inexistência de fatos e comentários ‘novos’ sobre o tema. De fato, entre aqueles que se manifestaram sobre alguns tópicos, pode-se notar uma repetição de críticas e idéias já apresentadas em diversas oportunidades anteriores (http://www.sciencecity.org.uk/cyberconference.html) .

Um dos primeiros autores, na década de 1960, que fez considerações em relação aos ‘critérios de escolha em ciência’, Weinberg (1963, pp. 161-2) centrou suas críticas e recomendações no "universo fechado" da avaliação. Ele chamava atenção para o fato de que os pares julgam com base em regras definidas pela própria comunidade disciplinar. Assim, os colegas analisam se o trabalho proposto adequa-se às regras da área; nunca questionam a validade das próprias regras. O par, por definição, pertence à disciplina do candidato, e "inevitavelmente compartilha o mesmo entusiasmo e paixão, (estando) todos contaminados pelo mesmo tóxico". A alternativa apontada por ele era obter opiniões de pessoas de outras disciplinas científicas – para determinar a relevância e o impacto da proposta de pesquisa nas demais áreas da ciência – e ainda de outras, fora da comunidade científica – para analisar o impacto no conjunto da sociedade.

De certa forma, este tipo de consideração deu origem, no começo da década de 1970, a múltiplas vozes no Congresso norte-americano que reclamavam desse ‘universo fechado’ e a um intenso debate em diferentes meios de comunicação, em especial na Science. As discussões diziam respeito, especificamente, ao sistema implementado naquela época na NSF, mas algumas das críticas podem ser generalizadas, tais como: a) privilégio conferido a pesquisadores e instituições de prestígio; b) resistência a idéias inovadoras, favorecendo linhas de pesquisa tradicionais; c) controle da burocracia interna sobre os processos; e) sigilo dos assessores, o que torna difícil a cobrança de resultados e isenção de julgamento; f) inexistência de outros mecanismos de assessoramento, ou da combinação entre eles; g) enorme gasto de tempo dos cientistas; h) o processo de elaboração das propostas e sua avaliação não corresponde à dinâmica do trabalho científico criativo, muito mais espontânea; i) promove ‘competição’ em lugar de cooperação e colaboração entre cientistas (Mitroff e Chubin, 1979, pp. 203-4; Roy, 1984, p. 319).

Outros aspectos, além dos apontados, têm sido criticados nestas quase três décadas de discussões a respeito do sistema de avaliação por pares. Alguns deles, entretanto, dada sua persistência em vários países do mundo, e a insistência com que têm sido mencionados, merecem ser comentados.

As críticas centradas na eficiência do processo, ou seja, no "desnecessário desperdício de recursos limitados de talento científico" (Roy, 1984, 318) é estendida ao gasto considerável em tempo e esforço, seja do proponente, do avaliador ou da burocracia que administra o processo, e também ao mau uso de recursos financeiros que poderiam ser utilizados diretamente na execução da pesquisa (Ziman, 1994, p. 103). Este tipo de crítica, em geral, tem resultado na recomendação de que o financiamento de propostas de pesquisa tome como referência a experiência passada dos proponentes, além de alguns procedimentos especiais para permitir o acesso de "sangue novo" ao sistema. Ao que parece, se estas recomendações, por um lado, oferecem uma solução ao problema de desperdício de recursos (e, particularmente do tempo de todos os atores envolvidos no processo), elas, por outro lado, poderiam alimentar os problemas da "resistência à inovação" e do "efeito halo", descritos a seguir.

A qualificação do sistema como ‘conservador’, na medida em que não favorece a inovação, implica que uma proposta ou artigo com idéias ou técnicas heterodoxas, fora das regras comumente aceitas, é muitas vezes rejeitado, ou, no mínimo, tem maiores dificuldades que manuscritos ‘cautelosos’, feitos em linhas de pesquisa bem estabelecidas (Chubin e Connolly, 1982, p. 301; Ziman, 1994, pp. 110, 254). Existem evidências de que o financiamento de projetos que utilizam métodos e técnicas já existentes, reconhecidas e consolidadas, é privilegiado, em detrimento daqueles que usam metodologias novas, ou fora dos ‘paradigmas’ convencionais (Fölster, 1995, p. 43). Para alguns críticos, esta objeção teórica não precisa de demonstração, pois "é inerentemente impossível prever (isto é, escrever uma proposta descrevendo) a direção da pesquisa inovativa futura; ela é, por definição, imprevisível" (Abrams, 1991, p. 125). Nas palavras de Roy (1984, p. 319), "o sistema de julgamento por pares ignora o papel crucial da mudança e da serendipity na ciência".

A crítica sobre o sigilo dos nomes dos assessores refere-se ao fato de que este é mantido, habitualmente, num só sentido: os julgados não conhecem os nomes dos juízes, mas estes sabem quem são os proponentes. Isto impediria, segundo seus defensores, a radicalização das relações entre autores e assessores, tanto no âmbito da própria agência quanto em reuniões científicas; por outro lado, facilitaria a necessária crítica profunda e franca em relação aos possíveis erros, que, dificilmente, é feita de maneira direta (Loría e Loría, 1996, p. 69). Os questionamentos apontam, por um lado, que o sigilo permitiria pareceres tendenciosos, maliciosos ou simplesmente de má qualidade (Chubin e Hackett, 1990, pp. 91, 203-4), e, por outro, que eles, os revisores, ‘se escondem’ no anonimato, quando deveriam prestar contas de suas palavras e decisões. Alguns estudos empíricos recentes não encontraram diferenças significativas nos resultados do processo de avaliação em termos de "qualidade da revisão", quando se guarda ou não sigilo, seja do revisor seja do ‘revisado’ (Godlee et alii, 1998; Justice et alii, 1998; van Rooyen et alii, 1998). Ficaria em pé, portanto, o argumento da accountability, da necessidade de todo juiz prestar contas de seus julgamentos. Nas palavras do conferencista que fez a abertura de um congresso recente sobre a temática, "o sistema predominante de revisão editorial, onde os nomes dos revisores são desconhecidos dos autores, é um exemplo perfeito de privilégio e poder desvinculados de accountability" (Rennie, 1998, p. 300).

A caracterização de ‘sistema fechado e tendencioso’, seja deliberadamente ou não, refere-se aos desvios a favor de, por exemplo, redes elitistas de old boys (cientistas com visões comuns sobre a sua área de pesquisa, colegas ou ainda amigos), ou apenas a favor de pesquisadores muito reconhecidos, situados nas universidades de maior prestígio ("efeito halo"). Isso é vinculado aos desvios em detrimento de um ou outro grupo: minorias étnicas, mulheres, pesquisadores jovens, pesquisadores de centros acadêmicos de menor prestígio etc. Como exemplo pode-se mencionar um estudo recente sobre os processos de avaliação de propostas de pesquisa no Conselho de Pesquisas Médicas da Suécia – país reconhecido, e ele mesmo orgulhoso disso, por suas políticas igualitárias no tratamento de todos os grupos sociais que encontrou uma tendência significativa contra as mulheres nas práticas de avaliação, bem como um favorecimento dos candidatos conhecidos dos membros dos painéis que tomam as decisões de financiamento (Wenneras e Wold, 1997). Vale mencionar também estudos que têm encontrado evidências claras de preferências dos revisores de periódicos importantes por artigos provenientes de seus próprios países (Link, 1998).

Este tipo de críticas, agrupadas sob o tema de ‘confiabilidade’ por Spagnolo (1989, p. 130), envolve também as possíveis imparcialidades do processo no momento de seleção do parecerista ou na própria decisão do assessor. Os trabalhos de Zuckerman e Merton (1973) sobre o processo de julgamento em revistas científicas e depois os de Cole, Rubin e Cole (1977) sobre o mecanismo utilizado pela NSF dos Estados Unidos procuraram refutar as acusações de que a revisão por pares é um processo discriminatório e subjetivo. Estas críticas centram-se na idéia do cientista ‘neutro’, capaz de julgar de forma imparcial com base exclusivamente em seu conhecimento técnico. Tal idéia "pressupõe um nível de objetividade, desinteresse e honestidade, que nunca foi obtido em nenhum grupo humano" (Roy, 1984, p. 319).

Na prática, os pares freqüentemente divergem nas suas opiniões a respeito de uma proposta de pesquisa. Para os sociólogos da ciência tradicionais, a explicação para isto pode estar na diferente percepção da adequação da proposta aos critérios estabelecidos ou na ambigüidade desses critérios, visto que o grau de coincidência entre dois árbitros "tem se mostrado, ao longo dos anos, notavelmente alto" (Zuckerman e Merton, 1973, p. 495). Eles reconhecem que algumas áreas do conhecimento apresentam divergências de opinião entre árbitros, mas atribuem este fato ao nível de desenvolvimento paradigmático do campo, quer dizer, ao grau de consenso a respeito dos padrões de conhecimento adequados.

Desde então, inúmeros trabalhos têm tratado das diferenças entre ciências básicas e aplicadas (Price 1969; Moravcsik,1976), entre ‘duras’ e ‘brandas’ (Price, 1986b; Lindsey, 1978), entre disciplinas (Price 1969; Lodahl e Gordon, 1972; Abt, 1992; Prpic, 1994) e ainda entre subdisciplinas (Cagnin, 1985) quanto ao comportamento de suas respectivas comunidades. Com base nestes trabalhos, destacam-se duas tendências relativas ao grau de consenso paradigmático: ele tende a decrescer das áreas básicas às aplicadas e das áreas ‘duras’ às ‘brandas’. Assume-se, assim, que uma certa (quantidade inespecífica) de divergência é esperada nas áreas mais ‘aplicadas’ e ‘brandas’, mas o julgamento, mesmo nestas áreas, tende a ser ‘justo’, ou seja, não influenciado por critérios particularistas.

Em termos gerais, as causas das divergências ou variações entre assessores não têm sido claramente estabelecidas; pode-se dizer que existe um importante desacordo. Alguns autores preferem qualificá-las de "inexplicáveis" (Ziman, 1994, p. 259); outros centram-se nas diferentes exigências – ou nível de severidade – de cada árbitro, ou seja, atribuem as diferenças à maneira particular como cada pessoa traduz sua opinião em um número ou categoria de qualificação, ou, ainda, a "reais e legítimas diferenças de opinião entre especialistas acerca do que é ou deveria ser boa ciência" (Cole, Cole e Simon, 1981, p. 885).

Esta última explicação para a ocorrência de divergências implica a existência de um objeto ‘real’ – a atividade científica –, a respeito do qual distintos observadores – os pares ou juízes – podem ter percepções um pouco diferentes. Uma explicação deste tipo somente justificaria pequenas diferenças no julgamento a respeito de um objeto que tem qualidade em si mesmo. Outros autores, com base em perspectiva teórica alternativa, destacam o fato de que o julgamento por pares é parte do processo de produção de conhecimento e das negociações para atingir consenso nas afirmações científicas, as quais são, portanto, produto de um processo social e não apenas científico (Chubin, 1990, p. 159). Então, qualquer grupo de pares pode produzir seu próprio consenso, quer dizer, sua "verdade" (Spagnolo, 1989, p. 132). A validade geral do sistema é, assim, posta em questão: "o juízo coletivo sobre a qualidade de um trabalho depende, pelo menos, tanto dos valores, padrões, interesses e tendências dos cientistas-juízes quanto dos próprios manuscritos" (Chubin e Hackett, 1990, p. 38).

Dentro desta nova visão sociológica da ciência assume-se que várias outras considerações, além das estritamente ‘científicas’, são incorporadas nas opiniões dos próprios pares. Uma delas, é certamente, a relevância (em termos de impacto extracientífico), ainda que, muitas vezes, o próprio avaliador não seja explícito sobre isto ao registrar sua opinião. Ou seja, não é possível separar as valorações sobre as proposições lógicas das opiniões sobre oportunidade. As relações cotidianas dos pesquisadores com seu contexto, com os outros atores vinculados direta ou indiretamente à ciência, levam-nos a compartilhar a responsabilidade na definição dos problemas, através de interações e induções de critérios. Mas esses critérios estão implícitos, e não se tem qualquer controle sobre sua aplicação. As avaliações incorporam, desde o início, uma série de elementos e premissas relacionados tanto aos valores e subjetividades do avaliador como às condições e variáveis de contexto do processo. Tudo isto, entretanto, fica submerso, na medida em que o que se espera do par, dentro do contrato social Science the Endless Frontier, é que ele informe sua opinião científica e contextualmente ‘neutra’.

Existem vários sinais, neste momento, que o contrato social entre ciência e Estado – que originou o aparato institucional de política científica cujo processo decisório central é o sistema de revisão por pares – está em crise. Um novo contrato está sendo negociado. Que contrato é esse e como ele está afetando ou pode afetar os mecanismos de alocação de recursos nos organismos de financiamento à pesquisa?

A consideração explícita da relevância: um novo contrato?

As condições contextuais que permitiram o contrato social do tipo Science the Endless Frontier começaram a se desvanecer em meados da década de 1960, particularmente nos Estados Unidos, com a constatação de que não era mais possível atender ao crescimento das demandas da comunidade científica – seja pelo aumento do número de seus membros, seja pelo aumento do custo da ciência – simplesmente pela expansão dos recursos públicos. Além disso, os benefícios sociais prometidos pela ciência não pareciam mais ser tão automáticos. O modelo linear de inovação passou a ser criticado com base em estudos que apontavam numerosas ocasiões em que a tecnologia parece ter ‘guiado’ a ciência (Layton, 1988). E, sobretudo, a revisão por pares, além das críticas já apresentadas, passou a se mostrar ineficiente para levar em consideração tanto as opiniões dos usuários quanto questões mais amplas de estratégia científica, incluindo a distribuição de recursos entre áreas científicas.

À luz das restrições orçamentárias, do colapso do modelo linear de inovação e da erosão da credibilidade irrestrita do julgamento por pares, estamos testemunhando, então, a emergência de um contrato social novo e muito mais específico entre ciência e sociedade. Alguns falam de "segunda revolução acadêmica" (Etzkowitz, 1990) ao referir-se à pesquisa que se desenvolve nas universidades. Outros, ao se perguntarem sobre o que está acontecendo à ciência, trabalham sobre um "steady state (estado estacionário) dinâmico" (Ziman, 1994). Este caracteriza-se por vários fatores, tais como: os crescentes níveis de demanda externa por utilidade social e econômica da pesquisa, a sua privatização e coletivização e o aumento da interdependência econômica global da pesquisa. Na mesma linha de análise, Teich (1990) refere-se a três tendências atuais na transição dos sistemas de pesquisa: a escolha da ciência (priority setting), o uso da ciência (a busca de relevância econômica), e o abuso da ciência (desafios à autoridade moral da ciência). Isto tudo reflete uma expectativa generalizada de que o apoio de recursos públicos para a pesquisa científica deveria se concentrar em áreas que prometem os maiores benefícios sociais e econômicos – em outras palavras, em pesquisa estratégica ou que possa ser aplicada para obtenção de certos objetivos predefinidos (Skoie, 1996).

Dentro de novo contrato, ainda em negociação, não se tem ainda muita clareza do papel que será destinado ao mecanismo de revisão por pares na alocação de recursos. Muitas alternativas são possíveis e existem indicações de que diferentes países estão adotando diferentes arranjos, dependendo da correlação de forças entre os vários atores sociais e de seus interesses.

Algumas agências têm conseguido sobreviver trabalhando exatamente como o faziam dentro do acordo anterior, isto é, com autonomia e poder irrestrito para a comunidade científica. Este é o caso, por exemplo, do DFG, o Conselho de Pesquisa da Alemanha e, também, da Fapesp brasileira (Rip, 1998; Petrucci, 1993). Estas agências não sentem necessidade de se modificar por algumas razões especiais: elas têm uma longa história de sucessos e têm conseguido manter seus orçamentos em níveis altos, além de gozarem de status legal especial. Dadas as especificidades requeridas para manter este modelo, é muito difícil que outras agências em outros países sejam capazes deste feito.

Aparentemente, o mais comum tem sido uma tendência das agências a se adaptar aos novos tempos para, assim, sobreviver. Este é o caso, por exemplo, da NSF dos Estados Unidos, que começou a considerar a relevância como um critério explícito no seu processo de revisão, renomeado "julgamento de mérito" em 1986, com base na idéia de que a qualidade científica pode não ser critério suficiente para a seleção de projetos. Como relatam Chubin e Hackett (1990, p. 159, grifos no original), "(m)ais recentemente, a presença crescente da engenharia dentro da National Science Foundation, a retitulação dos Science Indicators para Science and Engineering Indicators, e a mudança na NSF de julgamento por pares a julgamento de mérito – este último misturando avaliações de mérito técnico pelos pares com assessoramentos de utilidade prática – assinalam um novo ponto de balanço no equilíbrio dinâmico entre conhecimento e utilidade".

Porém, nesse contexto de ‘novos pontos de equilíbrio’, de mudanças, a premissa central de que o julgamento por pares cumpre um papel- chave na avaliação de pesquisadores não tem sido desafiada, pelo menos não frontalmente; o centro do processo de revisão de propostas de pesquisa, de alocação de recursos para a ciência – que inclui uma ampla gama de participantes – continua sendo dominado pelos cientistas, os pares (Chubin, 1990, p. 301). Ante esta situação, alguns autores perguntam: "Que conceito de objetivos, que critérios de mérito, vamos usar na avaliação da pesquisa? Vamos restringir-nos ao conceito de excelência científica, conforme definido pela comunidade científica em determinado momento?" (Cozzens, 1990, p. 292).

Algumas agências já responderam ‘não’ a esta pergunta, adotando a recomendação de diferentes autores (desde Weinberg, 1964 e 1963, até Ziman, 1994, entre outros) de avaliar propostas de pesquisa de acordo com dois tipos de critério: internos e externos. Os primeiros relacionam-se ao desempenho científico, têm a ver com questões eminentemente técnicas e só podem ser apreciados por especialistas da mesma área de conhecimento; em outras palavras, julgamento por pares em sentido estrito. Os externos são mais gerais em escopo, incluindo resultados esperados de tipo científico, tecnológico ou social, para os quais devem ser levadas em conta opiniões de não especialistas, fora da comunidade científica. Este procedimento já foi adotado pelos conselhos de pesquisa do Reino Unido, particularmente para os programas chamados de ‘pesquisa estratégica’ (Hills e Dale, 1995), pela Comisión Sectorial de Investigación Científica (CSIC) do Uruguai para financiamento dos projetos de pesquisa de vinculação entre universidade e setor produtivo (Davyt, 1997) e pela Fundação Holandesa de Tecnologia (Dutch Technology Foundation, STW) para a mesmas finalidades das duas instituições anteriores (van dem Beemt, 1995).

Todas as modificações até hoje realizadas no sistema de alocação de recursos das agências de pesquisa ainda guardam um papel de destaque para a opinião dos pares, e, provavelmente, isto não vai mudar no futuro. Entretanto, como os exemplos do Reino Unido, do Uruguai, da Holanda e ainda de outros países têm indicado, a revisão por pares não reina mais soberana. É possível, desejável e factível agregar opiniões de outros atores sociais sobre a pesquisa que deve ou não receber financiamento, sem com isso ‘ameaçar’ o avanço da ciência.

Recebido para publicação em junho de 1999.

Aprovado para publicação em agosto de 1999.

• Abrams, Peter A. 1991 The predictive ability of peer review of grant proposals: the case of ecology and the US National Science Foundation. Social Studies of Science, 21: 111-32.
• Abt, H. A. 1992 Publication practices in various sciences. Scientometrics, 24(3): 441-7.
• Albagli, Sarita 1988 Cięncia e Estado no Brasil moderno: um estudo sobre o CNPq Dissertaçăo de mestrado, Rio de Janeiro, COPPES/UFRJ. (mimeo.)
• Arvanitis, Rigas e Chatelin, Yvon 1988 National strategies in tropical soil sciences. Social Studies of Science, (18): 113-46.
• Bastos, Maria Inęs e Cooper, Charles 1995 A political approach to science and technology in Latin America. Em Politics of technology in Latin America Londres/Nova York, Routledge/UNU Press, pp. 1-27.
• Braverman, J. e González, S. N. S. 1980 Los organismos de política científica y tecnológica en América Latina Washington, D. C., OEA.
• Cagnin, Maria Aparecida H. 1985 Patterns of research in chemistry in Brazil. Interciencia, 10(2).
• Callon, Michel; Law, John e Rip, Arie 1986 Mapping the dynamics of science and technology Londres, Macmillan Press.
• Cano, Virginia e Burke, F. E. 19-22.10.1986 Publication patterns in Mexican science (mimeo., 18p), paper apresentado em 1986 social studies of science conference, Pittsburgh, Penn.
• Castro, Claudio de Moura 1986 A questăo da qualidade. Em Simon Schwartzman e Claudio de Moura Castro(orgs.), Pesquisa universitária em questăo Campinas, Editora da Unicamp.
• Chubin, Daryl 1990 Sientific malpractice and the contemporary politics of knowledge. Em Susan Cozzens e Thomas Gieryn (orgs.), Theories of science in society Bloomington/Indianapolis, Indiana University Press, pp. 144-65.
• Chubin, Daryl e Hackett, Edward 1990 Peerless science: peer review and US science policy Albany, State University of New York Press.
• Chubin, Daryl e Restivo, Sal 1983 The mooting of science studies: research programmes and science policy. Em Karin Knorr-Cetina e Michael Mulkay (orgs.), Science observed Londres, Sage Publications.
• Chubin, Daryl e Connolly, Terence 1982 Research trails and science policies: local and extra-local negotiation of scientific work. Em Norbert Elias; Herminio Martins e Richard Whitley (orgs.), Scientific establishments and hierarchies: sociology of the sciences. Albany, Reidel Publishing Company, vol. VI.
• Cole, Stephen; Cole, Jonathan e Simon, G. A. 1981 Chance and consensus in peer review. Science, 214: 881-6.
• Cole, Stephen; Rubin, Leonard e Cole, Jonathan 1977 Peer review and the support of science. Scientific American, 237(4): 34-41.
• Cozzens, Susan 1990 Options for the future of research evaluation. Em Susan Cozzens; Peter Healey; Arie Rip e John Ziman (orgs.), The research system in transition. Dordrech, Netherlands, Kluwer Academic Publishers.
• Crosland, Maurice e Galvez, Antonio 1989 The emergence of research grants within the prize system of the French academy of sciences, 1795-1914. Social Studies of Science, 19: 71-100.
• Cueto, Marcos 1989 Excelencia científica en la periferia: actividades científicas e investigación biomédica en el Perú: 1890-1950 Lima, Grade.
• Davis, Charles e Eisemon, Thomas 1989 Mainstream and non mainstream scientific literature in four peripheral Asian scientific communities. Scientometrics, 15(3-4): 215-39.
• Davyt, Amílcar 1997 A construçăo da excelęncia nos processos de avaliaçăo da pesquisa: a Comisión Sectorial de Investigación Científica da Universidad de la República, Uruguai Dissertaçăo de mestrado, Campinas, Departamento de Política Científica e Tecnológica/Unicamp. (mimeo.)
• Dickson, David 1988 The new politics of science Chicago, Illinois, University of Chicago Press.
• Etzkowitz, Henry 1990 The second academic revolution: the role of the research university in economic development. Em Susan Cozzens; Peter Healey; Arie Rip e John Ziman (orgs.), The research system in transition Dordrech, Netherlands, Kluwer Academic Publishers.
• Fabbri, Paolo e Latour, Bruno 1995 La retórica de la ciencia: poder y deber en un artículo de ciencia exacta. Em Paolo Fabbri, Tácticas de los signos Barcelona, Gedisa.
• Fölster, S. 1995 The perils of peer review in economics and other sciences. Journal of Evolutionary Economics, 5: 43-57.
• Frame, John Davidson 1985 Problems in the use of literature-based S&T indicators in developing countries. Em Hiroko Morita-Lou (org.), Science and technology indicators for development Westview Press Inc, Boulder, Colorado, pp. 117-21.
• Frame, John Davidson 1980 Measuring scientific activity in lesser developed countries. Scientometrics, 2(2): 133-45.
• Frame, John Davidson 1977 Mainstream research in Latin America and the Caribbean. Interciencia, 2(3): 143-7.
• Frame, John Davidson; Narin, Francis e Carpenter, Mark 1977 The distribution of world science. Social Studies of Science, vol. 7, 501-16.
• Fuller, Steve (org.) 1999 Peer review in the social sciences, ciberconferęncia, http://www.sciencecity.org.uk/cyberconference.html
• Garfield, Eugene 1983 Mapping science in the third world. Science and Public Policy, 10(3): 112-27.
• Gilbert, Nigel 1978 Measuring the growth of science: a review of indicators of scientific growth. Scientometrics, vol. 1, n^o 1, 9-34.
• Godlee, F.; Gale, R. e Martyn, C. N. 1998 Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial. JAMA Journal of the American Medical Association, 280 (3): 237-9.
• Guimarăes, Maria Cristina 1992 Avaliaçăo em cięncia e tecnologia: um estudo prospectivo em química Dissertaçăo de mestrado, Rio de Janeiro, Escola de Comunicaçăo/UFRJ. (mimeo.)
• Harnad, Stevan 5.11.1998 Web matters: the invisible hand of peer review. Nature, 396: 6706.
• Hills, Phillip e Dale, Allison Apr. 1995 Research and technology evaluation in the United Kingdom. Research Evaluation, 5(1): 35-44.
• Holbrook, John 1992 Why measure science?. Science and Public Policy, 19(5): 262-6.
• Jagodzinski-Sigogneau, M.; Courtial, Jean-Paul e Latour, Bruno 1982 How to measure the degree of independence of a research system?. Scientometrics, 4(2): 119-33.
• Justice, A. C.; Cho, M. K.; Winker, M. A.;  Does masking author identity improve peer review quality? A randomized controlled trial.
• Berlin, J. A. e Rennie, D. `1998 JAMA Journal of the American Medical Association, 280 (3): 240-2.
• Layton, E. T. 1988 Science as a form of action: the role of the engineering sciences. Technology and Culture, 29(1): 82-97.
• Lindsey, Duncan 1978 The scientific publication system in social science San Francisco, California, Jossey-Bass Publishers.
• Link, Ann M. 1998 US and non-US submissions. JAMA Journal of the American Medical Association, 280(3): 246-7.
• Lodahl, Janice B. e Gordon, Gerald Feb. 1972 The structure of scientifics fields and the functioning of university graduate departments. American Sociological Review, 37, 57-72.
• Loría, Alvar e Loría, Eduardo mar.-abr. 1996 Reflexiones en torno a la revisión por pares en revistas científicas. Ciencia y Desarrollo, 63-73.
• Macias-Chapula, César 1998 O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Cięncia da Informaçăo, 27(2): 134-40.
• Manten, A. A. 1980 Publication of scientific information is not identical with communication. Scientometrics, 2(4): 303-8.
• Merton, Robert 1973 Recognition and excellence: instructive ambiguities. Em The sociology of science: theoretical and empirical investigations Chicago, Illinois, University of Chicago Press.
• Mitroff, Ian e Chubin, Daryl 1979 Peer review at the NSF: a dialectical policy analysis. Social Studies of Science, 9: 199-232.
• Moravcsik, Michael J. 1976 A progress report on the quantification of science. Journal of Scientific and Industrial Research, 36: 195.
• Morita-Lou,Hiroko (org.) 1985 Science and technology indicators for development. Boulder, Colorado, Westview Press Inc.
• Narin, Francis e Carpenter, Mark 1975 National publication and citation comparisons. Journal of the American Society for Information Science, 26(2): 80-93.
• Nicoletti, Lenita 1985 Participaçăo da comunidade científica na política de C&T: o CNPq Brasília, CNPq, texto 16. (mimeo.)
• Petrucci, Vera Lúcia 1993 Condicionantes da trajetória institucional da Fundaçăo de Amparo ŕ Pesquisa do Estado de Săo Paulo Fapesp Dissertaçăo de mestrado, Campinas, Departamento de Política Científica e Tecnológica, Unicamp. (mimeo.)
• Price, Derek John de Solla 1986a Measuring the size of science. Em Little science, big science and beyond Nova York, Columbia University Press.
• Price, Derek John de Solla 1986b Citations measures of hard science, soft science, technology and non-science'. Em Little science, big science and beyond Nova York, Columbia University Press.
• Price, Derek John de Solla 1969 The structures of publication in science and technology. W. H. Gruber e D. G. Marquis (orgs.), Factors in the transfer of technology Cambridge, Massachusetts, MIT Press, pp. 91-104.
• Prpic, Katarina 1994 The socio-cognitive frameworks of scientific productivity. Scientometrics 31(3): 293-310.
• Rabkin, Y. M. e Inhaber, H 1979 Science on the periphery: a citation study of three less developed countries. Scientometrics, 1(3): 261-74.
• Rennie, Drummond 1998 Freedom and responsibility in medical publication. Setting the balance right. JAMA Journal of the American Medical Association, 280 (3): 300-2.
• Rip, Arie 1998 Aggregation machines: a political science of science approach to the future of the peer review system. Em W. Dunn; M. Hisschmoller; R. Hoppee e J. R. Ravetz (orgs.), Knowledge, power and participation in risk policymaking. Policy Studies Annual Review
• Rip, Arie 1994 The republic of science in the 1990s. Higher Education, 28(1): 3-23.
• Roche, Marcel e Freites, Yajaira 1982 Producción y flujo de información científica en un país periférico americano (Venezuela). Interciencia, 7(5): 279-90.
• Ronayne, Jarlath 1984 Science in government Londres, Edward Arnold.
• Rousseau, Ronald 1998 Indicadores bibliométricos e econométricos para a avaliaçăo de instituiçőes científicas. Cięncia da Informaçăo, 279(2):149-58.
• Roy, Rustum 1984 Alternatives to review by peers: a contribution to the theory of scientific choice. Minerva, 22:316-28.
• Salomon, Jean-Jacques 1977 Science policy studies and the development of science policy. Em Ina Spiegel-Rosing e John Derek de Solla Price (orgs.), Science, technology and society: a cross disciplinary perspective Londres, Sage Publications.
• Sancho, Rosa 1992 Misjudgements and shortcomings in the measurements of scientific activities in less developed countries. Scientometrics, 23(1): 221-33.
• Shapin, Steven 1996 The scientific revolution Chicago, Illinois, University of Chicago Press.
• Skoie, H. 1996 Basic research a new funding climate?. Science and Public Policy, 23: 66-75.
• Spagnolo, Fernando 1989 Assesment of graduate programs: the Brazilian case Tese de doutoramento, Sussex, Reino Unido, Universidade de Sussex. (mimeo.)
• Spinak, Ernesto 1998 Indicadores cienciométricos. Cięncia da Informaçăo, 27(2): 141-8.
• Teich, Albert 1990 US science policy in the 1990s: new institutional arrangements, procedures, and legitimations. Em Susan Cozzens; Peter Healey; Arie Rip e John Ziman (orgs.), The research system in transition Dordrech, Netherlands, Kluwer Academic Publishers.
• Testa, James 1998 A base de dados ISI e seu processo de seleçăo de revistas. Cięncia da Informaçăo, 27(2): 233-5.
• Thomas, Sandra M. 1992 The evaluation of plant biomass research: a case study of the problems inherent in bibliometric indicators. Scientometrics, 23(1): 149-67.
• Travis, G. e Collins, Harry 1991 New light on old boys: cognitive and institutional particularism in the peer review system. Science, Technology and Human Values, 16(3): 322-41.
• Unesco 13-22.7.1965 Indicaciones para la aplicación de la ciencia y la tecnología al desarrollo de América Latina Informe final de la Conferencia sobre la aplicación de la ciencia y la tecnología al desarrollo de América Latina organizada por la Unesco en cooperación con la Comisión Económica para América Latina. Santiago do Chile, Unesco/NS/202.
• van dem Beemt, Frans C. H. D. 1995 Evaluating research proposals. Nature, 375: 272.
• Van Rooyen, S.; Godlee F.; Evans, S.; Smith, R. e Black, N. 1998 Effect of blinding and unmasking on the quality of peer review: A randomized trial. JAMA Journal of the American Medical Association, 280(3): 234-6.
• Velho, Léa 1998 Indicadores científicos: aspectos teóricos y metodológicos e impactos en la política científica. Em E. Martínez e M. Albornoz (orgs.), Indicadores de Ciencia y Tecnología: estado del arte y perspectivas Caracas, Nueva Sociedad, 23-51.
• Velho, Léa 1989 Avaliaçăo acadęmica: a hora e a vez do baixo clero. Cięncia e Cultura, 41(10): 957-68.
• Weinberg, Alvin M. 1964 Criteria for scientific choice II: the two cultures. Minerva, II(1): 3-14.
• Weinberg, Alvin M. 1963 Criteria for scientific choice. Minerva, I(2): 159-71.
• Wenneras, C. e Wold, A. 1997 Nepotism and sexism in peer-review. Nature, 387: 341-3.
• Ziman, John 1994 Prometheus bound: science in a dynamic steady state Cambridge, Cambridge University Press.
• Ziman, John 1983 The collectivization of science. Proceedings of the Royal Society, B 219: 1-19, J. D. Bernal Lecture.
• Zuckerman, Harriet e Merton, Robert 1973 Institutionalized patterns of evaluation in science'. Em Robert Merton, The sociology of science: theoretical and empirical investigations Chicago, Illinois, University of Chicago Press.

Datas de Publicação

• Publicação nesta coleção
  19 Maio 2006
• Data do Fascículo
  Jun 2000

Histórico

• Aceito
  Ago 1999
• Recebido
  Jun 1999