Critérios editoriais de avaliação científica: notas para discussão

Editorial criteria for the scientific evaluation: remarks for discussion

Critérios editoriais de avaliação científica: notas para discussão^*

Charles Pessanha

Resumo

Aborda o sistema de avaliação da produção científica, conhecido por peer review, referee system ou sistema de arbitragem, que envolve o editor científico e os avaliadores. Trata da ética na ciência e inclui tipos de conduta antiética em publicações científicas, exemplos de procedimentos para os avaliadores e as principais diretrizes constantes do Código de Ética da Associação Americana de Sociologia, relativas à comunicação da ciência.

Palavras-chave

Produção científica – Sistema de avaliação; Peer review; Ética e ciência.

Como avaliar a literatura científica? Em artigo clássico sobre o assunto, Patterns of evaluation in science: institutionalization, structure and functions of the referee system, Harriet Zuckerman e Robert Merton¹ (p. 68) chamam atenção para a gênese do processo de avaliação da ciência, com o surgimento das primeiras revistas científicas — o Journal des Sçavants, na França, e o Philosophical Transactions, da Royal Society, na Inglaterra, em janeiro e março de 1665 respectivamente —, substituindo as cartas que, até então, os cientistas trocavam entre si para comunicar os resultados de suas pesquisas. Com essas revistas, surge, de forma embrionária, o sistema de avaliação da produção científica pelos membros da comunidade conhecido como peer review ou referee system. O referee system, sistema de arbitragem, é também conhecido como peer review, revisão por pares. No Brasil usam-se, geralmente, várias traduções para referee, como árbitro, avaliador, parecerista e revisor.

De acordo com os autores, o referee system^I, daqui para a frente chamado sistema de arbitragem, "envolve o uso sistemático de árbitros para assessorar na aceitação de manuscritos submetidos para publicação". Esse sistema não surgiu de forma pronta e acabada. Como parte integrante da instituição social da ciência, evoluiu em resposta aos "problemas concretos" com que se defrontaram os cientistas no processo de desenvolvimento da pesquisa e "como subproduto da emergente organização social dos cientistas" (Zuckerman e Merton¹). A transformação do print — o relato impresso, mas sem a competente avaliação dos pares — em publication — manuscritos legitimados pela leitura crítica dos pares, mediante avaliação institucionalizada e assinada por revisores competentes — dá início ao processo de avaliação (Zuckerman e Merton¹).

Embora os primeiros periódicos datem da primeira metade do século XVII, o início oficial do processo de arbitragem deu-se, segundo Charles R. Weld, apenas em 1753, quando a Royal Society of London passa a responsabilizar-se formalmente pela avaliação dos textos publicados. A necessidade de organizar e selecionar o material a ser publicado fez surgir os dois principais atores no processo de avaliação: o editor científico, representado pelo secretário da Sociedade, encarregado da organização da revista, e os avaliadores, representados pelo Conselho da Sociedade^II. De acordo com Burnham, entretanto, a disseminação dessa prática ocorreu somente a partir do século XX, após a Segunda Guerra Mundial, devido ao crescimento exponencial do número de pesquisadores, à fragmentação da ciência em subdisciplinas e ao desenvolvimento de vocabulários específicos (LaFolette², Burnham citado por Spinak³).

Apesar da sua disseminação e aceitação, que evidenciam suas grandes vantagens, o sistema de revisão por pares sofreu uma série de críticas motivadas pelas distorções do seu uso. Biggs destaca que (a) a propensão positiva ou negativa a certos temas por parte dos árbitros ou editores pode introduzir distorções adicionais à publicação, devido a conflitos de interesses e enfrentamentos pessoais, interesses comerciais etc.; (b) a avaliação aumenta desnecessariamente o tempo entre a apresentação do manuscrito e sua publicação; e (c) a possibilidade de argumentos preconceituosos sobre minorias étnicas, sexuais, ideológicas ou nacionais (Biggs citado por Spinak³, p. 24-5). Por outro lado, como veremos mais adiante, o sistema pode ser alvo de má conduta ética tanto de editores como de avaliadores. Por fim, o julgamento dos artigos pode, simplesmente, conter erro de julgamento ou avaliação.

Para fazer face às distorções apontadas nesse sistema, vários mecanismos e procedimentos foram introduzidos, a fim de evitá-las ou minimizá-las. Costuma-se solicitar declarações de compromisso dos avaliadores; enviar questionários com critérios norteadores do julgamento; utilizar maior número de árbitros; submeter todos os pareceres aos avaliadores a fim de possibilitar o controle de um avaliador sobre o outro; garantir aos autores a possibilidade de recorrer da decisão através do editor científico que, por sua vez, deve proporcionar um diálogo respeitoso e profissional entre autor e avaliador. Além desses requisitos, é importante garantir o caráter confidencial do processo. O grau de confidencialidade do sistema de arbitragem tem variado de mais fechados a abertos. Neste caso, autores e avaliadores são conhecidos; naquele, os árbitros são anônimos e desconhecem também o nome dos autores. Há práticas intermediárias quando os avaliadores conhecem os avaliados, sendo que o contrário praticamente inexiste.

Todavia, o controle mais importante é o da avaliação dos pareceres por parte do editor científico. Os quesitos constantes da ficha de avaliação do periódico Social Studies of Science, por exemplo, sintetizam os critérios mais demandados pelos editores aos avaliadores para "proferir" sua decisão (Quadro 1).

Quadro I

Ficha de avaliação da Social Studies of Science

Os Editores de Social Studies of Science apresentam seus cumprimentos, e apreciariam seus comentários no texto anexo.
Estamos particularmente interessados na sua opinião sobre:

1. A qualidade e o rigor dos argumentos apresentados

2. A validade dos dados apresentados

3. A oportunidade e relevância do artigo para a discussão de problemas na sua área de pesquisa; e

4. O que você aconselharia:

(a). rejeição;

(b). publicação sem revisão

(c). publicação somente após maiores revisões (favor especificar)

(d). publicação após pequenas revisões estilísticas ou textuais (favor especificar)

Ao lado dessas preocupações que enfatizam a forma e o conteúdo do trabalho científico, o processo de avaliação da literatura científica vem se dedicando, cada vez mais, à questão ética. Os casos de fraude, plágio e outros tipos de conduta inadequados no processo de produção e comunicação da ciência repetem-se com freqüência crescente nas comunidades científicas. Inúmeros trabalhos sobre a questão da ética na ciência vêm sendo publicados nos últimos anos. O conhecido livro de Marcel C. LaFollette², Stealing into print, dedica-se inteiramente a esse problema. Reproduzo abaixo o quadro em que LaFollette descreve os principais exemplos de má conduta por parte de autores, avaliadores e editores (Quadro 2).

Quadro 2

Tipos de conduta antiética e falsificação em publicações científicas e técnicas

Por parte dos autores

• Apresentar dados ou artefatos que não existem.

• Apresentar documentos ou objetos forjados.

• Falsificar dados reais ou provas ou dados deliberadamente distorcidos.

• Usar idéias ou textos de outras pessoas sem atribuir-lhes a autoria (plágio), inclusive deliberada violação de direitos de autor (copyright).

• Falsificar a autoria, omitindo um autor.

• Falsificar a autoria incluindo autor que não colaborou para o trabalho.

• Falsificar o

  status da publicação.

Por parte dos pareceristas

• Falsificar fatos ou emitir parecer mentiroso.

• Retardar a apresentação do parecer, sem motivos razoáveis, a fim de obter vantagens pessoais.

• Roubar idéias ou texto de um manuscrito que esteja examinando.

Por parte de editores, assistentes editoriais e equipe editorial

• Forjar ou fabricar fraudulentamente um parecer.

• Mentir para um autor a respeito do processo de emissão de parecer.

• Roubar idéias ou texto de um manuscrito submetido a exame.

Por isso mesmo, ao lado do controle interno das editorias de revistas, as sociedades científicas, bem como alguns periódicos importantes, desenvolveram códigos de ética. De estrutura semelhante em todos os ramos do conhecimento, esses códigos prescrevem normas de comportamento aos pesquisadores no desempenho dos papéis de autores, avaliadores e editores. Como exemplo, reproduzo no ^{Anexo 1} as principais diretrizes constantes do Código de Ética da Associação Americana de Sociologia, na parte relativa à comunicação da ciência.

Ao lado dos códigos e conselhos de ética de revistas e sociedades científicas, os países de desenvolvimento científico mais avançado vêm sentindo necessidade de criar instituições de caráter nacional que transcendam as comunidades científicas. De acordo com Pablo Francescutti⁴, embora a má prática na pesquisa seja um fenômeno "relativamente novo", ela vem aumentando de forma considerável com o registro de transgressões "à ética científica, desde plágio, falsificação de dados, até fraudes completas, passando por publicação de material redundante", que atingem cerca de 13% dos trabalhos publicados na Inglaterra.

Nos Estados Unidos foi criado em 1990 o Comitê de Integridade Científica, independente das comunidades acadêmicas, cuja primeira atribuição foi "definir o que seria a má prática e que procedimentos deveriam ser tomados após uma acusação. Seus critérios foram adotados pela maioria das instituições de investigação dos EUA" (Francescutti⁴). A França criou, em 1994, o Comitê de Ética para as Ciências do Centre National pour la Recherche Scientifique - CNRS "como instância consultiva independente, com a missão de refletir e debater sobre os problemas éticos suscitados pela investigação científica", de acordo com artigo assinado pela sua presidenta, a historiadora Hélène Ahrweiler⁵.

O Reino Unido recentemente foi palco de alguns escândalos envolvendo má conduta na ciência. Um deles refere-se ao reconhecimento público por parte do prestigiado British Medical Journal de "ter publicado dois artigos supostamente fraudulentos". O comitê de ética da publicação, formado por editores de revistas acadêmicas, reconhecendo a incapacidade de controle pelas universidades e centros de investigação, propôs "a criação de um órgão nacional encarregado de combater a fraude na investigação médica", baseado no exemplo norte-americano e seguido por "instituições similares na Dinamarca, Noruega, Finlândia e Austrália" (Francescutti⁴).

Portanto, o sistema de avaliação da literatura científica envolve, além dos aspectos de forma e conteúdo, problemas éticos. Apesar das conhecidas críticas, o sistema de arbitragem desempenhou, e vem desempenhando, um papel crucial no desenvolvimento da ciência. Recentemente, o Seminário Oxford sobre Publicação Eletrônica, promovido pelo International Council for Science – ICSU⁶, incluiu entre suas Conclusões e Recomendações para as Revistas Eletrônicas a de que "os editores de revistas devem empenhar esforços para manter a qualidade do conteúdo, mediante o sistema de avaliação por pares".

Para J. M. Ziman⁷, "só é científico o trabalho publicado", pois "um artigo em um periódico de boa reputação não representa meramente a opinião do seu autor; leva consigo o imprimátur da autenticidade científica, dado a ele pelo editor e pelos avaliadores por este consultados", que representam "a base sobre a qual todo processo científico repousa" (Ziman citado por Zuckerman & Merton¹, p. 66).

A avaliação do trabalho científico é, portanto, materializada na atuação de dois atores: o editor científico e o avaliador. Cabe ao primeiro o início e o fim do processo de avaliação, assessorado pelo segundo. O desenvolvimento constante das atividades científicas trouxe novos problemas e novos desafios à manutenção da integridade da pesquisa científica. Novos instrumentos, como códigos e conselhos de ética funcionam como mecanismos de controle no interior das comunidades científicas, prescrevendo princípios e regras de procedimento aos pesquisadores enquanto autores, avaliadores e editores. A magnitude dos problemas vem sugerindo a criação de mais uma instância de controle de qualidade da ciência de maior alcance, mediante a formação de instituições de âmbito nacional.

8. AMERICAN SOCIOLOGICAL ASSOCIATION. Code of Ethics. 1989.

Editorial criteria for the scientific evaluation: remarks for discussion

Abstract

It describes the evaluation system of scientific literature, known as peer review or referee system, which involves both scientific editor and referees. It also discusses ethics and science and includes types of unethical conduct in scientific publishing, examples of procedures for referees, and the main directives of the Ethics Code of the American Sociological Association, referring to the communication of science.

Keywords

Scientific literature – Evaluation system; Peer review; Ethics and science.

Charles Pessanha

Editor de Dados: Revista de Ciências Sociais, do Instituto Universitário de Pesquisas

do Rio de Janeiro – IUPERJ

Professor de Ciência Política da Universidade Federal do Rio de Janeiro – UFRJ

A. Questões relativas à autoria e reconhecimento de créditos

1. Os sociólogos devem atribuir os devidos créditos a todas as pessoas que contribuíram para sua pesquisa e para as publicações assinadas. A reivindicação de autoria e o reconhecimento do crédito de outros devem refletir precisamente as contribuições de todos os principais participantes da pesquisa e do processo de redação, inclusive estudantes, exceto quando a autoria seja determinada por protocolo oficial.

2. Todos os dados ou materiais extraídos literalmente do trabalho escrito, publicado ou não publicado, de outra pessoa devem ser identificados com clareza e atribuídos aos seus autores. Não se deve omitir intencionalmente a referência a idéias expostas na obra escrita de outras pessoas, ainda que estas não sejam citadas palavra por palavra.

B. Autores, editores e pareceristas têm responsabilidades profissionais interdependentes no processo de publicação

1. Os editores devem estar permanentemente atentos à imparcialidade da aplicação desses padrões, sem dolo pessoal ou ideológico.

2. Os editores de revistas devem comunicar com presteza suas decisões aos autores dos originais recebidos. Devem supervisionar o trabalho dos editores-assistentes e dos avaliadores, de modo a reduzir os atrasos e a garantir que os pareceres sejam dados de modo consciencioso.

3. Compromisso do editor com a publicação de um ensaio deve ser respeitado pela revista. Uma vez aceito para publicação, o original deve ser publicado prontamente.

4. Quando os editores recebem pareceres sobre originais que foram anteriormente examinados pelas mesmas pessoas para outras revistas, devem ter como rotina procurar pareceres adicionais.

5. A submissão de um original a uma revista profissional confere a esta o direito à primeira publicação do texto. A não ser que sua política editorial admita explicitamente a submissão múltipla de originais a várias revistas, um artigo encaminhado a uma revista de língua inglesa só pode ser enviado a outro periódico do mesmo idioma após o recebimento da decisão oficial da primeira publicação. É claro que se pode retirar o artigo do processo de avaliação a qualquer momento.

C. Participação em processos de avaliação de artigos

Os sociólogos são freqüentemente solicitados a avaliar originais, projetos de pesquisa ou outros trabalhos de colegas de profissão. No exercício dessa tarefa, os sociólogos devem ater-se a padrões elevados de comportamento, em diferentes circunstâncias:

1. Os sociólogos devem recusar o convite para dar parecer sobre trabalho de outros quando estejam envolvidos fortes conflitos de interesse, o que pode ocorrer, por exemplo, quando alguém recebe a solicitação de opinar sobre o trabalho de professores, amigos ou colegas pelos quais tenha um forte sentimento de obrigação pessoal, de competição ou de inimizade, ou quando o parecer não pode ser elaborado dentro do prazo solicitado.

2. Todo material enviado para parecer deve ser lido na íntegra e analisado de modo confidencial e cuidadoso. As opiniões devem ser sustentadas por razões explicitamente declaradas.

3. Quando solicitados a dar parecer a originais ou livros sobre os quais já opinaram antes, os sociólogos devem comunicar esse fato prontamente ao editor.

• ¹
  ZUCKERMAN, Harriet Q., MERTON, Robert K. Patterns of evaluation in science: institutionalization, structure and functions of the referee system. Minerva, v. 9, n. 1, p. 66-100, Jan. 1971.
• ²
  LAFOLLETTE, Marcel C. Stealing into print: fraud, plagiarism, and misconduct in scientific publishing. Berkeley: University of California Press, 1992.
• ³
  SPINAK, Ernesto. Diccionario enciclopédico de bibliometría, cienciometría y informetría Caracas: Unesco, 1996.
• ⁴
  FRANCESCUTTI, Pablo. Em defesa da ética. Folha de S. Paulo, 19 jul. 1998. Caderno Mais, p. 13.
• ⁵
  AHRWEILER, Hélène. Una ética para la comunicación científica. Quark, v. 1, n. 1,1995.
• ⁶
  International Council for Science. Seminário Oxford sobre Publicação Eletrônica em Ciência Disponível em WWW: [http://www.bodley.ox.ac.uk/icsu ].
• ⁷
  ZIMAN, J.[sem título]. Information, communication, knowledge, v. 224, 1969.
• 9. MERTON, Robert K. The sociology of science Chicago: The University of Chicago Press, 1978.

^*

O presente texto teve como ponto de partida minha apresentação

Editorial criteria for the evaluation of scientific literature no Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.

Anexo 1

I

A preocupação com a avaliação do trabalho científico mediante o sistema de arbitragem é permanente. Além da vasta literatura com que o tema foi contemplado (ver, por exemplo, LaFollete, 1992), sua presença é constante nos programas dos mais importantes congressos científicos internacionais. Um bom exemplo foi o The International Congress on Biomedical Peer Review and Global Communications, promovido pelo

Journal of American Medical Association

- JAMA,

British Medical Journal

- BMJ e Project HOPE, em Praga, República Tcheca, em 1997. Meu objetivo no Seminário que deu origem a este trabalho foi apenas levantar as questões que julgo principais sobre o tema.

II

Eis o texto da autorização: "Ordered, that the

Philosophical Transactions

, to be composed by Mr. [Henry] Oldenburg [one of the two Secretaries of the Society], be printed the first Monday of every month, if he have sufficient matter for it; and that the tract be licensed under the charter by the Council of the Society, being first reviewed by some of the members of the same", Charles R. Weld,

A History of the Royal Society

(Zuckerman e Merton

1

, p. 68-9).

Código de Ética da Associação Americana de Sociologia - Excerto⁸

Publicações e processo de seleção

Datas de Publicação

• Publicação nesta coleção
  20 Out 1998
• Data do Fascículo
  1998