AVALIAÇÕES DE PRODUÇÕES CIENTÍFICAS: DESAFIOS E MOTIVAÇÕES DE EDITORES E AVALIADORES

RESUMO

Introdução:

O conhecimento científico para ser comunicado requer diversas etapas, a exemplo do processo de avaliação por pares, ou seja, por especialistas nas temáticas a serem analisadas, visando publicar produções que irão beneficiar a comunidade acadêmica.

Objetivo:

Esta investigação teve como foco compreender os desafios e motivações de editores e avaliadores, no processo de avaliação de produções submetidas a periódicos científicos.

Metodologia:

Para tal, conduziu-se esta pesquisa por meio de aporte metodológico focado na abordagem qualitativa, com uso do método de pesquisa exploratória e de questionários direcionados a avaliadores e a editores de periódicos da Ciência da Informação e da Educação, a fim de coletar dados a serem tratados por meio da análise de conteúdo com o estabelecimento de categorias.

Resultados:

Os resultados demonstram que a maioria dos editores e avaliadores, respondentes desta investigação, é experiente na percepção do trabalho editorial, e que no Brasil os envolvidos com a editoração científica são voluntários, e ainda pouco reconhecidos por méritos acadêmicos.

Conclusão:

Conclui-se que, com a complexidade, relevância e as controvérsias em torno do processo de avaliação, o qual envolve todos os atores da produção científica (editores, avaliadores e autores), talvez essas experiências de papéis ajudem na compreensão da necessidade de um parecer bem elaborado e em tempo hábil, mas também, deveriam contribuir para que as diversas ações sugeridas pelos sujeitos da pesquisa, fossem realmente colocadas em prática, colaborando para o desenvolvimento da ciência e da comunidade científica.

PALAVRAS-CHAVE:
Editores; Revisores; Produções científicas; Artigos; Revisão por pares

ABSTRACT

Objective:

This investigation was to understand the challenges and motivations of editors and reviewers in the evaluation process of productions submitted to scientific journals.

Methodology:

To this end, this research was conducted through a methodological approach focused on the qualitative approach, using the exploratory research method and questionnaires directed to reviewers and editors of journals in Information Science and Education, to collect data to be treated through content analysis with the establishment of categories.

Results:

The results show that most of the responding editors and reviewers of this research, showed to be experienced in the perception of editorial work, and that in Brazil those involved with scientific editing are volunteers, and still little recognized for academic merits.

Conclusion:

It is concluded that, with the complexity, relevance and the controversies around the evaluation process, which involves all the actors of the scientific production (editors, reviewers and authors), perhaps these role experiences help in the understanding of the need of a well elaborated and timely opinion, but also, should contribute so that the several actions suggested by the research subjects, were really put into practice, collaborating to the development of science and the scientific community.

KEYWORDS:
Editors; Reviewers; Scientific productions; Articles; Peer review

1 INTRODUÇÃO

O conhecimento científico produzido por professores e pesquisadores de instituições de ensino e de centros de pesquisa, para ser comunicado, requer diversas etapas, a exemplo o processo de avaliação por pares, que visa publicar produções que irão beneficiar a comunidade acadêmica, e, consequentemente, a sociedade em geral por meio de serviços, técnicas e processos aplicáveis a diversas áreas, patentes, medicamentos, vacinas, etc.

Para quem está envolvido no mundo da comunicação da ciência é notório como funciona esse processo de avaliação dos artigos submetidos a periódicos científicos, os quais são avaliados por pares. Esse sistema de avaliação ou revisão por pares é considerado como uma certificação de qualidade, indicativo de que a publicação de um artigo submetido a um periódico é original, inovador, atual, apresenta contextualização teórica e metodológica fundamentada, qualidade nos resultados e argumentos, enfim, se traz contribuições efetivas e relevantes para o avanço da ciência.

O sistema de avaliação por pares também é utilizado para analisar artigos submetidos a eventos científicos, projetos de pesquisas submetidos a editais ou para realização de mestrado e doutorado, por exemplo, ao concorrer a bolsas, além de outros tipos de avaliações. Mas para esta pesquisa em especial, foca-se apenas na avaliação de artigos científicos submetidos a periódicos das áreas da Educação e Ciência da Informação do Brasil.

A justificativa para a produção desta pesquisa, se deve ao fato de os autores possuírem experiências como editores de periódicos científicos e como avaliadores de diversos artigos nestas duas áreas de conhecimento em foco, e sentirem a necessidade de contribuir para discussões e para o avanço desta temática. O objetivo para conduzir esta investigação se concentrou em compreender os desafios, motivações, demora nas avaliações, sistema de recompensa e de seleção de novos avaliadores a partir da ótica de editores e de avaliadores, utilizando para tal questionários aplicados aos sujeitos da pesquisa das áreas de Educação e Ciência da Informação.

2 AVALIAÇÕES DE PRODUÇÕES CIENTÍFICAS

Há diversas modalidades de avaliação por pares: simples cego (o avaliador e o editor conhecem a identidade do autor, mas este não sabem quem avaliou seu artigo); duplo-cego (apenas o editor conhece a identidade do autor e do avaliador); triplo cego (apenas o editor-chefe conhece as identidades do editor de seção/associado, do avaliador e do autor) e avaliação aberta (todos os envolvidos no processo têm sua identidade revelada e os pareceres deveriam ser publicados junto com o artigo com as identidades dos avaliadores). Percebe-se que nas áreas da Ciência da Informação e da Educação no Brasil, ainda há o uso predominante da avaliação duplo-cego. Aos poucos surgem alguns periódicos iniciando o processo de avaliação aberta por pares, algumas deixando a opção de escolha ao autor, em ter publicado ou não o parecer do seu artigo, mas sem identificação dos revisores.

Há vantagens e desvantagens em todos os tipos de avaliações elencadas acima, mas não é o objetivo deste artigo detalhá-las, e, sim, suscitar uma reflexão no que concerne ao sistema duplo-cego, de permitir que os avaliadores façam análises críticas sem receio de serem rechaçados ou que sejam alvo de algum tipo de ‘vingança acadêmica’; mas ao mesmo tempo esse tipo de avaliação pode propiciar o sentimento de liberdade para alguns avaliadores, para escrever avaliações infundadas, agressivas, sem aprofundamentos e tendenciosas, obviamente nesses casos o editor deve intervir.

Há ainda críticas quanto a este modelo de avaliação, pois é possível para um avaliador experiente conseguir descobrir a identidade de um autor, se o mesmo atua há anos naquele campo e tem outros escritos sobre a temática, ou se for algum artigo proveniente de uma dissertação ou tese já depositada em repositório institucional. O correto seria a recusa do avaliador, se ele perceber que há conflitos de interesse na avaliação do artigo. Entretanto, por vezes, isso pode não ocorrer, o que reforça ainda mais a necessidade de capacitação e preparação dos avaliadores, os quais exercem dupla função no seu labor, de avaliar as produções científicas auxiliando o editor na escolha do que será ou não publicado por meio dos pareceres, bem como orientando autores dos artigos submetidos a otimizar seus escritos por meio dos apontamentos baseados em sugestões de melhorias em termos estruturais, teóricos, epistemológicos, conceituais, metodológicos, entre outros.

Desta forma, essa atividade avaliativa tem relevante papel na comunicação do conhecimento científico e no crescimento da ciência, necessitando, portanto, de reconhecimento e da devida preparação para exercer esta função, uma vez que, teoricamente, um artigo avaliado por pares traz em si uma certificação de qualidade por ter sido analisado por especialistas da área.

Na relação avaliador e autor, o editor se configura como o mediador, o qual recebe as críticas dos autores quanto a pareceres superficiais, incompreensíveis, duvidosos, frágeis, desrespeitosos, morosos e inconsistentes. Essa situação de avaliações nesse formato, pode prejudicar a imagem e a credibilidade do periódico e do editor, por enviar os artigos para avaliadores potencialmente despreparados ou quiçá desinteressados em um trabalho, em sua maioria, de caráter voluntário, o que em absoluto não justifica o desinteresse. Conforme Stumpf (2008, p. 23), a avaliação de um artigo é uma tarefa séria e complexa, que objetiva “educar os autores, sugerindo correções na forma e na apresentação das contribuições submetidas. As críticas devem auxiliá-los, sobretudo na elaboração ou redação dos trabalhos seguintes que desejarem publicar”. Entretanto, há pareceres que não alcançam esse objetivo, alguns são mal elaborados, ou telegráficos, com foco, segundo Gross (2020), em extensas observações direcionadas a erros gramaticais, termos específicos ou obras não citadas, quando deveriam se centrar nos aspectos teóricos, conceituais, metodológicos, epistemológicos e estruturais da produção. Cabral (2018, p. 434) ainda enfatiza que alguns pareceres são considerados “injustos e inúteis [...], mas devem ser vistos como decorrência do processo de amadurecimento da academia, hoje certamente melhor do que há 10, 20 anos”.

Por isso, a relação entre avaliadores e editores pode ser denominada como delicada, pois de um lado há autores insatisfeitos, talvez se sentindo injustiçados por uma avaliação inconsistente, e do outro lado há avaliadores voluntários, com os quais os editores podem não querer se indispor. Obviamente, não se está afirmando que essas situações ocorrem em todos os periódicos. Em investigação empreendida por Maia, Farias e Farias (2022), as autoras analisaram a percepção sobre o compartilhamento de conhecimento entre avaliadores sob a ótica dos editores científicos, e observaram, a partir dos dados analisados, que estes últimos, percebem a relevância do compartilhamento de conhecimento entre os avaliadores, no entanto, ainda não colocaram em prática tais iniciativas nos periódicos em que atuam. Destarte, entende-se que há ainda um expressivo caminho a ser construído/fortalecido nesta relação delicada.

Como explica Rigo (2017, p. 513), em um momento somos autores, e, em outros, somos avaliadores, pois o “avaliador tem o seu próprio artigo sendo avaliado por algum colega em outro periódico ou, por vezes, no mesmo”. Por isso, a autora ressalta que para sanar as diversas fragilidades da revisão por pares, seria necessário algo simples e complexo ao mesmo tempo, exercer a empatia, visando “garantir mais legitimidade ao sistema de revisão e, ainda, reforçariam atitudes como imparcialidade, transparência e cordialidade, capazes de gerar e consolidar a confiança dentro da comunidade científica”.

Outro ponto para reflexão são determinadas posturas no processo de avaliação, quando ocorrem violações de regras por parte dos avaliadores, a exemplo da má conduta demonstrada em forma de plágio do artigo avaliado, ou indicação das próprias obras do avaliador para os autores do trabalho, a fim de obter citações. De acordo com Stumpf (2006, p. 4) a “demora na avaliação também pode ser vista como facilitadora do plágio, pois, ao prolongar a avaliação, os avaliadores podem incorporar em sua pesquisa ou publicações os resultados ou métodos dos trabalhos que avaliam”.

Essas posturas são denominadas de erros de conduta por Rigo (2017, p. 513), os quais, “quando percebidos, originam sentimento de injustiça no processo de revisão, colocando em questão a legitimidade não apenas do processo, mas do periódico.” Ainda conforme esta autora há outros aspectos a serem pensados no processo de avaliação de produções científicas no que diz respeito aos avaliadores:

No processo de revisão por pares, o avaliador torna-se “poderoso”, pois a ele foi designada a tarefa de construir um parecer sobre o trabalho que guiará a tomada de decisão do editor. Seu poder de convencimento pode tanto levar o editor a rejeitar o trabalho impiedosamente, como aprová-lo imediatamente. No entanto, na maior parte das vezes, os pareceres são construídos de modo a oferecer “salvação” ao trabalho, levando a uma decisão mais cautelosa de prosseguir com ele a futuras rodadas de avaliação até alcançar o que o avaliador entenda como adequado ou pronto para publicação. (RIGO, 2017, p. 512).

Como observado nas reflexões da autora, os avaliadores têm uma tarefa crucial de decisão sobre o que está avaliando, requerendo assim, não apenas habilidades técnicas no ato de avaliar, mas também comportamentais, de atuar de forma consciente e ética, sem impregnar o parecer com opiniões pessoais ou indicar as próprias publicações como fontes de pesquisa para os autores dos artigos que estão sendo avaliados.

3 METODOLOGIA

O percurso metodológico que conduziu esta investigação tem como base a abordagem qualitativa, a qual foi utilizada por não tencionar “aplicar conceitos pré-existentes, e os instrumentos e técnicas de pesquisa são elaborados a partir do que o pesquisador sente ao conhecer os sujeitos e a realidade que os cerca no campo de pesquisa”, como explica Farias (2014, p. 112). Em relação ao método, se fez uso da pesquisa exploratória, pois compreende-se que esse tipo de pesquisa permite a ampliação do conhecimento a ser investigado, podendo ainda aumentar a experiência do pesquisador sobre um problema específico, e, também propiciar uma visão geral sobre um assunto e/ou conceitos em torno do tema em foco.

Para coletar os dados foram utilizados dois questionários no Google Forms, - um voltado para editores¹ e outro para avaliadores². Ambos os questionários foram disponibilizados com um termo de consentimento livre e esclarecido, informando o que seria feito com os dados coletados. Os questionários ficaram disponíveis de 21 de outubro de 2021 a 05 janeiro de 2022, e divulgados em diversos meios, a exemplo da lista do grupo de discussão da área de Educação, o Fórum de Editores de Periódicos da Área de Educação da ANPEd (FEPAE) e lista de e-mails dos pesquisadores da Ciência da Informação. O público-alvo desta pesquisa foram editores e avaliadores das áreas da Ciência da Informação e Educação, as quais foram escolhidas por conveniência, pelo fato de os pesquisadores desta investigação terem experiência como editores e avaliadores nestas duas áreas do conhecimento.

Antes da disponibilização dos questionários, foram realizados dois testes-piloto: um para avaliador e outro para um editor, visando o aperfeiçoamento deste instrumento de coleta. Ambos os respondentes dos testes-piloto não sugeriram alterações nos questionários, informando que estavam claros e objetivos. As respostas dos testes-pilotos foram contempladas na análise dos dados, a qual foi realizada por meio da análise de conteúdo de Bardin (2009), por se configurar, conforme este autor, como um conjunto de técnicas de análise das comunicações, utilizando diferentes ferramentas simultaneamente, para alcançar o objetivo de classificar e descrever de forma analítica e sistemática os dados coletados.

3.1 Perfil dos sujeitos da pesquisa

Para organizar e clarificar os dados em face aos objetivos da pesquisa foram criadas categorias de análise denominadas percepções dos avaliadores e percepções dos editores, as quais estão descritas na seção 4 deste artigo. Antes de apresentar os dados coletados e analisados, traz-se o perfil dos 41 avaliadores que participaram da pesquisa. A maioria dos respondentes (51%) atua como avaliador em periódicos científicos da área da Educação, enquanto 49% em periódicos da Ciência da Informação. Em relação à faixa etária dos respondentes, pode-se visualizar na Tabela 1, que a maior parte dos respondentes (41%) têm entre 41 e 55 anos de idade, seguido pela faixa etária entre 58 a 68 anos (27%), na sequência a faixa etária entre 24 a 40 anos (22%), e, por último, a faixa etária entre 71 a 75 anos de idade com 10% dos avaliadores sujeitos da pesquisa. Estes dados podem significar que a faixa etária entre 41 e 55 anos, que teve o maior número de respondentes, também pode concentrar o maior número de avaliadores, pois compreende-se que há um indicativo de estabilização na carreira dos docentes, mas para promover tal afirmação, seria necessário ter números exatos do total de avaliadores no Brasil, nas duas áreas em foco.

Tabela 1
Faixa etária dos revisores

Availiadores	Quantidade	Percentual
Faixa entre 4l a 55	17	41%
Faixa entre 58 a 68	11	27%
Faixa entre 24 a 40	9	22%
Faixa entre 71 a 75	4	10%
Total de respondentes	41

• Fonte: dados da pesquisa (2021/2022)

Em relação ao tempo de experiência dos sujeitos da pesquisa como avaliadores de artigos científicos, percebe-se pela Tabela 2 que a maioria dos respondentes (73%) atua a mais de cinco anos nessa atividade.

Tabela 2
Tempo de atuação como avaliador de artigo científico

Tempo de Atuação	Quantidade	Percentual
1 a 2 anos	2	5%
2 a 3 anos	5	12%
3 a 4 anos	5	12%
4 a 5 anos	3	8%
Acima de 5 anos	25	63%
Total de respondentes	40

• Fonte: dados da pesquisa (2021/2022)

Apenas 5% dos avaliadores respondentes ainda são novos nesta função, com um ou até dois anos de experiência, enquanto os demais têm acima de dois e até cinco anos. Sobre a quantidade de periódicos científicos em que os sujeitos atuam como avaliadores, a Tabela 3 demonstra que a maioria (61%) atua em mais de cinco periódicos, seguido por três periódicos (15%), dois (10%), e um e quatro periódicos empatados com 7%.

Tabela 3
Quantidade de Periódicos que os avaliadores atuam

Nº periódicos	Quantidade	Percentual
l	3	7%
2	4	10%
3	6	15%
4	3	7%
Acima de 5	25	61%
Total de respondentes	41

• Fonte: Dados da Pesquisa (2021/2022)

Em relação ao perfil dos 40 editores sujeitos da pesquisa, apresenta-se o percentual de participantes: 72,5% atuam nos periódicos da área da Educação e 30% na Ciência da Informação, o total ficou em mais de 100%, pois um editor respondeu atuar nos periódicos destas duas áreas do conhecimento. Sobre a faixa etária dos respondentes, conforme Tabela 4, a maioria está entre 41 e 49 anos de idade (32%), seguido pela faixa entre 50 e 59 anos (30%), entre 60 e 66 anos com 15%, entre 71 a 81 anos de idade são 13%, e entre 33 e 40 anos de idade estão 10% dos respondentes. Como observado, a maior parte dos respondentes têm entre 41 e 59 anos de idade, faixa etária similar à dos avaliadores. Pensando que em muitas revistas de instituições de ensino superior (IES), da área de Educação e Ciência da Informação, os docentes atuam também como editores, pode-se inferir que esta é uma faixa etária predominante, pois os docentes devem se sentir mais seguros e atuantes em suas profissões, para aceitar o desafio de desempenharem a função de editores.

Tabela 4
Faixa etária dos editores

Editores	Quantidade	Percentual
Faixa entre 33 a 40	4	10%
Faixa entre 4l a 49	13	32%
Faixa entre 50 a 59	12	30%
Faixa entre 60 a 66	6	15%
Faixa entre 71 a 8l	5	13%
Total de respondentes	40

• Fonte: dados da pesquisa (2021/2022)

Também foi questionado aos editores sobre o tempo de atuação nesta função em periódicos científicos. A Tabela 5 traz os dados que demonstram um quadro de editores respondentes experientes, sendo 63% deles com mais de cinco anos, seguido por um empate de dois a três anos e de três a quatro anos com 12% cada, e de quatro a cinco anos sendo 8%, e os menos experientes de um a dois anos são apenas 5% dos respondentes.

Tabela 5
Tempo de atuação como editor de periódico

Tempo de Atuação	Quantidade	Percentual
1 a 2 anos	2	5%
2 a 3 anos	5	12%
3 a 4 anos	5	12%
4 a 5 anos	3	8%
Acima de 5 anos	25	63%
Total de respondentes	40

• Fonte: dados da pesquisa (2021/2022)

Ao final, observa-se que os respondentes editores e avaliadores de ambas as áreas (Educação e Ciência da Informação), que participaram desta pesquisa, são considerados experientes nas funções que desempenham, podendo contribuir para o fortalecimento do processo de avaliação de artigos científicos com suas respostas, as quais foram analisadas na seção a seguir.

4 ANÁLISE E DISCUSSÃO DOS DADOS

Os dados coletados por meio de questionários foram tabulados visando serem analisados no âmbito das duas categorias: a primeira, percepções dos avaliadores, tem como objetivo compreender, a partir da ótica dos sujeitos da pesquisa, quais as iniciativas eles conhecem voltadas para recompensar e motivar os avaliadores, como percebem o relacionamento entre editores e avaliadores, quais os maiores desafios no processo de avaliação, e se eles conhecem ações para “conquistar” novos avaliadores e para manter os que já estão no corpo editorial; já a segunda categoria, percepções dos editores, visa compreender sob o ponto de vista dos editores de periódicos científicos, quais as iniciativas do periódico onde atuam, são realizadas para recompensar os avaliadores, além de quais são os problemas recorrentes em relação às avaliações, qual a média de tempo para receber os pareceres, bem como quais seriam as ações do periódico para selecionar novos avaliadores e para manter os que já atuam no periódico. Os respondentes foram denominados de A1 até A41, ou seja, avaliador 1, avaliador 2 e assim por diante.

Inicia-se pela primeira categoria trazendo informações sobre se há ou não iniciativas dos periódicos para recompensar o trabalho dos avaliadores. Segundo os dados coletados, 27 respondentes afirmaram que não há um sistema de recompensas, doze responderam que existe (citaram que seria a declaração ou certificado de avaliação) e dois responderam não haver recompensa financeira, sendo que A38 enfatizou que:

Na maioria dos periódicos não existem iniciativas de recompensas financeiras. Eu também não faria por interesse financeiro. A iniciativa é geralmente implícita e não explícita, tal como ser avaliador do periódico mais bem avaliado pelos indexadores. Uma iniciativa explicita que sempre recebo é colocar meu nome no conselho editorial, enviar uma declaração de avaliação e uma mensagem de agradecimento. Mas, tem uma iniciativa que recebo de um periódico estrangeiro que acho muito importante para o avaliador: o editor me envia mensagens sobre o andamento da avaliação do artigo por ele mostrando como meu parecer foi utilizado para o aprimoramento do artigo. Excelente iniciativa!

O respondente acima tratou de uma iniciativa de recompensa considerada comum, que é a emissão de declaração ou certificado de avaliação, e citou outra que não foi mencionada por nenhum outro respondente, que seria a obtenção de informações sobre o andamento do artigo dentro do processo editorial. Uma outra iniciativa, apontada por Gross (2020), seria uma lista com os melhores avaliadores do ano, visando valorizar o empenho dos avaliadores para manter a qualidade das produções científicas. Algumas outras ações para recompensar e motivar são citadas mais adiante em subcategorias.

O questionário ainda continha uma pergunta sobre se o avaliador conhece ações, nos periódicos que atuam, para “conquistar” novos avaliadores e para manter os que já estão no corpo editorial motivados a continuar emitindo pareceres. A maioria (80,5%) dos avaliadores não conhece nenhum tipo de ação, enquanto 19,5% disse que sabe dessas ações, detalhadas nas respostas abertas, as quais foram analisadas ainda nesta mesma categoria percepção dos avaliadores, separadas por subcategorias, quais sejam: a) sentimento de recompensa e motivação para avaliar; b) análise do relacionamento entre editores e avaliadores; c) maiores desafios no processo de avaliação e d) ações que poderiam ser implantadas para recompensar/conquistar/motivar avaliadores.

Inicia-se pela primeira subcategoria sobre se há recompensa e motivação para avaliar. Em relação aos avaliadores que se sentem motivados e recompensados, há diversas razões para isso, elencadas a seguir e similares entre parte dos respondentes, alguns afirmaram também ser editores e saberem das dificuldades em obter avaliações. As motivações citadas pelos avaliadores foram: contribuir com desenvolvimento da área; colaborar com a difusão do conhecimento; troca de experiências; ajudar os periódicos; compromisso com o coletivo; garantir a qualidade do conteúdo da área; conhecer a produção da área de pesquisa; conhecer como os assuntos vêm sendo tratados em perspectivas diferenciadas; solidariedade aos editores e diminuir o tempo de espera do autor e do editor. No Quadro 1 foram separadas algumas respostas para ilustrar os pensamentos dos avaliadores quanto à essa subcategoria.

Quadro 1
Impressões sobre recompensa e motivações para avaliar.

Importante dar esse retorno aos autores. Um compromisso de quem está na carreira acadêmica colaborar com a pesquisa. Se todos fizessem um pouco, não haveria tantos problemas e desgastes. Ademais, o número de avaliações poderia diminuir. (A15)

Sim, porque é um tipo de coisa que eu gosto de fazer, é um prazer contribuir para a comunicação científica. Mas, se tivesse formas de recompensa, com certeza isso aumentaria ainda mais a minha motivação. (A13)

A motivação se dá na instância intelectual, no aprendizado que uma avaliação oferece ao avaliador e na possibilidade de internalizar esse aprendizado em sua prática de pesquisa, além da eventual possibilidade de projeção em nível de currículo. (A19)

Do ponto de vista do altruísmo acadêmico científico, de promoção da ciência e fomento aos pesquisadores sim. Mas, sinto que faltam outros motivadores (mais trânsito para publicar junto aos periódicos, lentidão da resposta de parte deles, burocracias que impedem o avanço, além do acúmulo em diversos períodos de solicitações). (A22)

Sim. Entendo que se trata de parceria, pois como autor também, quero ver meus artigos cuidadosamente avaliados. A base da ciência é a avaliação por pares. (A26)

O convite a uma avaliação dessa natureza denota a aceitação da sua expertise nos assuntos e dos títulos que você tem como reconhecedores da sua importância acadêmica e científica para as áreas para as quais colabora. (A29).

Sim e não. Sim porque é uma forma de inserção no campo educacional. Não porque este é mais um trabalho não remunerado que o professor realiza. (A30)

Sinto-me sempre motivada a avaliar e colaborar com a comunicação científica e com o periódico. Além disso, valorizo o trabalho do avaliador, visto que sou editora de revista, e sei o quanto necessitamos dos avaliadores para impulsionar o processo editorial. (A33)

Primeiro, que é uma forma de conhecer as diversas pesquisas em andamento em minha área de pesquisa, embora em nenhum momento eu tenha utilizado esses conhecimentos em benefício próprio. Mas, é uma forma de estar ao par. Eu gosto de avaliar porque é algo que posso fazer para melhorar as publicações e ensinar os autores a aprimorar sua redação e organização de resultados. (A38)

• Fonte: dados da pesquisa (2021/2022).

Como observado no quadro 1, as motivações dos avaliadores são diversas desde o compromisso com a ciência, com a comunicação científica, possibilidade de aprendizado, até um retorno do seu artigo, também submetido, sendo analisado da mesma forma cuidadosa que o avaliador respondente faz, mas há quem trate da falta de remuneração e do acúmulo de funções do docente, que também é avaliador. Por isso, percebe-se “altruísmo acadêmico científico” como relata A22 no fazer dos avaliadores diante de todas as dificuldades, como a “falta de outros motivadores (mais trânsito para publicar junto aos periódicos, lentidão da resposta de parte deles, burocracias que impedem o avanço, além do acúmulo em diversos períodos de solicitações)”. Segundo Gross (2020, p. 6) uma das possibilidades para incentivar a “elaboração de bons pareceres seria justamente a valorização dessa atividade pela Capes na avaliação dos programas de pós-graduação”, mas obviamente, seria preciso outras ações planejadas a longo prazo para incentivar mais avaliadores motivados e engajados.

Os dados da pesquisa ainda mostram que alguns respondentes, a exemplo de A2, A11, A14 e A24, foram categóricos na resposta ao escreverem apenas que “não”, não se sentem nem recompensados e nem motivados. Outros justificaram não estarem motivados ou recompensados: “Não muito. Depende se o tema for interessante para minha pesquisa ou de orientandos” (A8); “Não me sinto recompensada. Mas o que motiva é certo reconhecimento no tema dos artigos” (A9); “Não, só faço para ajudar colegas pois já fui editora e é uma tarefa difícil” (A28); “Não. Só ponto no currículo e quando recebo declaração de avaliação” (A31); “Não sinto motivação, apenas obrigação ‘moral’" (A35). Como observado, alguns avaliadores não se sentem motivados, mas continuam avaliando os artigos por contarem pontos no currículo ou por sentirem que precisam contribuir com a comunicação da ciência, o que é corroborado por Stumpf (2008, p. 23), ao afirmar que a avaliação “não traz reconhecimento público e, muito menos, remuneração para os avaliadores. Mas muitos cientistas consideram a tarefa como parte de suas obrigações com a ciência”.

Em relação à subcategoria análise do relacionamento entre editores e avaliadores, a maioria dos sujeitos da pesquisa afirma ser bom, respeitoso, cordial, tranquilo e adequado, construído com base na confiança, conforme pode-se observar nas respostas do Quadro 2.

Quadro 2
Relacionamento entre editores e avaliadores

Considero eficiente na maioria dos casos. Em muitas situações há possibilidade inclusive de entrar em contato fora da plataforma (whats, e-mail), buscando agilidade no processo de revisão. E mesmo na comunicação via plataforma funciona adequadamente, normalmente com resposta dentro de um período bastante ágil. (A1)

Acho que a relação entre editores e avaliadores depende de vários fatores, exemplo: prestígio da revista, recursos disponíveis para recompensar os avaliadores, tempo de carreira dos avaliadores. (A2)

Bom, de modo geral é impessoal. Só muda quando você tem vínculos de amizade. (A5)

De modo pouco profissional em geral. Os contatos são por respostas automáticas, quanto mais bem qualificada a revista, menos tolerância o editor tem com atrasos. Nas experiências que tenho, portanto, peço não generalizar. (A8)

Eu os vejo como dois parceiros, cada um com seu papel, e precisam desempenhar juntos para a primorosa qualidade dos trabalhos do periódico em que atua. (A13)

Tenho um bom relacionamento de ordem profissional com os editores dos periódicos em que atuo. (A19)

Atualmente, avaliadores/as são "captados" pela proximidade e afinidade pessoal. (A25)

Tranquilo, o avaliador tem certo poder de decisão, isso é interessante! (A28)

Na minha condição de avaliador, recebo o convite, seguido de posterior agradecimento. Nada além dessas formalidades. (A29)

Considero o relacionamento colaborativo e também que requer compreensão. (A33)

Positivamente. Os editores dependem dos avaliadores e sabem disso. Somos parceiros, mas acho que os editores de modo geral deveriam dar uma devolutiva do que aconteceu com os artigos aos avaliadores. (A38)

• Fonte: dados da pesquisa (2021/2022).

O quadro 2 apresenta um panorama considerado positivo do relacionamento entre avaliadores e editores, a partir da perspectiva dos avaliadores participantes desta pesquisa. Observa-se na visão destes sujeitos que se trata de um relacionamento colaborativo, positivo, ou ainda, impessoal, como afirma A5: “Só muda quando você tem vínculos de amizade”, o que A25 também ressalta ao afirmar que “avaliadores/as são "captados" pela proximidade e afinidade pessoal”. Já A2 enfatiza que fatores, como prestígio da revista e tempo de carreira dos avaliadores podem influenciar na relação entre editores e avaliadores, o que leva à percepção de diferenças de pensamentos entre os respondentes, pois depende das vivências e tempo de experiência de cada um.

Diferentemente do que foi exposto no quadro acima, dos 41 respondentes, nove consideraram o relacionamento entre avaliadores e editores como: distante, razoável, frio, inexistente, fraco e falta de diálogo. Segundo E11 não há relacionamento, e se houver é distante. Isso pode ser decorrente de diversos fatores, como o acúmulo de tarefas dos editores que são professores, pesquisadores e, que podem não ter diminuição de carga horária para se dedicarem ao cargo de editor, causando, por exemplo, como explica Cabral (2018, p. 436) “descuido com sua própria agenda de pesquisa, diminuição da qualidade de suas aulas ou, ainda, na redução de seu tempo dedicado aos entes queridos”. Não procura-se justificar a falta de diálogo relatada pelos avaliadores, apenas aponta-se possíveis causas.

Sobre a subcategoria maiores desafios no processo de avaliação,15 sujeitos da pesquisa responderam que o maior problema é ter tempo para poder desenvolver uma análise criteriosa e um parecer consistente dos artigos, por acumularem diversas atividades docentes com a função de avaliador, como ressalta A13 que atua em outros papéis nas revistas, e vivencia pressão tanto com os avaliadores quanto com os editores. Além disso, alguns avaliadores responderam sobre a dificuldade em avaliar textos com erros gramaticais, sem conteúdo e mal escritos, o que denota tempo para primeiro compreender a escrita. Outras respostas estão elencadas no Quadro 3 demonstrando as reflexões dos avaliadores quanto aos desafios vivenciados nessa tarefa.

Quadro 3
Desafios no processo de avaliação

Em algumas situações em que os artigos são pautados em dados estatísticos e até mesmo empíricos, creio que a incorporação dos dados científicos que sustentam as pesquisas ampliou as demandas para os avaliadores, uma vez que precisam verificar se os resultados estão corretamente representados. Nesse caso demanda mais tempo e competência na temática que está sendo avaliada. (A1)

A atualização constante nas temáticas disponibilizadas. (A3)

O não uso dos acreditadores Publons e/ou ReviewerCredits. (A6)

Decidir se o artigo deve ou não ser rejeitado ou se pode ser refeito e reapresentado. Outro cuidado é saber escolher as palavras para não desmotivar ou agredir o autor. Saber como fazer sugestões dentro do recorte teórico e metodológico escolhido pelo autor. Isto requer empatia e estudo por parte do parecerista. (A8)

Encontrar ânimo para avaliar, dar uma resposta rápida e de qualidade, sabendo que nossas próprias submissões demoram meses para serem avaliadas. (A11)

Demora no envio do comprovante de avaliação. Não é raro precisar pedir, isso é muito ruim. (A12)

Falo como editor - é uma qualidade muito díspar de avaliações. Por vezes são opostas, o que implica em mais empenho, tempo, demora. Outro problema é encontrar avaliadores que aceitem participar. (A16)

Objetivar a avaliação sem depreciar o avaliado, atendo-se às características do manuscrito submetido e, ao mesmo tempo, buscando maneiras de contribuir com sua melhoria. (A19)

Ser justo e entender que às vezes as falhas podem ser indicadas, consertadas e o escrito tem mérito mesmo assim por tratar do assunto de forma a contribuir para a área de conhecimento a que foi submetido. (A20)

Os pareceres, ainda há muitos avaliadores que não possuem a maturidade para darem pareceres completos que realmente digam o motivo do aceite ou rejeite. (A27)

No momento atual, o maior desafio é o autoplágio. Há submissões que têm aspectos de trabalhos "requentados", o que me obriga - como avaliador - a ler trabalhos daquela autoria para fazer um copidesque daqueles trabalhos com o que o autor submete. (A29).

Avaliar um artigo coloca para o avaliador as mesmas dificuldades que são próprias da avaliação de qualquer trabalho acadêmico-científico. Exigir adequação linguística, rigor científico, originalidade e obediência às normas técnicas de registros das referências e de formatação está se tornando quase impossível no espaço editorial da educação brasileira. Avaliar trabalhos que deixam de seguir estes quesitos é sempre muito difícil. (A30)

A ilegibilidade de textos com problemas de organização mental do autor; problemas de plágio; pesquisas não concluídas que apresentam resultados mal redigidos para dizer que foram concluídas; textos de áreas de conhecimento que não são do domínio do avaliador. (A38)

Ausência de padronização normativa em consonância com a ABNT. Para cada revista, há normas distintas. (A40)

• Fonte: dados da pesquisa (2021).

O Quadro 3 apresenta uma visão do cotidiano experimentado pelos avaliadores com os mais diversos desafios, como autoplágio, ilegibilidade do texto, falta de originalidade, rigor científico, a demora por parte dos editores em enviar o comprovante da avaliação, como afirma A12 “Não é raro precisar pedir, isso é muito ruim”, entre outros problemas, como esclarece A38 “plágio; pesquisas não concluídas que apresentam resultados mal redigidos para dizer que foram concluídas; textos de áreas de conhecimento que não são do domínio do avaliador.” Mesmo assim, percebe-se a preocupação com o cuidado ao emitir um parecer, em ser justo, para não desmotivar o autor, como ressalta A8, ao esclarecer que é preciso “saber como fazer sugestões dentro do recorte teórico e metodológico escolhido pelo autor. Isto requer empatia e estudo por parte do parecerista.” O que é enfatizado por Gross (2020) ao ressaltar que ter pareceres bem elaborados, permitem a promoção da qualidade e da consistência das produções analisadas, promovendo o crescimento dos atores envolvidos nesse processo, ou seja, de avaliadores e autores.

Na subcategoria ações que poderiam ser implantadas para recompensar/conquistar/motivar avaliadores, os respondentes sugeriram o seguinte: enviar rapidamente ou de forma automática pelo sistema as declarações/certificados para os avaliadores; pareceres deveriam pontuar nos programas de pós-graduação, em concursos, submissões de projetos a editais de agências de fomento, nas avaliações internas feitas pelas universidades (progressão de carreira); enviar artigos da área de interesse do avaliador; as instituições deveriam valorizar e considerar as avaliações como uma atividade acadêmica; adoção de ferramentas como Publons³ e ReviewerCredits⁴ para o registro e reconhecimento do avaliador; convidar o avaliador para publicar no periódico em que atua, em um número especial ou dossiê temático, por exemplo; ter algum tipo de homenagem na página do periódico aos avaliadores mais atuantes divulgando seu trabalho e currículo; procurar formar estudantes da pós-graduação como futuros avaliadores; manter no site do periódico a opção de cadastro de novos avaliadores; promover cursos ligados à atividade; aumentar os prazos de aceite e submissão das avaliações; avaliadores poderiam ter preferência na publicação, e na proposição de dossiês temáticos; remunerar os avaliadores. No Quadro 4 apresenta-se mais ações que podem ser utilizadas, assim como as já citadas, pelos editores para implantar nos periódicos em que atuam.

Quadro 4
Ações para recompensar/conquistar/motivar avaliadores

Sinto falta de uma incorporação natural como avaliador ao Comitê Científico das revistas após uma quantidade considerável de pareceres. É notório que algumas revistas adicionam avaliadores em decorrência da representação do currículo, buscando trazer maior credibilidade para o periódico. Esse modelo é recorrente nas revistas que buscam a internacionalização e se repete mesmo entre os nomes de pesquisadores em âmbito nacional. Essa prática me parece compreensível e mesmo necessária, mas considero importante que as revistas adotem um equilíbrio entre a quantidade e qualidade dos pareceres, para então incorporar novos membros dos comitês científicos, isto é, avaliadores assíduos e que contribuem significativamente. Desconheço se alguma revista já atua dessa maneira, mas creio que seria uma forma de recompensa satisfatória para os avaliadores. (A1)

Não. A maior parte das revistas brasileiras não são profissionalizadas, então o voluntariado além de aumentar o risco de conflitos de interesses temáticos ou teóricos por parte de editores, não pode oferecer nada a um trabalho técnico que não poderia ser voluntário. Além disso, o Sucupira não considera uma produção digna de nota um parecer dado. No trabalho técnico quase nada vale em termos de produção docente. (A8)

Defendo a formação em avaliação, seja pela Anped, pela Coneped, cursos. (A25)

Publicação de expediente a cada fechamento de ano editorial com corpo de avaliadores; publicação de tempo médio de avaliações ao final do ciclo. Obviamente, sempre preservando a impessoalidade da revista no que tange ao processo de avaliação. Isso é o básico. (A31)

Para além de relacionar no Expediente os avaliadores que mais colaboram, avaliam com qualidade e cumprem prazo, talvez destacar os 3 avaliadores mais proeminentes nesse sentido. (A33)

Enviar mensagens de acompanhamento do processo de aceitação ou não aceitação dos artigos aos avaliadores para que eles saibam o que foi aproveitado e o que não foi do parecer realizado; tutoriais de estilo de avaliação; boas práticas de avaliação do periódico. (A38)

• Fonte: dados da pesquisa (2021/2022).

Como observado nas reflexões de A8 há diversas questões em torno do processo avaliativo, que precisam de atenção dos editores, dos conselhos editoriais dos periódicos, de agências de fomento à publicação científica, de órgãos reguladores da graduação e da pós-graduação, dos colegiados e das pró-reitorias dos cursos que os periódicos são vinculadas, de grupos editoriais, dos portais de periódicos e etc., visando motivar e recompensar o trabalho dos avaliadores, e também dos próprios editores, que, muitas vezes, também exercem essa atividade como voluntários como visualiza-se adiante na próxima categoria, que trata das percepções dos editores.

Nesta categoria, os editores são denominados de E1 a E40, e as questões foram divididas nas seguintes subcategorias: a) iniciativas para recompensar os avaliadores; b) problemas recorrentes em relação às avaliações; c) tempo para receber avaliações; d) ações no periódico para selecionar novos avaliadores e para manter os que já estão no corpo editorial motivados a avaliar.

A primeira subcategoria objetivou descobrir se no periódico em que os sujeitos da pesquisa (editores) atuam, há iniciativas para recompensar os avaliadores. Os dados revelam que 77% respondeu que há sim iniciativas, e 23% respondeu que não, sendo que a mais citada pelos editores é a emissão de certificado/declaração de avaliação. Segundo E9 “passar a declaração é o mínimo que qualquer editor deve fazer. Nem considero recompensa para o avaliador”. No caso do periódico de E33, são publicados nas edições uma lista de avaliadores que contribuíram, “independentemente da decisão editorial (mas com processo concluído no período)”. Já E12 afirma que no periódico onde atua é utilizado como recompensa o ReviewerCredits e no caso de E18 há pagamento por avaliação no periódico em que é editor.

Ao visualizar as respostas dos avaliadores sobre essa mesma questão, se há ou não iniciativas de recompensas, onde 27 avaliadores (a maioria) afirmaram que não há um sistema de recompensas, e doze responderam que existe (a declaração de avaliação), observa-se que não há um consenso entre avaliadores e editores do que seria então, recompensas nesse processo, já que a maioria dos editores responderam positivamente a essa mesma pergunta. Obviamente, os respondentes desta pesquisa podem não atuar nos mesmos periódicos, ou seja, avaliadores e editores que responderam ao questionário são de instituições diversas, mas essa pode ser considerada uma pequena amostra do panorama geral.

Em relação à subcategoria problemas recorrentes em relação às avaliações, os editores apontam a demora no tempo das avaliações (46%) como o maior desafio, seguido por incoerências nos pareceres (28%), grosserias (9%) e conflitos de interesses (3%), como é possível visualizar na Tabela 6. Os outros problemas citados pelos editores foram: avaliadores não respondem no sistema se aceitam ou não realizar a avaliação; pareceres insuficientes, sem qualidade, resumidos, mal escritos e mal elaborados; reclamação em relação à avaliação recebida; dificuldade para encontrar avaliadores em todas as temáticas/abordagens; avaliadores que avaliam mal artigos de tendência teórica contrária; avaliadores que não acompanham a avaliação em todas as rodadas, exigindo substituição de avaliadores constantemente e atrasando o processo.

Tabela 6
Problemas recorrentes em relação às avaliações

Problemas	Quantidade	Porcentagem
Conflitos de interesses	2	3%
Incoerência nos pareceres	22	28%
Grosserias	7	9%
Demora nas avaliações	36	46'%
Outros	11	14 %
Total	78	100%

• Fonte: dados da pesquisa (2021/2022)

Analisando a Tabela 6 com os problemas e percentuais apresentados, percebe-se que a demora no tempo das avaliações e as incoerências nos pareceres formam os maiores desafios no processo de avaliação. Segundo Stumpf (2006, p. 4) um parecer feito com qualidade demanda tempo, e os avaliadores, que geralmente são professores e acumulam diversas atividades, “comprometem-se a realizar a tarefa em tempo hábil para não interferir no cronograma do editor”, mas podem não conseguir realizá-la no prazo estipulado. Outro fato alertado pela autora, é que a “demora na avaliação também pode ser vista como facilitadora do plágio, pois, ao prolongar a avaliação, os avaliadores podem incorporar em sua pesquisa ou publicações os resultados ou métodos dos trabalhos que avaliam”, e além disso, mesmo com a demora no tempo das avaliações e possibilidade de plágio, há pareceres que podem não contribuir para a melhoria do artigo, e ainda conter um teor agressivo/desrespeitoso.

Ainda no tocante ao tempo, apresenta-se a subcategoria tempo para receber avaliações. O prazo mais indicado para receber as avaliações foi de um mês (43%), seguido por outros prazos (39%), detalhados logo abaixo, e na sequência três semanas (4%), sendo que duas e quatro semanas ficaram empatados com 7% cada.

Tabela 7
Tempo para receber avaliações

Tempo	Quantidade	Porcentagem
Outros	17	39%
1 mês	19	43%
Quatro semanas	3	7%
Três semanas	4	4%
Duas semanas	3	7%
Total	46	100%

• Fonte: Dados da pesquisa (2021/2022)

Outros prazos citados foram de dois a três meses, um semestre, outros editores informaram que depende da situação. Conforme E35 o tempo de avaliação dos artigos depende ainda se há problemas de ordem técnica, ou, por exemplo, se há eventos em andamento da área: “Em geral, é possível receber a avaliação de um avaliador em até uma semana, mas, o prazo mínimo é de um mês, sempre podendo ser alterado de acordo com a necessidade”. Como observado esse prazo vai variar conforme questões que envolvem o próprio processo de avaliação, aspectos técnicos e até mesmo demandas profissionais dos avaliadores. Entretanto, Gross (2020, p. 7) alerta que os “problemas observados não se restringem à pouca disponibilidade de avaliadores ou ao tempo e à atenção exíguos dedicados por alguns avaliadores aos pareceres”. Pois há avaliações que tem como foco aspectos gramaticais e/ou de normalização, quando deveriam trazer reais contribuições para o avanço daquele conhecimento científico em questão, tratando, por exemplo, da adequação de métodos e técnicas de pesquisa e de problemas conceituais.

Em relação à subcategoria que reflete sobre se há ações no periódico para selecionar novos avaliadores e para manter os que já estão no corpo editorial motivados a avaliar, 80% dos editores responderam que sim, e 20% que não. Dentre as ações mais citadas estão: dar mais tempo para avaliar o manuscrito (40%); envio de mensagem direta ao avaliador convencendo a se manter no rol dos avaliadores (32%); contato com o avaliador via WhatsApp (11%), conforme Tabela 8. Ter mais tempo para avaliar as produções científicas é também uma reivindicação dos avaliadores que exercem outras atividades como a docência, a pesquisa, questões administrativas das universidades onde trabalham.

Tabela 8
Ações no periódico para selecionar novos avaliadores

Tempo	Quantidade	Porcentagem
Outros	17	17%
Dar mais tempo para avaliar o manuscrito	26	40%
Contato com o avaliador via WhatsApp	7	11%
Envio de mensagem direta ao avaliador convencendo a se manter rol no dos avaliadores	21	32%
Total	65

• Fonte: dados da pesquisa (2021/2022)

Em relação aos outros (17%) que se visualiza na tabela acima, os editores responderam sugerindo várias ações, as quais foram categorizadas em indicadores no Quadro 5 para melhor visualização, quais sejam em ordem crescente: adoção de política institucional e reconhecimento acadêmico ficaram empatadas; política editorial e criação de sistema de credenciamento de avaliadores, detalhados a seguir.

Quadro 5
Indicadores das ações sugeridas pelos editores

Ranking	Indicadores	Quantidade
1°	Adoção de política institucional	8
2°	Reconhecimento Acadêmico	8
3°	Política editorial	5
4°	Criação de sistema de credenciamento de avaliadores	3

• Fonte: dados da pesquisa (2021/2022)

Os indicadores acima elencados foram utilizados para organizar as ações sugeridas pelos sujeitos da pesquisa (editores) visando selecionar novos avaliadores, bem como manter os que já estão no corpo editorial motivados a continuar avaliando. Como observado no Quadro 6, o indicador ‘Adoção de política institucional’ contempla ações voltadas para as universidades, centros de pesquisa, etc., onde os periódicos estão alocados. Este indicador sugere que sejam criadas ferramentas que estimulem os pesquisadores a se tornarem avaliadores, e os que já são, sejam motivados a continuar este trabalho, a exemplo do que ressalta E39, ao esclarecer que deveria haver “troca de informações entre editores no sentido de compartilhar informações. Exemplo: lista de avaliadores com seus contatos etc. Acho que o IBICT poderia promover essa integração”; ou ainda segundo as reflexões de E18 ao sugerir o fortalecimento de uma “remuneração simbólica por avaliação”; e também como ressalta E17 ao ponderar que “talvez pudesse ser melhor pontuado nas avaliações como RAAD e no próprio Lattes ser considerado uma tarefa relevante e que contribui para pontuação do programa, caso seja um professor vinculado a um programa de pós-graduação.”

Quadro 6
Ações para selecionar novos avaliadores e para manter os que já estão no corpo editorial motivados a avaliar

Ações sugeridas	Indicadores
Políticas de motivação de avaliadores a serem adotadas pelas editoras. (E3)	Adoção de política institucional
Seria importante se essas participações fossem consideradas nas instituições onde os pesquisadores atuam. (E4)
No caso de IES Privadas, organizar selos editoriais institucionais e cobrar sobre o preço dos livros a serem publicados administrados pela tesouraria das IES para que as avaliações sejam remuneradas. (E14)
É uma questão muito complexa porque geralmente se conta com a gentileza dos profissionais para essa tarefa. Sabe-se que a avaliação de artigo é mais uma demanda e não há remuneração. Talvez pudesse ser melhor pontuado nas avaliações como RAAD e no próprio lattes ser considerado uma tarefa relevante e que contribui para pontuação do programa, caso seja um professor vinculado a um programa de pós-graduação. (E17)
Fortalecer a remuneração simbólica por avaliação. (E18)
Foi discutido no último Seminário de Meio Termo da CAPES (2019) que as coordenações de área da CAPES deveriam sensibilizar os colegas a contribuírem com os periódicos coirmãos da área. Acho que isso deve ser reforçado. (E26)
Políticas de valorização dos periódicos, editores e avaliadores. (E28)
Que houvesse troca de informações entre editores no sentido de compartilhar informações. Exemplo: lista de avaliadores com seus contatos etc. Acho que o IBICT poderia promover essa integração. (E39)
Base nacional de avaliadores. (E8)	Criação de sistema de credenciamento de avaliadores
Busca em bases, busca por temas-pesquisadores, pedido de indicação de avaliadores para organizadores de seções temáticas, para pesquisadores conhecidos. (E8)
A cada período de um ano, recorremos à lista da Associação de Pesquisa e Pós-graduação em Ciência da Informação - ANCIB - para novos contatos e a colegas da área de Comunicação e Informação, por meio de e-mails, com vistas a convidar os colegas a serem pareceristas do periódico. (E26)
Pensei em estruturar um parecer formal para que eles preencham de forma a ter mais critério de avaliação que não seja baseado em suas práticas, apenas. Ainda estamos avaliando com a equipe. (E31)	Política editorial
Faço quase tudo acima, mas, não considero que seja algo inovador, considero que faz parte do papel do editor, ter um contato mais direto com o avaliador. Agradecer pelos pareceres, dar diretrizes claras para o parecer ser elaborado, passar declaração. De forma não oficial, damos uma pequena precedência na avaliação aos artigos que são de avaliadores que estão sempre colaborando. Precedência na avaliação, mas pequena, devido a demanda da revista, e na publicação em aheadof print (AOP). Na publicação em AOP, ou seja, depois de avaliado e aprovado para publicação, pergunto sempre quando o autor que é também avaliador precisa que o texto seja publicado no SciELO. (E9)
O Conselho Editorial da Revista sempre convida novos avaliadores e adota o Avaliador Ad-Hoc. (E27)
Para novos avaliadores, realizamos convite personalizado a partir de autores que publicaram conosco e ainda não compõem o quadro de avaliadores. Há também os contatos estabelecidos em eventos. (E34)
O Conselho Editorial é reavaliado periodicamente e apenas pessoas contribuindo ativamente são mantidas. Infelizmente isso é pouco para motivar avaliadoras e avaliadores. (E35)
Formação em avaliação para recém-doutores; minicurso nos eventos científicos, para formação em avaliação. (E23)	Reconhecimento acadêmico
Elogiamos o trabalho do avaliador (que já contribuiu com seu trabalho na Revista) e dizemos que a opinião de tal avaliador é muito importante para melhorar o manuscrito e para a própria ciência. (E5)
Tornar a relação mais personalizada; valorizar os avaliadores com mensagens personalizadas. (E12)
Convite para organizar dossiê e/ou participar de dossiê temáticos. (E20)
Eventos de agradecimento; listas publicamente visíveis sobre os avaliadores mais atuantes por assunto, por exemplo; listar os avaliadores mais bem classificados (sistema de badges/estrelas/patentes ou semelhantes). (E33)
Penso ser interessante o periódico sensibilizar seus avaliadores da importância do seu trabalho para a comunicação científica e para o periódico, por meio de mensagens em determinados tempos; para novos avaliadores, abrir espaços para novos mestres e doutores para a função de avaliador. (E34)
Existência de editais da CAPES e CNPq que possam remunerar avaliações. (E34)
Estamos sempre procurando novas soluções para garantir a permanência e atividade dos avaliadores, além de renovar a lista disponível constantemente. No entanto, não temos outras opções no momento para melhorar a atuação dos avaliadores. Não usamos o telefone para comunicação com avaliadores, por considerarmos muito invasivo. É uma atividade inerente à de pesquisa, mas o excesso de publicações concorrentes gera sobrecarga de atividades nos avaliadores. Estamos avaliando a realização de eventos regulares para agradecimento a todos os que atuam na produção das nossas publicações, em especial aos autores e avaliadores. (E33)

• Fonte: dados da pesquisa (2021/2022).

Em relação ao indicador ‘Criação de sistema de credenciamento de avaliadores’, os editores sugeriram o desenvolvimento de uma base nacional e internacional, o que facilitaria o trabalho de busca que é realizado, como explicou E26. Um sistema de credenciamento de avaliadores seria uma ferramenta de auxílio nessa busca por perfil, áreas de conhecimento e de interesse dos avaliadores, e poderia também ser uma plataforma de interatividade, de promoção de capacitação para os interessados nessa atividade.

Sobre o indicador ‘Política editorial’, os respondentes indicaram ações que já realizam formalmente, como emissão de declaração/certificado de avaliação, e outras de caráter não oficial visando motivar quem emite os pareceres como ressalta E9: “De forma não oficial, damos uma pequena precedência na avaliação aos artigos que são de avaliadores que estão sempre colaborando. Precedência na avaliação, mas pequena, devido a demanda da revista, e na publicação em ahead of print (AOP). Na publicação em AOP, ou seja, depois de avaliado e aprovado para publicação, pergunto sempre quando o autor que é também avaliador precisa que o texto seja publicado no SciELO. ” Além disso, outros editores informaram que convidam com frequência novos avaliadores e adotam o avaliador na modalidade ad-hoc, assim como observam que está publicando no periódico e pode compor o quadro de avaliadores.

No último indicador denominado de ‘Reconhecimento acadêmico’, os editores apontaram ações como promoção de eventos e cursos para formação de novos avaliadores, e também para agradecê-los; convites para organizar dossiê e até mesmo para participar de dossiê temático com envio de trabalho; sensibilização dos avaliadores sobre a relevância das avaliações para a comunicação científica e para o periódico; publicização de listas dos avaliadores mais atuantes e melhor classificados; criação por parte das agências de fomento de editais que remunerem as avaliações. Esses pensamentos dos editores também foram apontados pelos avaliadores, ao exporem as necessidades de ações para motivar e recompensar quem emite pareceres, por se tratar de uma atividade complexa, que demanda tempo e experiência.

5 CONCLUSÃO

Compreende-se que a tarefa de ser editor ou avaliador envolve diversas complexidades, como apontadas pelos sujeitos da pesquisa. Neste artigo apresentou-se uma breve experiência de ter e estar atuando em ambas as funções, e participar deste cenário como autores desta investigação. Destarte, tencionou-se compreender os aspectos das avaliações de produções científicas, com o foco nas iniciativas voltadas para recompensar e motivar os avaliadores e destacar o relacionamento entre editores e avaliadores, bem como propor ações para selecionar novos avaliadores e manter os que estão no corpo editorial, num estudo baseado em análises de conteúdo aplicados aos respondentes das áreas da Educação e Ciência da Informação.

Diante da amostra dos dados coletados, visualiza-se que editores e avaliadores respondentes desta investigação, mostraram-se experientes na percepção do trabalho editorial com o foco tanto nas ações que envolvem os editores, quanto no processo de avaliação voltados para os avaliadores, evidenciando possíveis ações para melhoria em ambas as categorias.

De maneira geral, pode-se verificar que o trabalho tanto do editor quanto do avaliador no Brasil, envolvidos com a editoração científica nas áreas de estudo desta pesquisa, é praticamente uma ação voluntária, sem ganhos financeiros e, de certa forma, pouco reconhecidos por méritos acadêmicos.

Ao categorizar os apontamentos feitos pelos respondentes (editores e avaliadores), chega-se a um consenso de indicadores de ações sugeridas pelos editores, mas que também possam contemplar os avaliadores da seguinte forma:

• Adoção de política institucional para dar constitucionalidade ao trabalho feito pelo editor e avaliador;

• Desenvolvimento e utilização de estratégias e mecanismos para atingir as instâncias superiores, visando dialogar sobre o reconhecimento acadêmico dos editores e avaliadores quanto aos aspectos do trabalho editorial técnico-científico;

• Construir e implantar uma política editorial com objetivo de fomentar melhorias no quadro das prioridades do trabalho dos docentes, que atuam como editores e avaliadores de publicações científicas;

• Criar um sistema de avaliadores que facilite o trabalho no processo editorial no que tange pela busca de novos avaliadores para avaliação de artigos. Um sistema baseado na arquitetura do próprio Lattes, mas que tenha a função exclusiva de “busca de avaliadores”. Alguns protótipos estão sendo feitos, mas precisa de algo mais profissional que contemple todo universo de editores de todas as áreas.

Nessas quatro ações, pode-se resumir todo o trabalho de análises enfatizadas nesta investigação, oferecendo um modelo para disponibilizar aos periódicos de qualquer área do conhecimento, visando: ampliar o quadro de benefícios ganhos com o processo de avaliar os trabalhos científicos; destacar a importância de se ter editores e avaliadores experientes na gestão dos periódicos científicos, bem como promovendo a visibilidade da produção científica evidenciado a qualidade destas avaliações por pares.

Vale ressaltar que precisa-se cunhar um movimento a ser engajado com a atenção dos editores, dos conselhos editoriais dos periódicos, de grupos editoriais, dos portais de periódicos que estão em ebulição nas universidades devido ao seu crescimento exponencial no suporte e apoio aos editores, com o objetivo de implementar junto às agências de fomento à publicação científica, associações científicas, órgãos reguladores da graduação e da pós-graduação, colegiados e pró-reitorias dos cursos que os periódicos são vinculados para efetivação de um sistema de compensação tanto para a função do editor quanto para os avaliadores, e tornar reconhecidos academicamente com os trabalhos de seus periódicos no universo editorial.

Diante exposto, conclui-se que foi possível apresentar essas percepções tanto de avaliadores quanto de editores, com o intuito de se ter como referencial um trabalho no campo da comunicação científica, que versa sobre a trajetória do processo editorial, sobre a avaliação científica por pares, com o incentivo à criação e à adoção de políticas editoriais institucionais.

Ao final das análises dos dados coletados, percebe-se a complexidade, relevância e as controvérsias em torno do processo de avaliação, o qual envolve todos os atores da produção científica, que podem ora estar no papel de avaliadores, ora desempenhando a função de editores e também de autores. Talvez essas experiências de papéis ajudem na compreensão da necessidade de um parecer bem elaborado e em tempo hábil, mas também, deveriam contribuir para que as diversas ações sugeridas pelos sujeitos da pesquisa, fossem realmente colocadas em prática, colaborando com o desenvolvimento da ciência e da comunidade científica.

Agradecimentos

Aos sujeitos da pesquisa que participaram desta investigação.

Ao Instituto Nacional de Desenvolvimento Científico e Tecnológico do Conselho (CNPq - Brasil) pela bolsa de produtividade em pesquisa (PQ2), Processo nº 308358/2021-0.

REFERÊNCIAS

• BARDIN, L. Análise de conteúdo. Tradução: Luís Antero reto e Augusto Pinheiro. Edição e revista atualizada. Lisboa: Edições 70, 2009.
• CABRAL, S. Autores, pareceristas e editores: tripé do processo de revisão de artigos científicos. Revista de Administração de Empresas, São Paulo, SP, v. 58, n. 4, p. 433-437, 2018. Disponível em: https://doi.org/10.1590/S0034-759020180408 Acesso em: 20 dez. 2022.
  » https://doi.org/10.1590/S0034-759020180408
• FARIAS, M. G. G. Análise da produção, implementação e avaliação de um modelo de mediação da informação no contexto de uma comunidade urbana. 2014. (Tese de Doutorado em Ciência da Informação). Universidade Federal da Bahia, Instituto de Ciência da Informação, Salvador.
• GROSS, C. P.O. Parecerista: protagonista anônimo da qualidade. Revista Direito GV, São Paulo, v.16, n. 2, e1957, 2020. Disponível em: https://doi.org/10.1590/2317-6172201957 Acesso em: 20 dez. 2022.
  » https://doi.org/10.1590/2317-6172201957
• MAIA, F. C. de A.; FARIAS, G. B. de; FARIAS, M. G. G. Percepção sobre o compartilhamento de conhecimento entre avaliadores sob a ótica dos editores científicos. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, SP, v. 20, e022003, 2022. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/ article/view/8667456 Acesso em: 20 dez. 2022.
  » https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/ article/view/8667456
• RIGO, A. S. Comunidade acadêmica, produtivismo e avaliação por pares. Perspectivas: Revista de Administração de Empresas, São Paulo, SP, v. 57, n. 5, set./out., 2017.Disponível em: https://doi.org/10.1590/S0034-759020170508 Acesso em: 20 dez. 2022.
  » https://doi.org/10.1590/S0034-759020170508
• STUMPF, I. R. C. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspectivas em Ciência da Informação, Belo Horizonte, v. 13, n. 1, p. 18-32, 2008. Disponível em: https://doi.org/10.1590/S1413-99362008000100003 Acesso em: 20 dez. 2022.
  » https://doi.org/10.1590/S1413-99362008000100003
• STUMPF, I. R. C. Revisão pelos pares: do tradicional ao inovador. In: CONFERÊNCIA IBEROAMERICANA DE PUBLICAÇÕES ELETRÔNICAS NO CONTEXTO DA COMUNICAÇÃO CIENTÍFICA,1., 2006, Brasília, DF. Anais [...]. [S.l.]: [s.n.], 2006. Disponível em: https://bit.ly/3xw9v0a Acesso em: 20 dez. 2022.
  » https://bit.ly/3xw9v0a

• FINANCIAMENTO

  Não se aplica.

• CONSENTIMENTO DE USO DE IMAGEM

  Não se aplica

• APROVAÇÃO DE COMITÊ DE ÉTICA EM PESQUISA

  não se aplica.

• 1
  Disponível em: https://doi.org/10.6084/m9.figshare.23264150.v1
• 2
  Disponível: https://doi.org/10.6084/m9.figshare.23264078.v2
• 3
  O Publons é um recurso gratuito para a comunidade global de pesquisa acadêmica multidisciplinar gerenciada pela Clarivate Analytics. O Publons vincula diretamente à Web of Science (WoS), para que os pesquisadores possam reivindicar e gerenciar seu histórico de publicações na WoS e exibir seu histórico ao lado de seu histórico de revisão por pares e edição de periódicos. (CLARIVATE, 2023).
• 4
  O ReviewerCredits é um sistema para obtenção do reconhecimento acadêmico e recompensar os esforços de revisão por pares. O ReviewerCredits permite que você resgate créditos em descontos de publicação, serviços editoriais e de tradução, assinaturas, cursos de treinamento, participação em conferências e muito mais. (REVIEWERCREDITS, 2023).

• LICENÇA DE USO

  Os autores cedem à Encontros Bibli os direitos exclusivos de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution (CC BY) 4.0 International. Estra licença permite que terceiros remixem, adaptem e criem a partir do trabalho publicado, atribuindo o devido crédito de autoria e publicação inicial neste periódico. Os autores têm autorização para assumir contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicada neste periódico (ex.: publicar em repositório institucional, em site pessoal, publicar uma tradução, ou como capítulo de livro), com reconhecimento de autoria e publicação inicial neste periódico.

• PUBLISHER

  Universidade Federal de Santa Catarina. Programa de Pós-graduação em Ciência da Informação. Publicação no Portal de Periódicos UFSC. As ideias expressadas neste artigo são de responsabilidade de seus autores, não representando, necessariamente, a opinião dos editores ou da universidade.

Editado por

EDITORES

Edgar Bisset Alvarez, Ana Clara Cândido, Patrícia Neubert, Genilson Geraldo, Mayara Madeira Trevisol, Jônatas Edison da Silva, Camila Letícia Melo Furtado e Beatriz Tarré Alonso.

Datas de Publicação

• Publicação nesta coleção
  20 Out 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  19 Fev 2023
• Aceito
  13 Jul 2023
• Publicado
  04 Ago 2023