Efeitos dos sistemas de avaliação de pesquisa de CAPES e CNPQ nos padrões de publicação dos pesquisadores das ciências da saúde no Brasil

Effects of CAPES and CNPQ research evaluation systems on the publication patterns of the health science researchers in Brazil

Resumo

Introdução: apesar do papel cada vez maior dos sistemas de avaliação da pesquisa na avaliação do desempenho dos pesquisadores, manifesta-se escassez de estudos empíricos que analisem se esses sistemas influenciam seus padrões de publicação. Objetivo: analisar se os critérios de avaliação utilizados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior e pelo Conselho Nacional de Desenvolvimento Científico Tecnológico influenciam os padrões de publicação dos pesquisadores das Ciências da Saúde no Brasil. Metodologia: aplica-se um questionário semiestruturado a uma amostra aleatória estratificada conformada por dois estratos homogéneos: (a) pesquisadores que são docentes permanentes de programas de pós-graduação e/ou bolsistas de produtividade em pesquisa; (b) pesquisadores que não são docentes permanentes, nem bolsistas. Resultados: os critérios mais diretamente relacionados com as avaliações, tais como a pontuação que recebem os artigos nas avaliações, o número de artigos demandados, a indexação das revistas nas principais bases de dados, ou o valor dos indicadores bibliométricos da revista, influenciam mais as escolhas dos pesquisadores avaliados do que as dos não avaliados. Fatores não relacionados diretamente às avaliações, tais como a importância dos artigos para o incremento da reputação, o grau de disseminação dos artigos, o prestígio do periódico, ou a revista contar com peer review de qualidade, também influenciam as escolhas dos pesquisadores avaliados. Conclusões: as respostas dos pesquisadores às avaliações são complexas e dependem de vários fatores; não é possível estabelecer uma relação determinística de causa-efeito entre os critérios de avaliação mais diretamente relacionados com as avaliações e os padrões de publicação dos pesquisadores.

Palavras-chave:
sistemas de avaliação da pesquisa; padrões de publicação; ciências da saúde; Brasil

Abstract

Introduction: despite the increasing role of research evaluation and funding systems in evaluating the performance of researchers, there is a lack of empirical studies that analyze whether these systems influence their publication patterns. Objective: to analyze whether the evaluation criteria used by the Coordination for the Improvement of Higher Education Personnel and the National Council for Scientific and Technological Development influence the publication patterns of Health Sciences researchers in Brazil. Methodology: a semi-structured questionnaire is applied to a random stratified sample made up of two homogeneous strata: (a) researchers who are permanent professors in graduate programs and research productivity fellows; and (b) researchers who are not permanent professors or scholarship holders. Results: criteria more directly related to the evaluations, such as the score received by the articles in the evaluations, the demanded number of articles, the indexing of the journals in the main databases, or the value of the journal's bibliometric indicators, influence the choices of the evaluated researchers more than that of the non-evaluated ones. Factors not directly related to the evaluations, such as the importance of the articles for increasing the researcher’s reputation, the degree of dissemination of this type of publication, the journal’s prestige, or the quality peer review of the journal, also influence the choices of evaluated researchers. Conclusions: Researchers’ responses to assessments depend on several factors; therefore, it is not possible to establish a deterministic cause-and-effect relationship between the evaluation criteria more directly related to the evaluations and the publication patterns of the researchers.

Keywords:
research evaluation systems; publication patterns; health sciences; Brazil

1 Introdução

Desde os anos 80-90 do século passado, os governos vêm delegando controle da atividade científica às agências de fomento da pesquisa (Hicks, 2012; Whitley;Gläser, 2007). Em diversos países, a confiança nessas agências é respaldada pela institucionalização gradual de sistemas de avaliação e fomento da pesquisa (Hicks, 2012). O estado da arte refere-se a esses sistemas como Research Evaluation Systems (RES) (Whitley; Gläser, 2007) ou Performance-Based Research Funding Systems (PRFSs) (Hicks, 2012) (doravante RES pelas siglas em inglês).

Dado o papel cada vez maior dos RES na avaliação do desempenho de pesquisadores e instituições acadêmicas, resulta surpreendente os poucos estudos empíricos sobre como os cientistas lidam com essas demandas (Rickje et al., 2016; Gläser; Laudel, 2016; Gläser et. al., 2010). A maior parte concentra-se na análise das políticas de ciência, realizando reflexões teóricas e discutindo os efeitos potenciais para os próprios autores desses trabalhos, porém, sem apresentar resultados empíricos (Rickje et al., 2016).

Uma vertente desses estudos tem focado nas mudanças que acontecem nos padrões de publicação dos pesquisadores como resultado das avaliações dos RES. Os padrões de publicação são entendidos pelos autores do presente estudo como as regularidades que manifestam coletivamente os pesquisadores de determinada área do saber, no que diz respeito ao uso que fazem dos veículos de comunicação para dar a conhecer seus resultados de investigação.

Os efeitos dos RES nos padrões de publicação têm sido estudados, principalmente, por meio de estudos bibliométricos longitudinais no nível macro (ex., países), como mostram os trabalhos de Korytkowski e Kulczycki (2019) na Polonia, Aagaard (2015) na Noruega, Marques et al. (2017) no Reino Unido, Ossenblok, Engels e Sivertsen (2012) na Noruega e na região flamenga da Bélgica (Flanders). Esses estudos concluíram que a institucionalização dos RES influenciou os padrões de publicação dos pesquisadores avaliados incentivando sua escolha dos veículos mais bem pontuados nesses sistemas.

Embora esse tipo de estudo permita identificar mudanças nos padrões de publicação no nível macro, as modificações no comportamento dos pesquisadores têm suas raízes no nível micro, ou seja, nas suas decisões individuais, devendo ser utilizados métodos qualitativos que permitam desvendar às relações e impactos dos fatores intervenientes, nem sempre evidenciados nos estudos métricos de nível macro (Gläser; 2017; Aagaard; Schneider, 2017; Gläser; Laudel 2016). Porém, os trabalhos qualitativos que analisam as consequências dos RES no nível micro tem recebido menos atenção (Aagaard; Schneider, 2017; Gläser, 2017; Schneider; Aagaard; Bloch et al., 2016; Aagaard, 2015). Adicionalmente, é preciso considerar que os RES têm sido implementados em diferentes contextos socioeconômicos e níveis (ex. regional, nacional) (ver contribuições em Whitley; Gläser, 2007), logo, assumir que sua implantação em múltiplas conjunturas produz, automaticamente, efeitos similares, desconsidera as estruturas sociais e as práticas epistemológicas predominantes em cada lugar (Whitley, 2007).

No Brasil, Caballero Rivero, Santos e Trzesniak (2022) realizaram um estudo bibliométrico da produção científica das Ciências da Saúde (CdS) no período 2010-2016, para determinar se os padrões de publicação dos pesquisadores avaliados pelos RES das duas principais agências de fomento no país, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), diferiam daqueles dos pesquisadores que não eram avaliados por essas agências. Os resultados mostraram que os pesquisadores que eram tanto bolsistas de produtividade em pesquisa (PQs), quanto docentes permanentes de Programas de Pós-graduação (PPGs), privilegiavam os veículos mais bem pontuados nas avaliações, especificamente, os artigos publicados em revistas indexadas nas bases da Web of Science (WoS), com Fator de Impacto do Journal Citation Reports (FI JCR), enquadradas nos estratos superiores do Qualis Periódicos, editadas no exterior e na língua inglesa, enquanto seus pares não avaliados não priorizavam esse tipo de publicação. Os autores sugerem que essas diferenças poderiam se sustentar no fato de os primeiros serem influenciados diretamente pelos critérios de avaliação dos RES Capes/CNPq, no entanto, reconhecem que isso precisa ser verificado por estudos empíricos adicionais, buscando identificar os fatores que influenciam as escolhas dos pesquisadores no nível micro, algo que eles não fizeram no seu estudo.

O presente trabalho pretende complementar qualitativamente os resultados do estudo de Caballero Rivero, Santos e Trzesniak (2022), e foca no contexto das CdS no Brasil. O objetivo geral é analisar se os critérios de avaliação utilizados pelos RES Capes/CNPq no período 2010-2016 influenciaram os padrões de publicação dos pesquisadores das CdS. Como objetivos específicos, identificar os fatores que induzem as escolhas dos veículos de comunicação por parte dos pesquisadores das CdS no Brasil e verificar se essas escolhas são influenciadas pelos critérios de avaliação da Capes e do CNPq. Utilizam-se questionários para identificar os fatores que induzem as escolhas dos veículos de comunicação por parte dos pesquisadores avaliados e não avaliados, e analisar se essas escolhas são influenciadas ou não pelos critérios de avaliação utilizados pelos RES dessas instituições. Verifica-se se as respostas nos questionários correspondem às tendências que manifestaram os padrões de publicação dos pesquisadores avaliados e não avaliados das CdS na pesquisa de Caballero Rivero, Santos e Trzesniak (2022). Devido à extensão do questionário aplicado (38 perguntas), o presente trabalho apresenta uma primeira parte dos resultados da pesquisa, enquanto um trabalho posterior apresentará a segunda parte desses resultados.

2 Referencial teórico

Um dos instrumentos mais usados pela política científica é a avaliação da pesquisa que, desde a década de 1980, vem sendo desenvolvida, principalmente, pelas agências de fomento por meio dos RES (Hicks, 2012; Whitley; Gläser, 2007). Os RES são definidos como “[...] conjuntos organizados de procedimentos, que são implementados regularmente por agências estatais ou delegadas pelo Estado, para avaliar os méritos da pesquisa realizada em organizações financiadas com fundos públicos” (Whitley, 2007, tradução nossa).

Inicialmente eram utilizados RES que realizavam avaliação ex ante, ou seja, revisão por pares das propostas de projetos de pesquisa dos candidatos a receberem financiamento (Kneller, 2007; Whitley, 2007). No entanto, a prevalência que alcançou no mundo a doutrina econômica neoliberal a partir da década de 1980, propiciou a ascensão do New Public Management, enfoque que argumenta que as organizações públicas devem ser administradas como empresas. Isso propiciou a passagem do que se conhece como modelo acadêmico de produção de conhecimento, para um outro modelo que tem recebido diferentes denominações, tais como modo dois de produção de conhecimento ou modelo pós-acadêmico (Kellog, 2006; Gibbons et al., 1994) e mudanças na forma em que se realizavam a avaliação e alocação de recursos para pesquisa.

Como resultado, a governança da ciência, orientou-se, principalmente, na busca, obtenção e avaliação dos retornos econômicos decorrentes do investimento público em pesquisa (Whitley, 2007), e desde finais da década de 1990, cresceu o número de RES que complementou a avaliação ex ante com a avaliação ex post nos países da Organização para a Cooperação e Desenvolvimento Econômico (Hicks, 2012; Whitley; Gläser, 2007). A última busca fornecer às agências de fomento com parâmetros que lhes permitiam avaliar “objetivamente” o desempenho de pesquisadores / instituições, sustentar a tomada de decisões sobre alocação de recursos e incentivar incrementos na produtividade acadêmica (Kneller, 2007).

Como indicam vários estudos (Korytkowski; Kulczycki, 2019; Hammarfelt; Rijcke; 2015; Hicks, 2012), os RES passaram a utilizar nessa função indicadores bibliométricos de publicações e/ou citações, principalmente o FI JCR, igualando o bom desempenho acadêmico com os altos valores dessas métricas; logo, aqueles com maior número de publicações com essas características deveriam receber o maior financiamento.

Embora as contribuições em Whitley e Gläser (2007) mostrem que a natureza dos RES pode variar de um país para outro, conforme Whitley (2007) eles apresentam algumas características distintivas: frequência, formalização, padronização e transparência.

A frequência se refere à periodicidade das avaliações (Whitley, 2007) que pode variar de um país para outro (ex., 3, 4, 5, 6 anos) (Hicks, 2012). A formalização se refere às avaliações serem conduzidas conforme procedimentos explicitamente especificados (Whitley, 2007), diferindo entre as que são realizadas de maneira mais informal e sem regras explicitas e as organizadas centralmente por agências de fomento que utilizam regras sistemáticas (Hicks, 2012). A padronização se refere à aplicação de critérios de avaliação similares a diferentes áreas do conhecimento (Whitley, 2007), variando entre os RES que implementam fórmulas únicas para a alocação de recursos e os RES que utilizam indicadores individuais para cada área do conhecimento ( Whitley; Gläser, 2007). A transparência refere-se a que as avaliações divulguem publicamente todas as informações relevantes (Whitley, 2007), variando entre os RES em que os procedimentos e resultados das avaliações são relatados em sigilo aos interessados, e os RES que publicam todo o relativo ao processo de avaliação (ex., métodos de avaliação, nomeação dos avaliadores, fórmulas que convertem as medidas em notas finais) (Hicks, 2012).

Considerando essas variações, levantam-se questionamentos sobre se é possível falar de efeitos padronizadores dos RES na produção científica. A dificuldade para estabelecer esses efeitos fundamenta-se em duas questões essenciais: a identificação dos efeitos e sua atribuição causal aos RES (Gläser; 2017; Aagaard; Schneider, 2017; Gläser; Laudel 2016; Gläser; Laudel, 2007).

Identificar quais os efeitos dos RES é difícil, porque implica distinguir e medir mudanças na produção e disseminação do conhecimento científico, que não são facilmente mensuráveis. E uma vez identificados os efeitos, sua atribuição causal determinística aos RES, também é complexa, pois esses efeitos podem ter sido impactados por outros fatores além dos RES (ver Jimenez-Contreras; Moya-Anegón; López-Cózar, 2003).

2.1 Mecanismos que vinculam os RES às mudanças na produção científica

A atribuição causal dos efeitos dos RES só é válida se os mecanismos sociais que vinculam esses sistemas às mudanças na produção científica são adequadamente identificados (Gläser, 2017; Aagaard; Schneider, 2017; Gläser; Laudel, 2007). Esses mecanismos são entendidos como uma sequência de eventos vinculados causalmente, os quais se manifestam repetidamente sob determinadas condições iniciais, e que vinculam essas condições a um resultado específico (Gläser; Laudel, 2007).

A detalhada revisão de Gläser e Laudel (2016) mostra que a maior parte das pesquisas buscando identificar os mecanismos sociais que vinculam os RES às mudanças na produção científica têm focado, principalmente, na alocação de recursos que é realizada pelas agências de fomento. Afirma-se que, na busca por maximizar o financiamento a ser recebido, pesquisadores e instituições desenvolvem estratégias para se adaptar aos critérios de avaliação dos RES. No entanto, conforme Gläser e Laudel (2016), a identificação desse mecanismo não tem sido acompanhada pela exposição clara dos efeitos decorrentes, nem apresentado o suporte empírico necessário.

O quadro teórico de Whitley (2007) sobre os RES “fracos” e “fortes” é considerado o mais adequado para identificar os mecanismos sociais que subjazem os RES e seus impactos na produção científica (ver contribuições em Whitley; Gläser, 2007). Considerando como são realizadas as avaliações, Whitley distingue dois tipos ideais de RES: “fracos” e “fortes” (Quadro 1).

Quadro 1 -
Principais características dos RES “fracos” e “fortes”

Tipo	Procedimentos e critérios de avaliação	Frequência de avaliação	Classificação dos avaliados	Comunicação pública dos resultados das avaliações
Fracos	Organizados informalmente; pouco padronizados	Irregular	Não é realizada	Raramente; normalmente relatados em sigilo aos interessados
Fortes	Organizados formalmente; altamente padronizados	Periódica	Escala padrão	Publica, por meio de rankings que permitem verificar a posição relativa dos avaliados

• Fonte: Elaborado pelos autores a partir de Whitley (2007).

Conforme Whitley (2007), devido às suas características, os RES “fortes” impactam de forma importante nas decisões das agências de fomento sobre financiamento, enquanto os “fracos” não. Vários estudos (Hicks, 2012; Whitley, 2007; Gläser; Laudel, 2007) indicam que nos países em que as agências de fomento têm implementado RES “fortes”, manifesta-se o mecanismo social vinculado à alocação de recursos, isto é, como as instituições ou pesquisadores que resultam mais bem avaliados recebem maior financiamento, isso impactaria diretamente seu comportamento.

No entanto, Whitley (2007) argumenta que os RES “fortes” fornecem outro incentivo ainda mais poderoso do que o financeiro, especificamente, a reputação que os pesquisadores podem obter decorrente de boas avaliações. Whitley (2000) afirma que a ciência é um tipo de organização social do trabalho em que os pesquisadores buscam alcançar objetivos coletivos por meio da reputação. Logo, os pesquisadores precisam persuadir seus pares da importância das suas pesquisas, perspectivas teórico-metodológicas e prioridades de investigação e, na medida em que essa capacidade cresce, se incrementa a sua possibilidade de obterem maior quantidade de recursos, promoções ou melhores empregos.

Assim, como afirma Whitley (2000), os cientistas se envolvem em “lutas” simbólicas pelo incremento da reputação. No lugar de se limitar a investigar e apresentar seus resultados de pesquisa em um suposto “mercado neutro” para trocá-los por maior reputação, eles se envolvem em estratégias diversas para influenciar, a opinião dos seus pares e a de outros atores sociais (ex., agências de fomento) e obter uma maior quantidade e variedade de recursos.

Por sua vez, como indica Whitley (2000), a avaliação dos resultados de pesquisa se realiza, fundamentalmente, no contexto do sistema formal de comunicação científica. Logo, a busca dos pesquisadores pela reputação é temperada pela necessidade de que seus resultados sejam reconhecidos e certificados coletivamente pela comunidade acadêmica da sua área.

Adicionalmente, Whitley (2000) alega que as “lutas” pela reputação são altamente dependentes dos sistemas de recompensa acadêmica, isto é, dos conjuntos de elementos interconectados e interagentes que trabalham juntos (e às vezes uns contra os outros), para reconhecer, ignorar ou desconsiderar, os pesquisadores e suas contribuições (O’Meara, 2011). O’Meara (2011) afirma que esses sistemas operam como um elemento cultural que ocupa um lugar central na vida acadêmica, pois socializam, penalizam, recompensam e moldam o comportamento dos pesquisadores, contribuindo para o incremento da sua reputação e para a valorização da sua vida profissional.

Na medida em que esses sistemas vinculam o planejamento estratégico da atividade científica com elementos tais como a remuneração por mérito, as decisões de promoção, os processos de admissão e recrutamento, a obtenção de financiamento para projetos de pesquisa, dentre outros, se constituem em uma das principais fontes de motivação extrínseca da ciência, impactando, tanto o comportamento, quanto a produtividade dos pesquisadores (O’Meara, 2011).

Adicionalmente, Bourdieu (2004) e Whitley (2000), argumentam que os sistemas de recompensa acadêmica se operacionalizam diferentemente em cada campo científico. Para Bourdieu (2004), o habitus, como conjunto de disposições que tendem a se generalizar dentro de um campo, assume formas específicas, observando-se disparidades e diferenças na forma em que o capital científico é acumulado pelos cientistas de diferentes áreas. Whitley (2000) argumenta que os campos científicos exibem variações importantes em seus padrões de organização e controle do trabalho acadêmico para outorgar reputação, envolvendo questões tais como o escopo dos problemas estudados, o grau da integração teórica dos resultados, dentre outras.

Vários estudos empíricos (Johnson; Atkinson; Mabe, 2018; Hammarfelt, 2017; Fry et al., 2009) mostram que as normas e práticas que definem a recompensa acadêmica são percebidos distintivamente em cada área do saber, e podem influenciar as escolhas dos pesquisadores sobre os veículos de comunicação. Como mostrado por esses autores, por exemplo, nas ciências ditas “duras”, a reputação é resultado, principalmente, do reconhecimento da comunidade acadêmica internacional, sendo altamente valorizadas a publicação de artigos em periódicos de alto FI JCR, no idioma inglês, e a quantidade de citações recebidas nesses periódicos. Já nas humanidades, a reputação resulta, fundamentalmente, do reconhecimento das comunidades científicas nacionais e, embora a publicação de artigos em periódicos seja importante, os livros em idiomas locais continuam sendo o tipo mais respeitado de publicação, particularmente, os publicados por renomadas universidades ou editoras comerciais (Johnson; Atkinson; Mabe, 2018; Hammarfelt, 2017; Fry et al., 2009).

No entanto, conforme o quadro teórico de Whitley (2007), a busca dos cientistas pela reputação também é mediada pelos RES “fortes”. Trata-se de um segundo mecanismo social, especificamente, a adaptação dos pesquisadores aos critérios de avaliação dos RES “fortes”; em outros termos, os cientistas percebem esses critérios como expectativas de desempenho, as interpretam como sinais do que é mais valorizado, e se adaptan a esses critérios, impactando suas decisões sobre quais as linhas de pesquisa, problemas de investigação e objetos de estudo a serem priorizados, quais os métodos utilizados, com quais pesquisadores realizar parcerias de pesquisa, quais tipos de publicação priorizar, dentre outras questões.

3 Procedimentos metodológicos

Utilizou-se um questionário misto, combinando perguntas fechadas e abertas, aplicado on-line (Google Form), pois os entrevistados estão mais dispostos a responder esse tipo de questionários do que por escrito (Van Selm; Jankowski, 2006), além de reduzir o tempo de processamento dos dados, e automatizar a codificação das respostas às perguntas fechadas. O questionário foi baseado, parcialmente, no utilizado por Fry et al. (2009) para estudar se o comportamento dos pesquisadores no Reino Unido estava sendo influenciado pelos processos de avaliação.

A população considerou os pesquisadores doutores brasileiros das CdS. Considerando que o presente estudo pretende complementar qualitativamente o estudo de Caballero Rivero, Santos e Trzesniak (2022), e verificar se as respostas nos questionários correspondem com as tendências que manifestaram os padrões de publicação dos pesquisadores avaliados e não avaliados nesse estudo, os questionários foram aplicados a uma amostra aleatória estratificada de pesquisadores, similar à utilizada por esses autores. Logo, a amostra é conformada por dois estratos representativos de grupos homogêneos de pesquisadores: (a) pesquisadores que são docentes permanentes de PPGs e/ou PQs; (b) pesquisadores que não são docentes permanentes de PPGs, nem PQs.

Para a conformação da base de amostragem foram identificados os pesquisadores das CdS que cumpriam com os critérios estabelecidos para cada estrato no período 2010-2016. A identificação dos docentes permanentes de PPGs e PQs foi realizada por meio de consultas na plataforma Sucupira da Capes e na base dos PQs vigentes do CNPq. Os pesquisadores que não eram docentes permanentes, nem PQs, foram identificados por meio de uma consulta no Diretório dos Grupos de Pesquisa (DGP) do CNPq, eliminando-se aqueles que tinham sido identificados como docentes permanentes e/ou PQs. A população (N=8.453 pesquisadores) é conformada por 1.636 docentes permanentes e PQs, e 6.817 que não eram nem docentes permanentes, nem PQS.

O tamanho da amostra (n=368) foi determinado utilizando a fórmula das populações finitas, considerando um nível e confiança de 95%, um desvio de 1,96 e um erro de estimação de 5%. Utilizou-se uma amostra aleatória estratificada buscando representar a população da forma mais precisa possível, logo, determinou-se a porcentagem que representava cada estrato na população (N) e aplicou-se esse valor ao tamanho da amostra (n). Para tentar melhorar a baixa taxa de respostas que é típica dos questionários, o tamanho da amostra foi multiplicado por 1,5, aumentando-se para n=552 (Tabela 1).

Tabela 1 -
Conformação final da amostra por estratos

Estratos	Amostra (n)	%
Total de pesquisadores	552	100%
Estrato A: docentes permanentes de PPGs e/ou PQs	107	19,4%
Estrato B: nem docentes permanentes de PPGs, nem PQs	445	80,6%

• Fonte: Elaborado pelos autores.

Uma vez definidos os estratos, procedeu-se a construir a amostragem aleatória simples de cada estrato para identificar os pesquisadores que seriam convidados a responder o questionário, associando-se o nome de cada pesquisador com um número e, posteriormente, utilizando-se uma tabela de números aleatórios.

Para verificar se na população existiam associações estatisticamente significantes entre o estrato do pesquisador e os fatores que influenciam as escolhas dos veículos foi utilizado o teste de associação Qui-quadrado (X²). Para mensurar o grau de intensidade das associações foram utilizados o V de Cramér e o Eta, priorizando o resultado da menor correlação. Os cálculos estatísticos foram realizados por meio do software IBM SPSS Statistics v.20 (SPSS, 2023).

4 Resultados

O questionário foi respondido por 225 pesquisadores, não se alcançando o tamanho esperado da amostra (n=368). Embora no momento de coleta dos dados os respondentes foram classificados nos estratos A e B, a situação de uma parte deles tinha mudado quando responderam os questionários (janeiro - abril de 2021). Os 225 pesquisadores incluíram 127 pesquisadores submetidos às avaliações Capes/CNPq (51 PQs e docentes permanentes de PPGs, cinco que eram PQs, mas não docentes permanentes, e 71 que eram docentes permanentes, mas não PQs), e 98 não submetidos às avaliações (nem PQs, nem docentes permanentes).

4.1 Importância dos veículos de comunicação

Solicitou-se aos pesquisadores avaliar a importância dos artigos em periódicos, livros, capítulos e trabalhos completos em anais de eventos. A pergunta foi respondida pela totalidade dos respondentes (n=225; 100,0%) (Figura 1).

Figura 1 -
Importância dos veículos de comunicação por estrato

Os pesquisadores do estrato A conceituam altamente a comunicação por meio de artigos em periódicos, em menor grau por livros e capítulos, e não conferem muita importância aos trabalhos completos em anais. Já os do estrato B também conferem uma alta importância à publicação de artigos, porém, julgam os outros três veículos com importância similar.

As análises estatísticas permitem concluir que existe uma relação estatisticamente significante entre o estrato do pesquisador e a importância atribuída aos trabalhos completos em anais de eventos (X2=10,229; p=0,037<0,05), logo, há uma segurança muito alta de que essa associação existe na população. Porém, considerando que a intensidade da relação é baixa (Eta=0,179), é provável que alguma outra variável (interveniente) esteja influenciando essa relação. Não se manifestam associações estatisticamente significantes entre o estrato do pesquisador e a importância atribuída aos artigos em periódicos, livros e capítulos.

4.2 Fatores que influenciam a escolha de publicar artigos em periódicos

Apresentou-se aos pesquisadores um conjunto de fatores que poderiam ter influenciado sua escolha dos artigos em periódicos como veículo de comunicação e perguntou-se como eles avaliavam cada um deles (Figura 2). A pergunta foi respondida pela totalidade dos pesquisadores (n=225; 100%).

Figura 2 -
Fatores que influenciam a escolha dos artigos em periódicos

Mais da metade dos pesquisadores do estrato A apontaram quatro fatores como “Muito influente”: a pontuação que recebem os artigos nas avaliações (n=76; 59,8%); a quantidade de artigos exigidas nas avaliações (n=69; 54,3%); a importância dos artigos em periódicos para o incremento da sua reputação (n=68; 53,5%); e o grau de disseminação para o público-alvo (n=67; 52,8%). Já mais da metade dos pesquisadores do estrato B apontam um único fator como “Muito influente”, especificamente, a pontuação que recebem os artigos nas avaliações (n=51; 52,0%), porém, também são influenciados, de forma importante, pela necessidade de incrementar sua reputação e que suas publicações alcancem um alto grau de disseminação entre o público-alvo.

As análises estatísticas verificaram uma associação estatisticamente significante entre a influência de três dos fatores analisados e o estrato do pesquisador: a quantidade de artigos exigida nas avaliações (X2=17,647; p<0,001); a demanda das agências de fomento que financiam a pesquisa (X²=22,269; p<0,001) e; as exigências das diretrizes institucionais ou departamentais (X²=12,405; p<0,05). Há uma segurança muito alta de que na população existe uma associação estatisticamente significante entre a influência desses três fatores na escolha dos artigos e o estrato do pesquisador.

No entanto, o grau de correlação entre o estrato do pesquisador e a quantidade de artigos exigida nas avaliações (Eta e V de Crámer = 0,280), bem como as exigências das diretrizes institucionais ou departamentais (Eta e V de Crámer = 0,235), foi positivo baixo, logo, essas associações poderiam estar sendo influenciadas por algumas outras variáveis. Já o grau e correlação entre o estrato do pesquisador e as demandas das agências de fomento foi positivo moderado (Eta e do V de Crámer=0,315). Os valores de X² e as probabilidades associadas (p>0,05) para os outros cinco fatores analisados indicam que não se verificam associações estatisticamente significantes com o estrato do pesquisador.

Complementarmente, 22 respondentes (9,8%), indicaram outros fatores que influenciaram a sua escolha dos artigos em periódicos, destacando a possibilidade de publicar em revistas sem taxas de publicação, enquanto nos livros e capítulos precisariam cobrir os custos das editoras e nos trabalhos completos em anais as taxas de inscrição, gastos de transporte, dentre outros.

4.3 Fatores que influenciam a escolha dos periódicos em que publicar

Apresentou-se aos pesquisadores um conjunto de fatores que poderiam ter influenciado suas escolhas dos periódicos em que publicaram os artigos e perguntou-se como eles avaliavam cada um deles. A pergunta foi respondida pela totalidade dos respondentes (n=225, 100,0%) (Figura 3).

Figura 3 -
Fatores que influenciam a escolha dos periódicos

A maior parte dos pesquisadores do estrato A declaram que suas escolhas dos periódicos resultaram muito influenciadas ou influenciadas por fatores diretamente relacionados com os critérios de avaliação, tais como, o valor dos indicadores bibliométricos de impacto ou citação da revista, sua indexação nas principais bases de dados multidisciplinares e/ou as especializadas, e o estrato no Qualis Periódicos, mas também por alguns fatores não diretamente relacionados com as avaliações, tais como, o prestígio do periódico e contar com peer review de qualidade.

No estrato B chama a atenção o fato de o estrato da revista no Qualis Periódicos da área ser apontado como um fator “Muito influente” por mais da metade dos pesquisadores (n=55; 56,1%), pois é uma ferramenta utilizada para avaliar a produção científica dos PPGs. No entanto, outros fatores que não se relacionam diretamente com as avaliações, tais como o prestígio do periódico, ou o peer review de qualidade, foram considerados mais influentes do que o alto valor dos indicadores bibliométricos da revista ou sua indexação nas principais bases de dados multidisciplinares / especializadas.

As análises estatísticas verificaram uma associação estatisticamente significante entre a influência de cinco dos fatores analisados e o estrato do pesquisador: as revistas serem indexadas nas principais bases de dados multidisciplinares (X2=14,789; p<0,05); publicadas na língua portuguesa (X2=14,480; p<0,05), contar com alto valor dos indicadores bibliométricos (X2=11,492; p<0,05), peer review de qualidade (X2=10,300; p<0,05), e publicadas em outras línguas (não inglês ou português) (X2=9,815; p<0,05). Por sua vez, os valores do Eta e do V de Crámer indicam que o grau de correlação entre esses cinco fatores e o estrato do pesquisador foi positivo baixo. Logo, há uma segurança muito alta de que a associação identificada entre a influência desses cinco fatores na escolha das revistas e o estrato do pesquisador existe na população. Porém, considerando que o grau de intensidade dessas associações foi baixo, é muito provável que estejam sendo influenciadas por outras variáveis.

Adicionalmente, 34 respondentes (15,1%) indicaram outros fatores que influenciaram a sua escolha dos periódicos destacando a prioridade às revistas que não contam com taxas de submissão ou de publicação e seu escopo.

4.4 Influência dos critérios de avaliação na escolha dos veículos

Perguntou-se aos pesquisadores se eles acreditavam que os critérios utilizados pelos RES Capes/CNPq para avaliar a produção científica poderiam ter influenciado suas escolhas dos veículos de comunicação. A pergunta foi respondida pela totalidade dos respondentes (n=225; 100,0%) (Figura 4).

Figura 4 -
Influência dos critérios de avaliação na escolha dos veículos

Quase a totalidade dos pesquisadores (n=209; 92,9%) considera que os critérios de avaliação das duas agências podem influenciar a escolha dos veículos, deles 95,3% (n=121) dos pesquisadores do estrato A e 89,8% (n=88) dos do B. As análises estatísticas (X²=0,73; p=0,393>0,05) mostram que não existe uma associação estatisticamente significante entre o estrato do pesquisador e acreditar que os critérios de avaliação de Capes/CNPQ poderiam influenciar a escolha dos veículos de comunicação; logo, há uma segurança muito alta de que na população não existem associações entre essas variáveis.

Adicionalmente, 140 pesquisadores dos que tinham respondido afirmativamente nos questionários (67,0%), argumentaram suas respostas. Os pesquisadores do estrato A destacaram o fato de que tanto a avaliação do desempenho dos docentes permanentes, a dos PPGs (nota), bem como o financiamento dos PPGs e dos PQs, dependem de que suas publicações cumpram com esses critérios, além de contribuir a incrementar a reputação dos pesquisadores. Algumas respostas são apresentadas a seguir:

Em última análise os critérios de avaliação acabam direcionando a produção científica, mesmo que esse não seja o seu objetivo. A avaliação da CAPES serve de parâmetro para critérios de credenciamento e descredenciamento em cursos de pós-graduação. Docentes que não atingem os parâmetros são descredenciados. Assim quem quiser se manter vinculado a um PPG (onde a maior parte da pesquisa brasileira é feita!) tem que se adequar aos critérios de avaliação de sua área. Os critérios de avaliação utilizados pela Capes, a partir da leitura do modelo de análise de políticas públicas neo-institucional, apresenta indícios que os mesmos têm figurado como indutor / condicionador. Ou seja, excluindo aqueles que já dispunham de tal perfil de publicações, pesquisadores que não dispõem de tal modus operandi têm sido obrigados a mudar para permanecerem no jogo. Porque quando publicamos em periódicos com maior avaliação pela Capes/CNPq, aumentam as chances de conseguir financiamentos futuros para novas pesquisas. Os critérios escolhidos para avaliação têm um peso grande para o reconhecimento e o prestígio dos pesquisadores no meio acadêmico - científico, consequentemente, em suas escolhas (dos veículos) (Pesquisadores estrato A).

Já os pesquisadores do estrato B destacaram o fato desses critérios serem utilizados na avaliação dos candidatos a docentes permanentes dos PPGs, a professores em universidades federais e para alocação de financiamento em projetos de pesquisa. Alguns exemplos dos comentários realizados pelos pesquisadores:

A progressão funcional na carreira dos pesquisadores vinculados a instituições públicas é medida por estes critérios. Porque os fomentos e concursos são baseados nesses fatores. Critérios de produtividade institucional em algumas IES também (Pesquisadores estrato B).

4.5 Veículos de comunicação incentivados pelos critérios Capes/CNPq

Perguntou-se aos pesquisadores se acreditavam que os critérios utilizados por Capes/CNPq para avaliar a produção científica incentivavam o uso de determinado(s) veículo(s) de comunicação. A pergunta foi respondida por todos os participantes (n=225; 100,0%) (Figura 5).

Figura 5 -
Incentivo ao uso de determinado(s) veículo(s) de comunicação

Os pesquisadores que responderam afirmativamente (n=171) foram solicitados indicar qual(ais) veículo(s) estaria(m) sendo incentivado(s) (Figura 6).

Figura 6 -
Veículos de comunicação incentivados pelos critérios de avaliação

Quase a totalidade dos respondentes (n=162; 94,7%) considerou que se incentiva, principalmente, a publicação de artigos em periódicos, enquanto livros, capítulos e trabalhos completos em anais de eventos foram apontados por parcelas minoritárias de pesquisadores. Uma distribuição similar é observada nas respostas dos pesquisadores de ambos os estratos.

As análises estatísticas (X²= 5,99; p=0,307>0,05) indicam que não se verificam associações estatisticamente significantes entre o estrato do pesquisador e os veículos que eles acreditam serem incentivados pelos critérios de avaliação Capes/CNPq.

5 Discussão

A seguir discute-se a influência dos critérios de avaliação utilizados pelos RES de Capes e CNPq nos padrões de publicação dos pesquisadores de ambos os estratos.

5.1 Influência no crescimento da produção e da produtividade em artigos

Os resultados mostram que quase a totalidade dos pesquisadores das CdS acredita que os critérios de avaliação utilizados pelos RES Capes/CNPq podem influenciar a escolha dos veículos, independentemente de serem docentes permanentes de PPGs e PQs ou não.

O estudo de Caballero Rivero, Santos e Trzesniak (2022) mostrou um crescimento significativo da produção de artigos em periódicos nas CdS, bem como da produtividade per capita dos pesquisadores dos dois estratos (2010-2016). Esse crescimento está em convergência com o incentivo que recebem os artigos em periódicos nas avaliações Capes/CNPq, enquanto livros, capítulos e trabalhos completos em anais de eventos são pouco considerados ou não considerados.

Em outros termos, quando os RES Capes/CNPq estabelecem um vínculo entre a quantidade de artigos e a pontuação dos PPGs e dos PQs, estão incentivando os pesquisadores a priorizarem esse veículo. Isso já tem sido apontado por estudos que mostram como os RES “fortes” utilizam, cada vez mais, indicadores bibliométricos de artigos, e como isso incentiva os pesquisadores a priorizar esse tipo de publicação (Bal, 2017; Génova; Astudillo; Fraga, 2016).

Os resultados dos questionários também indicam que a intensidade dessa influência é maior no caso dos pesquisadores do estrato A; a quantidade de artigos demandada nas avaliações foi considerada um fator “Muito influente” pelo 54,3% do estrato A, parcela que no estrato B representou 29,6%. Considerando que os RES Capes/CNPq seguem a lógica de que o maior financiamento para a pesquisa será alocado nos pesquisadores ou instituições como uma maior produção de artigos, manifesta-se o mecanismo de alocação de recursos indicado por Whitley (2007).

No entanto, os resultados também mostram que a escolha dos artigos como veículo de comunicação resulta influenciada por fatores que não estão diretamente relacionados com as avaliações; por exemplo, o grau de disseminação que alcançam para o público-alvo e sua contribuição para o incremento da reputação foram apontados como “Muito influente” ou “Influente” por mais de 85% dos pesquisadores de ambos os estratos.

O último elemento aponta para o segundo mecanismo indicado por Whitley (2007), ou seja, os pesquisadores adaptam seus padrões de publicação aos veículos mais bem avaliados pelos RES, pois a obtenção de boas avaliações se reverte no incremento da sua reputação. Vários estudos (Carvalho et al. 2013; Menezes; Oddone; Café, 2012) mostram que Capes e CNPq têm acumulado um peso político-científico o suficientemente grande como para que os resultados das avaliações funcionem como mecanismos de concessão de reputação aos pesquisadores.

Os questionários mostram que a necessidade de incrementar a reputação também influencia as escolhas dos pesquisadores do estrato B pois, na busca pela ascensão profissional, eles identificam os critérios de avaliação das duas agências como expectativas de desempenho que sinalizam quais publicações priorizar e, consequentemente, adaptam seus padrões de publicação.

Foram identificadas associações estatisticamente significantes e não significantes entre o estrato do pesquisador e fatores associados ou não associados diretamente com os critérios de avaliação, o que aponta para a inexistência de uma relação determinística de causa-efeito entre essas variáveis. Em outros termos, o fato de os RES Capes/CNPq valorizarem mais a produção em artigos do que a de outros veículos, não torna fatores tais como a quantidade demandada de artigos ou a pontuação atribuída aos artigos nas avaliações, as únicas causas que influenciam os docentes permanentes e PQs a comunicarem seus resultados por essa via.

Os resultados corroboram os de Fry et al. (2009) no Reino Unido, onde a maior parte dos pesquisadores, incluindo os das CdS, acredita que os critérios de avaliação do RES influenciam seus padrões de publicação. No que diz respeito à inexistência de uma relação determinística de causa-efeito entre os critérios de avaliação utilizados pelas agências de fomento e a escolha dos artigos em periódicos como veículo de comunicação, os resultados corroboram os de Sile e Vanderstraeten (2019) nas ciências da educação na Suécia.

5.2 Influência no crescimento da produção e na produtividade em artigos publicados em revistas indexadas na WoS e com FI JCR

O estudo de Caballero Rivero, Santos e Trzesniak (2022) verificou uma tendência de crescimento do número de total artigos publicados e da produtividade em revistas indexadas nas bases de dados da WoS e com FI JCR nas CdS no Brasil (2010-2016) por parte dos docentes permanentes e PQs. Embora em menor grau, os pesquisadores que não eram docentes permanentes, nem PQs, também incrementaram sua produção nesses dois tipos de veículos.

Os resultados dos questionários revelam que a maior parte dos pesquisadores, independentemente do estrato, considera que o alto valor dos indicadores bibliométricos da revista (83,6%) e o periódico estar indexado nas principais bases de dados multidisciplinares (84,0%), são fatores “Muito influentes” ou “Influentes” na escolha do periódico, indicando que a influência desses dois critérios na produção acadêmica dos pesquisadores das CdS no Brasil, transcende as fronteiras da avaliação Capes/CNPq.

No entanto, o estudo de Caballero Rivero, Santos e Trzesniak (2022) já tinha verificado que os padrões de publicação dos docentes permanentes e PQs estavam alinhados com esses dois critérios, enquanto os dos seus pares que não eram avaliados por Capes/CNPq não. Isso também foi verificado nos questionários, pois o alto valor dos indicadores bibliométricos e a indexação nas grandes bases de dados multidisciplinares foram considerados como “Muito influente” na escolha da revista pelo 68,5% e pelo 66,9% do estrato A, respectivamente, porém, pelo 46,9% e pelo 45,9 do B.

Esses elementos indicam que os pesquisadores do estrato A sentem uma maior pressão do que os do B pela quantidade de artigos que precisam publicar nas revistas indexadas na WoS e com FI JCR. Uma vez que os RES Capes/CNPq estabelecem uma relação entre a quantidade de artigos publicados nesses veículos e a pontuação que será atribuída aos PPGs e aos PQs, bem como como a quantidade de recursos a serem alocados, incentivam esses pesquisadores a priorizarem sua comunicação por essa via. Aqui manifesta-se o mecanismo vinculado à alocação de recursos apontado por Whitley (2007). Logo, na busca por incrementar a obtenção de recursos para a pesquisa, os pesquisadores adaptam seus padrões de publicação a essas demandas.

Embora as análises estatísticas mostrem que a escolha da revista por parte dos pesquisadores do estrato A é mais provável de ser influenciada por esses dois critérios, o grau de correlação das associações resultou positivo baixo, indicando a possibilidade de essa influência estar sendo afetada por algumas outras variáveis. Os questionários mostram que há um conjunto de fatores não relacionados diretamente com as avaliações que também influenciam a escolha das revistas, tais como a revista contar com um peer review de qualidade (influencia mais a decisão do estrato A do que a do B), a revista ser publicada na língua portuguesa ou em outras línguas (influencia mais a decisão do estrato B do que a do A). O grau de associação em ambos os casos também resultou positivo baixo, logo, é muito provável que também sejam associações influenciadas por outras variáveis.

O prestígio da revista na área é um outro fator não relacionado diretamente com os critérios de avaliação que foi apontado como “Muito influente” por 66,1% do estrato A e 51,0% do B. Vários pesquisadores expressaram que a publicação em revistas prestigiosas nas suas áreas, seria percebido como um incremento na reputação dos pesquisadores e apontaram características que definiam esse prestígio, por exemplo, contar com FI JCR ou estar enquadrada nos estratos superiores do Qualis Periódicos.

Aqui manifesta-se o mecanismo relativo ao incremento da reputação (Whitley, 2007). O prestígio da revista é definido a partir do valor dos seus indicadores bibliométricos de impacto e citação nas principais bases de dados multidisciplinares, principalmente, o FI JCR; quanto maior o valor desse indicador, maior é percebido o prestígio da revista. Logo, uma parcela importante dos pesquisadores dos dois estratos considera que publicar nesses periódicos vai se reverter em incrementos na sua reputação e, consequentemente, em maiores possibilidade de obter recursos para pesquisa.

Os elementos apontados nos parágrafos anteriores indicam que, no contexto das avaliações Capes/CNPq nas CdS, a maior parte dos pesquisadores do estrato A já tem incorporado as prioridades estabelecidas pelos RES no seu cotidiano de pesquisa e, portanto, priorizam as publicações nas revistas indexadas na WoS e com FI do JCR. No caso dos pesquisadores do estrato B, essas prioridades parecem ter sido incorporadas em menor grau.

Embora os resultados dos questionários indiquem que a maior valorização que os RES Capes/CNPq colocam nas publicações em revistas indexadas nas grandes bases de dados multidisciplinares e com FI JCR, influenciam mais as escolhas desses periódicos por parte dos pesquisadores do estrato A, também indicam que o crescimento da produção e a produtividade dos pesquisadores nesses veículos são influenciados por outros fatores não relacionados diretamente com os critérios de avaliação. Isso aponta para a inexistência de uma relação determinística de causa-efeito entre a quantidade demandada de artigos publicados em revistas indexadas na WoS e com FI JCR, ou a pontuação que se atribui a esse tipo de publicação nas avaliações, e a escolha desse tipo de veículo por parte dos docentes permanentes e PQs.

Os resultados confirmam os de Fry et al. (2009) no Reino Unido para as CdS, pois em ambos os casos uma parcela majoritária dos respondentes julga como “Muito influente” fatores, tais como, o prestígio da revista, contar com um alto valor dos indicadores bibliométricos de impacto ou citação e estar indexada nas principais bases de dados multidisciplinares.

Adicionalmente, o estudo de Buela-Casals e Zich (2012), baseado num questionário que foi respondido por 1.704 pesquisadores de 86 países e das principais áreas do saber, incluindo as CdS, mostrou que 88% dos participantes consideraram que o FI JCR é um indicador “Muito importante” ou “Importante” no contexto das avaliações do desempenho acadêmicos dos pesquisadores. Por sua vez, o estudo de Souza, Filipo e Sanz Casado (2018) mostrou que os critérios de avaliação utilizados pela Capes impulsionaram mudanças no perfil de publicação dos docentes das universidades federais de diversas áreas, particularmente, a publicação em revistas indexadas na WoS, incluso em áreas das Ciências Humanas e Sociais.

6 Considerações finais

Os resultados mostram que os artigos em periódicos são considerados o veículo mais importante pela maior parte dos pesquisadores dos dois estratos, indicando que essa constitui uma prática característica das CdS no Brasil. Os resultados também expõem que quase a totalidade dos pesquisadores acredita que os critérios utilizados pelos RES Capes/CNPq podem influenciar a escolha dos artigos como veículo de comunicação, particularmente, a pontuação que recebem e a quantidade demandada deles nas avaliações, embora esses fatores influenciem de forma mais intensa os docentes permanentes e PQs. Como exposto pelos pesquisadores nos questionários, esses fatores estão muito vinculados à necessidade de obter recursos para a pesquisa, manifestando-se o mecanismo de alocação de recursos apontado por Whitley (2007).

A escolha dos artigos em periódicos também é muito influenciada por outros fatores não diretamente relacionados com as avaliações, tais como, o grau de disseminação que alcançam para o público-alvo e sua importância para o incremento da reputação. O último elemento aponta para o mecanismo de adaptação dos pesquisadores aos critérios de avaliação utilizados pelos RES na busca pelo incremento de reputação indicado por Whitley (2007).

O fato de a escolha dos artigos em periódicos estar influenciada de forma importante por vários fatores, alguns dos quais não estão diretamente relacionados com os critérios de avaliação, aponta para a inexistência de uma relação determinística de causa-efeito entre a quantidade de artigos demandados ou a pontuação atribuída e os padrões de publicação dos pesquisadores avaliados.

Os resultados também mostram que a maior valorização que os RES Capes/CNPq colocam nas revistas indexadas nas grandes bases de dados multidisciplinares e com FI do JCR, influenciam mais as escolhas desses periódicos por parte dos docentes permanentes e PQs do que por parte dos que não são. Os argumentos expressados pelos primeiros nos questionários indicam que se manifesta o mecanismo da alocação de recursos de Whitley (2007). No entanto, fatores não diretamente relacionados com as avaliações, tais como a revista contar com um peer review de qualidade ou o prestígio da revista na área, também influenciam de forma importante a escolha. O prestígio da revista percebe-se como decorrente da sua indexação nas principais bases de dados e contar com FI do JCR; logo, publicar nesses veículos também é percebido como um incremento da reputação.

Considerando a variedade de fatores que estão envolvidos com a escolha da revista, os resultados apontam para a inexistência de uma relação determinística de causa-efeito entre a quantidade demandada de artigos em revistas indexadas na WoS e com FI JCR, ou a pontuação que se atribuía a esse tipo de publicação, e a escolha desse veículo por parte dos docentes permanentes e PQs.

Conjuntamente, os resultados do estudo de Caballero Rivero, Santos e Trzesniak (2022), e do presente estudo, indicam que os RES Capes/CNPq estão cumprindo as expectativas das duas agências, pois se manifesta uma convergência cada vez maior entre os veículos mais incentivados por esses sistemas e os padrões de publicação dos docentes permanentes e PQs.

Por outro lado, esses critérios estão cumprindo, parcialmente, com as expectativas dos pesquisadores. Embora os artigos em periódicos tenham sido considerados como um veículo de comunicação muito importante por quase a totalidade dos pesquisadores, os livros e capítulos também foram apontados como um veículo muito importante ou importante por uma parcela majoritária e, ainda, quase a metade dos pesquisadores julgou que não estavam sendo adequadamente considerado nas avaliações. Vários pesquisadores expressaram preocupações relativas aos efeitos que os critérios de avaliação dos RES Capes/CNPq têm na escolha dos veículos de comunicação, evidenciando o conflito entre o tipo de publicação que é incentivado pelos RES e as práticas de comunicação científica que funcionam em determinadas áreas das CdS.

O estudo apresenta algumas limitações. O questionário foi respondido por um total de 225 pesquisadores, não alcançando-se o tamanho esperado da amostra (n=368). Consequentemente, não foi possível trabalhar com o número suficiente de casos que permitisse alcançar uma maior segurança estatística em relação à representatividade dos dados dos questionários. Isso pode ter influenciado os cálculos estatísticos que verificam a existência de associações estatísticas significantes entre as variáveis analisadas, bem como o grau de intensidade dessas relações. Outras pesquisas poderiam complementar esses resultados, identificando fatores adicionais que poderiam estar influenciando as escolhas dos veículos de comunicação por parte dos pesquisadores, bem como avaliar qual seu grau de influência.

Referências

• AAGAARD, K. How incentives trickle down: local use of a national bibliometric indicator system. Science and Public Policy, Oxford, v. 42, n. 5, p. 725-737, 2015. Disponível em: https://doi.org/10.1093/scipol/scu087 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1093/scipol/scu087
• AAGAARD, K.; SCHNEIDER, J. W. Some considerations about causes and effects in studies of performance-based research funding systems. Journal of Informetrics, Netherlands, v. 11, n. 3, p. 923-926, 2017. Disponível em: https://doi.org/10.1016/j.joi.2017.05.018 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1016/j.joi.2017.05.018
• BAL, R. Playing the Indicator Game: reflections on strategies to position an sts group in a multi-disciplinary environment. Engaging Science, Technology, and Society, Evansville, v. 3, p. 41-52, 2017. Disponível em: https://doi.org/10.17351/ests2017.111 Acesso em: 25 jun. 2021.
  » https://doi.org/10.17351/ests2017.111
• BOURDIEU, P. Science of science and reflexivity. Chicago: Chicago University Press, 2004.
• BUELA-CASAL, G.; ZYCH, I. What do the scientists think about the impact factor? Scientometrics, New York, v. 92, n. 2, p. 281-292, 2012. Disponível em: https://doi.org/10.1007/s11192-012-0676-y Acesso em: 25 jun. 2021.
  » https://doi.org/10.1007/s11192-012-0676-y
• CABALLERO RIVERO, A.; SANTOS, R. N. M.; TRZESNIAK, P. Associação entre os sistemas de avaliação da pesquisa e os padrões de publicação nas Ciências da Saúde no Brasil. Informação & Informação, Londrina, v. 27, n. 3, p. 288-316, 2022. Disponível em: https://doi.org/10.5433/1981-8920.2022v27n3p288 Acesso em: 25 jun. 2021.
  » https://doi.org/10.5433/1981-8920.2022v27n3p288
• CARVALHO, K.; ODDONE, N. E.; CAFÉ, A. L. P.; MENEZES, V. Aspectos gerenciais da política científica brasileira: um olhar sobre a produção científica do campo da sociologia face aos critérios de avaliação do CNPq e da CAPES. Em Questão, Porto Alegre, v.19, n. 1, p. 187-212, 2013. Disponível em: https://www.redalyc.org/articulo.oa?id=465645972011 Acesso em: 25 jun. 2021.
  » https://www.redalyc.org/articulo.oa?id=465645972011
• FRY, J.; OPPENHEIM, C.; CREASER, C.; JOHNSON, W.; SUMMERS, M.; WHITE, S.; BUTTERS, G.; CRAVEN, J.; GRIFFITHS, J.; HARTLEY, D. Communicating knowledge: how and why researchers publish and disseminate their findings. The Research Information Network, London, Sept. 2009. Disponível em: http://www.rin.ac.uk/system/files/attachments/Communicating-knowledge-report.pdf Acesso em: 29 jun. 2021.
  » http://www.rin.ac.uk/system/files/attachments/Communicating-knowledge-report.pdf
• HICKS, D. Performance-based university research funding systems. Research Policy, Netherlands, v. 41, n. 2, p. 251-261, 2012. Disponível em: https://doi.org/10.1016/j.respol.2011.09.007 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1016/j.respol.2011.09.007
• GÉNOVA, G.; ASTUDILLO, H.; FRAGA, A. The scientometric bubble considered Harmful. Zaher, s.l,v. 22, n. 1, p. 227-235, 2016. Disponível em: https://doi.org/10.1007/s11948-015-9632-6 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1007/s11948-015-9632-6
• GIBBONS, M.; LIMOGES, C.; SCHWARTZMAN, S.; SCOTT, P.; TROW, M. The new production of knowledge: the dynamics of science and research in contemporary societies. London: Sage, 1994.
• GLÄSER, J. A fight on epistemological quicksand: comment on the dispute between Van den Besseelaar et al and Butler. Journal of Informetrics , Netherlands, v. 11, n. 3, p. 927-932, 2017. Disponível em: https://doi.org/10.1016/j.joi.2017.05.019 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1016/j.joi.2017.05.019
• GLÄSER, J.; LAUDEL, G. Evaluation without evaluators: the impact of funding formulae on Australian University Research. In: WHITLEY, R.; GLÄSSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems. Dordrecht: Springer, 2007. p. 127-152.
• GLÄSER, J.; LAUDEL, G. Governing Science. European Journal of Sociology, Cambridge, v. 57, n. 1, p. 117-168, 2016. Disponível em: https://doi.org/10.1017/S0003975616000047 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1017/S0003975616000047
• GLÄSER, J.; LANGE, S.; LAUDEL, G.; SCHIMANK, U. The limits of universality: how field-specific epistemic conditions affect authority relations and their consequences. In: WHITLEY, R.; GLÄSER, J.; ENGWALL, L. (ed.), Reconfiguring knowledge production: changing authority relationships in the sciences and their consequences for intellectual innovation. Oxford: Oxford University Press, 2010. p. 291-325.
• HAMMARFELT, B. Recognition and reward in the academy: Valuing publication oeuvres in biomedicine, economics and history. Aslib Journal of Information Management, Leeds, v. 69, n. 5, p. 607-623, 2017. Disponível em: https://doi.org/10.1108/AJIM-01-2017-0006 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1108/AJIM-01-2017-0006
• HAMMARFELT, B.; RICKJE, S. Accountability in context: effects of research evaluation systems on publication practices, disciplinary norms, and individual working routines in the faculty of Arts at Uppsala University. Research Evaluation, Oxford, v. 24, n. 1, p. 63-77, 2015. Disponível em: https://doi.org/10.1093/reseval/rvu029 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1093/reseval/rvu029
• JIMÉNEZ-CONTRERAS, E.; MOYA-ANEGÓN, F.; LÓPEZ-CÓZAR, E. D. The evolution of research activity in Spain: the impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy, Netherlands, v. 32, n. 1, p. 123-142, 2003. Disponível em: https://doi.org/10.1016/S0048-7333(02)00008-2 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1016/S0048-7333(02)00008-2
• JOHNSON, R.; ATKINSON, A.; MABE, M. The STM report: an overview of scientific and scholarly publishing. Netherlands: International Association of Scientific, Technical and Medical Publishers, 2018. Disponível em: https://www.stm-assoc.org/2018_10_04_STM_Report_2018.pdf Acesso em: 18 mai. 2021.
  » https://www.stm-assoc.org/2018_10_04_STM_Report_2018.pdf
• KELLOGG, D. Toward a post-academic science policy: scientific communication and the collapse of the mertonian norms. International Journal of Communications Law & Policy, London, special issue, Fall 2006. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=900042 Acesso em: 9 jul. 2019.
  » https://papers.ssrn.com/sol3/papers.cfm?abstract_id=900042
• KNELLER, R. Prospective and retrospective evaluation systems in context: insights from Japan. In: WHITLEY, R.; GLÄSSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems Dordrecht: Springer , 2007. p. 51-74.
• KORYTKOWSKI, P., KULCZYCKI, E. Examining how country-level science policy shapes publication patterns: the case of Poland. Scientometrics , New York, v. 119, n. 3, p. 1519-1543, 2019. Disponível em: https://doi.org/10.1007/s11192-019-03092-1 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1007/s11192-019-03092-1
• MARQUES, M.; POWELL, J. J. W.; ZAPP, M.; BIESTA, G. How does research evaluation impact educational research? Exploring intended and unintended consequences of research assessment in the United Kingdom, 1986-2014. European Educational Research Journal, New Jerey, v. 16, n. 6, p. 820-842, 2017. Disponível em: https://doi.org/10.1177/1474904117730159 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1177/1474904117730159
• MENEZES, V., ODDONE, N. E., CAFÉ, A. L. P. Aspectos reputacionais dos sistemas de avaliação da produção científica no campo da ciência da informação. Tendências da Pesquisa Brasileira em Ciência da Informação, Rio de Janeiro, v. 5, n. 1, 2012.
• O’MEARA, K. A. Inside the panopticom: studying academic reward systems. In: SMART, J.; PAULSEN, M. (ed.). Higher Education: Handbook of Theory and Research. Dordrecht: Springer , 2011. p. 161-220.
• OSSENBLOK, T. L.; ENGELS, T. C.; SIVERTSEN, G. The representation of the social sciences and humanities in the Web of Science: a comparison of publication patterns and incentive structures in Flanders and Norway (2005-9), Research Evaluation , Oxford, v. 21, n. 4, p. 280-290, 2012. Disponível em: https://doi.org/10.1093/reseval/rvs019 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1093/reseval/rvs019
• RICKJE, S.; WOUTERS, P. F.; RUSHFORTH, A. D.; FRANSSEN, T. P.; HAMMARFELT, B. Evaluation practices and effects of indicator use a literature review. Research Evaluation , Oxford, v. 25, n. 2, p. 161-169, 2016. Disponível em: https://doi.org/10.1093/reseval/rvv038 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1093/reseval/rvv038
• SCHNEIDER, J. W.; AAGAARD, K.; BLOCH, C. W. What happens when national research funding is linked to differentiated publication counts? A comparison of the Australian and Norwegian publication-based funding models. Research Evaluation , Oxford, v. 25, n. 3, p. 244-256, 2016. Disponível em: https://doi.org/10.1093/reseval/rvv036 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1093/reseval/rvv036
• SILE, L.; VANDERSTRAETEN, R. Measuring changes in publication patterns in a context of performance-based research funding systems: the case of educational research in the University of Gothenburg (2005-2014). Scientometrics , New York, v. 118, p. 71-91, 2019. Disponível em: https://doi.org/10.1007/s11192-018-2963-8 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1007/s11192-018-2963-8
• SOUZA, C. D.; FILIPO, D.; SANZ CASADO, E. Crescimento da atividade científica nas universidades federais brasileiras: análise por áreas temáticas. Avaliação, Campinas, v. 23, n. 1, p. 126-156, 2018. Disponível em: http://dx.doi.org/10.1590/s1414-40772018000100008 Acesso em: 25 jun. 2021.
  » http://dx.doi.org/10.1590/s1414-40772018000100008
• STATISTICAL PACKAGE FOR THE SOCIAL SCIENCES (SPSS). Software IBM SPSS. Disponível em: https://www.ibm.com/br-pt/spss Acesso em: 30 jun. 2021.
  » https://www.ibm.com/br-pt/spss
• VAN SELM, M.; JANKOWSKI, N. W. Conducting online surveys. Quality & Quantity, New York, v. 40, n. 3, p. 435-456, 2006. Disponível em: https://doi.org/10.1007/s11135-005-8081-8 Acesso em: 25 jun. 2021.
  » https://doi.org/10.1007/s11135-005-8081-8
• WHITLEY, R. The intellectual and social organization of the sciences. 2 nd ed. Oxford: Oxford University Press , 2000.
• WHITLEY, R. Changing governance of the public sciences: the consequences of establishing research evaluation systems for knowledge production in different countries and scientific fields. In: WHITLEY, R.; GLÄSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems . Dordrecht: Springer , 2007. p. 3-30.
• WHITLEY, R.; GLÄSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems . Dordrecht: Springer , 2007.

Datas de Publicação

• Publicação nesta coleção
  30 Ago 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  04 Fev 2024
• Aceito
  03 Maio 2024