Desafios para a avaliação e a sustentabilidade da editoria científica em Educação^*

Challenges in the evaluation and sustainability of scientific publishing in Education

Desafíos para la evaluación y sostenibilidad de la publicación científica en Educación

Resumo

As revistas científicas funcionam como importante veículo de difusão de conhecimento e de certificação de autoria no debate intelectual promovido entre as diversas áreas de conhecimento. Além disso, elas têm um papel fundamental no Sistema Nacional de Avaliação dos Programas de Pós-graduação: quando um periódico publica um artigo, o autor recebe uma pontuação de acordo com a classificação do veículo que o publicou, ou seja, de acordo com o Qualis Periódicos, produzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Entender as modificações do Qualis nos últimos quadriênios de avaliação é primordial para um periódico que quer estar bem qualificado, mas há que se analisar também os desafios que estão para além deste indicador, entendendo como o setor editorial acadêmico pode atingir sustentabilidade diante da complexificação das estratégias da gestão; da crise de financiamento – público e privado –; e das ferramentas ligadas à Inteligência Artificial que ameaçam o universo de trabalho das equipes que produzem uma revista científica.

Avaliação; Sustentabilidade; Gestão Editorial; Inteligência Artificial; Qualis

Abstract

Scientific journals function as important vehicles for the dissemination of knowledge and the certification of authorship in the intellectual debate promoted among the various areas of knowledge. In addition, they play a fundamental role in the National System of Evaluation of Graduate Programs: when a journal publishes an article, the author receives a score according to the classification of the vehicle that published it, that is, according to Qualis Periódicos, produced by Capes. Understanding the changes in Qualis in the last four years of evaluation is essential for a journal that wants to be well qualified, but it is also necessary to analyze the challenges that go beyond this indicator, understanding how the academic publishing sector can achieve sustainability in the face of the complexification of management strategies; the funding crisis—public and private—and the tools linked to Artificial Intelligence that threaten the universe of work of the teams that produce a scientific journal.

Evaluation Process; Sustainability; Editorial Management; Artificial Intelligence; Qualis

Resumen

Las revistas científicas funcionan como un importante vehículo para la difusión del conocimiento y de la certificación de la autoría en el debate intelectual promovido entre las diversas áreas del conocimiento. Además, juegan un papel fundamental en el Sistema Nacional de Evaluación de Programas de Posgrado: cuando una revista publica un artículo, el autor recibe un puntaje de acuerdo con la clasificación del vehículo que lo publicó, es decir, de acuerdo con Qualis Periódicos, producido por la Capes. Entender los cambios en Qualis en los últimos años de evaluación es fundamental para una revista que quiere estar bien calificada, pero también es necesario analizar los desafíos que van más allá de este indicador, entendiendo cómo el sector editorial académico puede alcanzar la sostenibilidad frente a la complejización de las estrategias de gestión; la crisis de financiamiento - pública y privada - y las herramientas vinculadas a la Inteligencia Artificial que amenazan el universo de trabajo de los equipos que producen una revista científica.

Evaluación; Sostenibilidad; Gestión Editorial; Inteligencia Artificial; Qualis

1 Introdução

O papel das revistas científicas brasileiras vem crescendo neste quarto de século, não só por seu valor intrínseco como instrumento de divulgação de ideias e resultados de pesquisas na comunidade intelectual, mas como medidor para o sistema de valoração da produção acadêmica de pesquisadores¹, particularmente daqueles que se dedicam à pós-graduação ou que pretendem consolidar sua carreira de investigador dentro das universidades. As revistas da área de Educação cresceram em número e, visivelmente, em qualidade, incentivadas pelo sistema Qualis que, ao adotar sua métrica, estabeleceu padrões de competitividade para os periódicos que buscavam atingir os estratos superiores da classificação.

No entanto, como todo sistema de medida, o Qualis acirrou disputas entre equipes editoriais; foi utilizado indevidamente para valorar a vida acadêmica – de pesquisadores e de centros de pesquisa –; produziu distorções quando aplicado por avaliadores nas agências financiadoras; e cometeu injustiças no processo geral de classificação das revistas, raramente sanadas no devido tempo. A segurança de ter uma métrica nacional sempre foi ameaçada pelas incertezas da produção de um indicador avaliativo apresentado a posteriori².

É preciso destacar que, ao longo do tempo, transformações importantes foram incorporadas ao cotidiano material da edição científica – estimuladas por externalidades que vão para além do Qualis –, provocando desafios em diferentes fatores: do ponto de vista econômico, houve uma busca contínua por desenhar um caminho para a sustentabilidade do setor; do ponto de vista organizacional, a melhoria dos processos de produção exigiu eficácia nas estratégias de gestão; e do ponto de vista tecnológico, uma permanente revolução das ferramentas digitais reorganizou e ressignificou o trabalho editorial, impactando nas modalidades consideradas anteriormente.

As mudanças demonstram a força de tendências estruturais no processo de avaliação das revistas científicas e, ao mesmo tempo, expõem contradições e incertezas para a sobrevivência dos medidores utilizados nesse processo: qual papel terá o Qualis dentro do Sistema de Avaliação da Pós-Graduação brasileira, ou seja, qual impacto as revistas qualificadas pelo indicador transferirão para seus autores? Para além do Qualis, que modelo de sustentabilidade está colocado para a editoria brasileira?

Ao tema esboçado até aqui dedica-se este ensaio, lembrando que o foco da análise é a área de Educação.

2 Um breve olhar sobre o passado

A primeira consideração a ser feita quando se trata da editoria científica é que o setor atende às regras de um mercado internacionalizado, ou seja, estruturalmente é um sistema dominado por dois grupos de publishers: a Clarivate Analytics³ – sucessora da Thomson Reuters – e a Elsevier⁴, cujos portais de indicadores bibliométricos são, respectivamente, a Web of Science e a Scopus (Beatty, 2016). Traços desse domínio podem ser encontrados nos editais brasileiros de agências financiadoras – como, por exemplo, o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) – e da maioria das universidades, que exigem indexação de impacto nos fatores produzidos por estas duas empresas para revistas que desejem participar de seus editais de financiamento. O argumento é que o fator de impacto (FI) produzido oferece maior confiabilidade para classificar os melhores periódicos⁵.

Embora a ciência trabalhe, essencialmente, prospectando o futuro – o desconhecido, portanto –, os programas de pesquisa necessitam ser comparados em ambientes historicizados e competitivos, já que há uma disputa por recursos – humanos, tecnológicos e financeiros. Assim, o desejo de medir a produtividade de intelectuais, de grupos de pesquisa ou de instituições, através de um FI, e a necessidade de construir indicadores ou indexadores globais atendem a um modelo de produção científica.

Os Estados Unidos, em meados do século passado, consolidaram o padrão de remuneração do trabalho acadêmico centrado na pós-graduação. Verbas irrigam os programas de pesquisa através de departamentos universitários, financiando pesquisadores e laboratórios de investigação. Criar ambiente competitivo e unidades de medida passa a ser o desafio gerencial de quem avalia onde investir, ou seja, desenvolver métricas que determinem a influência de um cientista dentro de sua área de conhecimento e gerem um sistema classificatório que possa comparar projetos entre as diferentes áreas passa a ser um dos objetivos das agências de avaliação, atendendo às demandas dos sistemas nacionais de ciência e tecnologia.

Talvez seja possível, hoje, avaliar a natureza, a consistência e a estabilidade sistêmica das ferramentas avaliativas internacionalizadas sobre o prestígio da produção científica através da máxima Publish or perish (2010).

Como exercício, seria factível pensar que todo o conhecimento consolidado pudesse ser reunido em um único banco de dados. Os dados seriam qualificados pelo sistema que os introduz, ou seja, dependendo de que instituto fornece os dados, eles teriam maior ou menor valor. Dito de outra forma, alguns qualificadores de dados que entram no sistema teriam maior confiabilidade. Pensando na situação concreta, os sistemas confiáveis também geram, comercialmente, uma forma de cobrar por seus serviços, seja precificando as atividades que propiciam as condições de publicação; seja exigindo pagamento pelo acesso ao banco de dados composto por seus produtos qualificados.

No Big Data desenhado, extrair informação válida ou certificada que oriente o pensamento científico e as agências financiadoras depende de mineradoras internacionais que alimentam o ranqueamento de revistas científicas e, consequentemente, de autores. Como demonstram Carvalho e Real (2021), todo esse processo provoca um sentimento ambíguo sobre as métricas, já que impulsionam a busca contínua por melhoria nos veículos de divulgação científica e, ao mesmo tempo, sedimentam a expressão de uma perniciosa prática produtivista e competitiva.

No contexto até aqui identificado é que se pode compreender o Qualis periódicos, que, ao classificar e valorar os veículos de divulgação científica, nacionais e internacionais, utilizados por pesquisadores brasileiros, qualifica diretamente a produção intelectual daqueles que participam dos programas de pós-graduação. Os periódicos bem classificados na escala Qualis, portanto, transferem valor ao autor publicado, indicando, juntamente com outros fatores, a melhoria da nota do programa, o que permite maior fluxo de recursos financeiros e mais autonomia de gestão sobre os valores recebidos.

Assim, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) elabora uma métrica nacional para enfrentar um quesito específico dentro do Sistema de Avaliação da Pós-Graduação – independente de diferenças regionais ou históricas; independente das particularidades de cada área de conhecimento –, de modo que seja possível quantificar e comparar a ciência que se produz no país.

Se este processo, porém, ajuda a equalizar parâmetros para a avaliação realizada pela agência, dificulta a gestão editorial dos periódicos, que passam a reagir às especificidades dos processos avaliativos, desviando-se de seus objetivos científicos. É importante notar que os critérios de avaliação da Capes para o período 2010 a 2012 eram mais quantitativos; foram ganhando maior peso qualitativo no período 2013 a 2016; e tiveram uma mudança significativa no período 2017 a 2020.

Até para entender as transformações ocorridas, é preciso lembrar que o Qualis, estruturalmente, em 2010, apresentava estratos divididos entre: A1; A2; B1; B2; B3; B4; B5 e C, sendo A1 a melhor classificação, B5 a pior e C destinada àqueles veículos de divulgação que não fossem considerados acadêmicos. Cada periódico podia ser classificado em diversas áreas de conhecimento e, em cada uma delas, poderia atingir estrato diferente: uma revista A1 na área de Educação poderia ter uma classificação menor em outra área de conhecimento. Além disso, o sistema continha travas estatísticas que mantinham uma proporcionalidade entre os estratos. Do número de revistas científicas: A1 mais A2 poderiam representar 25% do total da amostra, sendo que o número de A1 deveria ser menor que de A2; 25% poderiam ser B1, e as restantes (50% ou mais) deveriam disputar os estratos B2, B3, B4 e B5.

Na área da Educação, havia uma resistência à utilização de um indicador de impacto⁶ que viesse nortear a classificação dos periódicos científicos. No entanto, já era possível perceber uma determinação para que as revistas se internacionalizassem, quer através de seu corpo editorial, quer indicando avaliadores de outros países para seus artigos, quer associando-se a centros de pesquisa de referência mundial, quer publicando autores estrangeiros, ou disponibilizando artigos em diferentes línguas, particularmente em inglês.

Outra exigência dizia respeito às bases e aos indexadores. Ela primeiro foi apresentada com um viés mais quantitativo, ou seja, em quantas bases e indexadores o periódico aparece, mas gradativamente a pergunta foi se tornando em quais bases e indexadores ele está. Como exemplo, em 2013, o número de indexadores era importante; em 2017, já se exigiu Web of Science; Scopus; SciELO BR; Educ@; Social Sciences Citation Index; Redalyc; DOAJ; IRESIE; BBE; Latindex e Clase para os estratos superiores do Qualis; movimento que vai se afunilando em direção aos primeiros indexadores da lista apresentada.

Novos elementos também vão se agregando às boas práticas editoriais de veículos acadêmicos: cadastro DOI (Digital Object Identifier); tendência à modalidade de publicação contínua, oferecendo maior tempo de exposição para que o artigo receba citações; baixas taxas de endogenia; publicação em mais de um idioma; vinculação aos procedimentos de um código de ética; e inicia-se a utilização da linguagem de marcação XML (Extensible Markup Language), permitindo a interoperabilidade dos dados produzidos com as máquinas.

Na busca por atender as exigências do Qualis, as equipes editoriais foram incrementando positivamente seus periódicos e melhorando a qualidade da gestão (Cruz; Bizelli; Vargas, 2020). Por outro lado, houve impacto significativo nos custos de produção, em um período de declínio sensível de investimentos públicos direcionados ao mercado editorial científico e de diminuição de investimentos gerais nas universidades públicas, que se viram obrigadas a diminuir a aplicação de recursos em seus meios de divulgação científica (Ponce et al., 2017).

3 Mudança de rumos: o Qualis 2022

A primeira consideração a ser feita quando olhamos o último período avaliativo (2017 a 2020) é que as mudanças foram gerais, tanto no sistema de avaliação utilizado para classificar os programas brasileiros de pós-graduação, como no Qualis. O modelo avaliativo se tornou mais qualitativo, permitindo uma maior relação entre planejamento prescritivo e autoavaliação. Com relação à produção intelectual – medida pelas publicações de artigos em revistas qualificadas, foco desta análise –, houve uma diminuição relativa de seu peso no cômputo geral da nota atribuída aos programas.

As modificações que atingiram a produção do Qualis foram sentidas, inicialmente, em 2019, na avaliação chamada de meio termo, normalmente uma análise sobre os resultados obtidos pelos programas de pós-graduação no meio do quadriênio, permitindo ajuste de rota nos anos finais da avaliação. Assim, como parte da nota provisória tem como referência a produção docente que depende do Qualis, também acontece uma classificação provisória das revistas. Em 2019, a avaliação dos periódicos foi elaborada com a participação de 141 consultores, oriundos dos programas de pós-graduação da Área de Educação, cujo relatório foi submetido a uma comissão que se encarregou de dirimir as discrepâncias e produzir a distribuição final nos estratos do Qualis (CAPES, 2019). Foi o primeiro momento de contato com as transformações que estavam em curso: o conceito de Área-mãe; o Qualis único; a reestruturação de seus estratos; e a utilização de um indicador de impacto que não fosse o FI.

O conceito de Área-mãe⁷ permitiu que cada revista fosse avaliada pela área de conhecimento na qual ela obtivesse o maior número de citações nos relatórios encaminhados para a avaliação dos programas de pós-graduação. A partir da avaliação da revista na Área-mãe, o Qualis obtido seria aceito pelas demais áreas, o que passou a ser chamado de Qualis único.

A classificação dos resultados passou a contar com oito estratos – A1, A2, A3, A4, B1, B2, B3 e B4 –, permanecendo a indicação de periódicos de baixo indicador de citação no estrato C, e dos não periódicos (NP). As travas estatísticas tiveram que ser reescritas, ou seja, A1 mais A2 poderiam representar 25% do total da amostra, sendo que o número de A1 deveria ser menor que de A2; 25% poderiam ser A2 e A3, sendo que o número de A3 deveria ser menor que de A4; e os outros 50% deveriam estar nos estratos B1, B2, B3 e B4; resumindo, a cada um dos 8 estratos caberia idealmente 12,5% da amostra de periódicos científicos citados (octil).

Além dos critérios de indexação⁸ e de boas práticas editoriais⁹ – que permaneceram dos períodos avaliativos anteriores – utilizou-se, pela primeira vez, o h5 do google scholar¹⁰ para corrigir a classificação final (Sene; Bizelli, 2022).

O resultado dessa avaliação foi divulgado com os dados agregados, ou seja, oficialmente, não se pode saber o estrato a que pertencia cada revista. No entanto, alguns números desenharam o processo de 2019: a amostra total contou com 825 periódicos citados nos relatórios da base Sucupira, referentes à Área da Educação, entre os anos 2017 e 2018, dos quais 39 (4,7% do total) foram considerados NP e 257 (31,2% do total) classificados como C. Entre os estratos A1 e B4 foram avaliadas 529 (64,1%) revistas científicas. Os dados apresentados estão no Gráfico 1.

Gráfico 1
Percentuais de distribuição total dos periódicos por estrato e por definição de língua, incluindo C e NP

O relatório final do quadriênio 2017 a 2020 pautou-se pelas regulamentações esboçadas acima. Foram classificados 1115 periódicos, divididos em três categorias: 665 publicados em português (58,7%); 192 publicados em inglês (17,2%); e 268 publicados em outras línguas (24,1%). O h5 do Google Scholar foi aplicado a cada elemento da amostra através do software Harzing’s Publish or Perish, no intervalo temporal de 2015 a 2019. A classificação dos resultados obteve uma lista decrescente, que foi submetida às travas estatísticas, ou seja, os 12,5% – primeiro octil – das revistas com os maiores h5 estariam no estrato A1, e assim sucessivamente.

Embora os estratos sejam os mesmos, o relatório final do quadriênio (Capes, 2021) aponta a dificuldade de trabalhar coerentemente para classificar os periódicos predatórios ou as revistas que tiveram períodos de interrupção em suas séries históricas de publicação. Na verdade, este grupo dentro da amostra acabou sendo direcionado aos estratos C – que não pontuam na avaliação – e NP – que inclui todas as formas de publicações que não puderam ser consideradas científicas. A Tabela 1 resume a distribuição final do Qualis 2017 a 2020.

Tabela 1
Distribuição final do Qualis Periódicos – Área-mãe Educação

Periódicos	Língua Portuguesa		Língua Inglesa		Outros Idiomas		Total
	n	%	n	%	n	%	n	%
A1	26	2,3	21	1,9	13	1,2	60	5,4
A2	41	3,7	8	0,7	31	2,8	80	7,2
A3	47	4,2	7	0,6	23	2,1	77	6,9
A4	66	5,9	17	1,5	29	2,6	112	10,0
B1	117	10,5	22	2,0	36	3,2	175	15,7
B2	68	6,1	22	2,0	29	2,6	119	10,7
B3	17	1,5	22	2,0	20	1,8	59	5,3
B4	17	1,5	36	3,2	36	3,2	89	8,0
C	103	9,2	15	1,3	22	2,0	140	12,6
NP	153	13,7	22	2,0	29	2,6	204	18,3
Total	655	58,7	192	17,2	268	24,0	1.115	100,0

Capes (2021)

A leitura crítica dos resultados abre discussões que podem ser aprofundadas, mas o ponto mais sensível da avaliação foi a escolha do Qualis Referência a ser utilizado por cada área de avaliação. Dois modelos foram esboçados: o Qualis Referência 1 (QR 1) utilizou como indicador o CiteScore da Scopus e o JCR da Web of Science; o Qualis Referência 2 (QR2) utilizou o Google Scholar (Capes, 2020a).

A existência das duas referências criou uma tensão entre as áreas de conhecimento, baseada, fundamentalmente, na dúvida sobre a possibilidade de comparabilidade e confiabilidade entre os índices. Os defensores do QR 1 alegam que as citações do Google Scholar têm impacto menor, podendo ser manipuladas, seja com relação aos dados ou quanto aos indicadores bibliométricos. Pesquisas sobre manipulação do Google Scholar já vêm sendo efetuadas há muito tempo (López-Cózar; Robinson-García; Torres-Salinas, 2012).

Harzing e Van der Wal (2008) defendem o Google Scholar como superior ao FI por ser mais democrático, já que pode ser utilizado de forma gratuita, ou seja, sem que a instituição do pesquisador tenha que se sujeitar aos custos das empresas que dominam o mundo bibliométrico. Harzing (2016) sugere que alguns problemas da base oferecida pelo Google podem ser sanados através da utilização do Harzing’s Publish or Perish.

Como foi dito, a área da Educação utilizou-se do QR 2, corrigido pelo software Harzing’s Publish or Perish, no interstício 2015 a 2019, e aplicado a partir de uma subdivisão, permitida pela Capes, que separou o idioma e/ou a região de origem do periódico (Capes, 2020b). O indicador definido foi o h5, descartando-se o h10 ou o h vida.

Há dois aspectos importantes sobre a opção feita. O primeiro diz respeito à fixação do período no software utilizado. Harzing (2016) explica que os dados apresentados, no que se refere ao período fixado para busca, identificam-se com o ano de publicação e não de citação; na verdade, as citações são consideradas até o dia da busca realizada. O segundo aspecto diz respeito à opção pelo h5, já que a escolha deu mais oportunidade para que os novos periódicos aparecessem. No entanto, a história mais longa de uma revista científica atesta o esforço e qualificação de seus editores e equipe para superarem as adversidades do setor. Outra opção poderia ser criar uma fórmula que considerasse uma proporcionalidade entre os diferentes índices h.

A discussão dos indicadores de qualidade ou de reputação que incidem sobre a classificação de revistas científicas – impactando em seu prestígio, na visibilidade de seus autores e de seus artigos – não é uma pauta simples, já que interfere na dinâmica operacional da equipe gerencial e impacta no fluxo de artigos e de recursos financeiros.

4 Para além do Qualis

Os procedimentos e resultados de qualquer processo avaliativo dependem de fixação, quantificação e aplicação de critérios. A avaliação do Sistema de Pós-Graduação brasileiro, referente ao quadriênio 2017 a 2020, foi judicializada justamente pelas dúvidas que diziam respeito à novidade dos parâmetros adotados. Há que se aprofundar a discussão sobre as vantagens da utilização de critérios pré-estabelecidos de forma absoluta; ou da adoção de um modelo referenciado pela comparação diante de critérios pré-estabelecidos (Popham; Husek, 1969).

No entanto, os desafios que permanecem para os editores de periódicos científicos, no Brasil, estão ligados às melhorias na gestão de processos, na consolidação de um modelo de financiamento sustentável e na capacidade de absorver eticamente o progresso tecnológico em curso. O negócio internacional da editoração científica é bilionário: Butler et al. (2023), trabalhando com dados do período 2015 a 2018, demonstram que cinco grandes editoras – Elsevier, Sage, Springer Nature, Taylor & Francis e Wiley – movimentam mais de um bilhão de dólares provenientes dos article processing charges (APC).

A discussão sobre os modelos de sustentabilidade que orientam a publicação científica brasileira ainda é acanhada. Duas imagens resistem à profissionalização do setor: a primeira é a de um pesquisador de prestígio que, com seu grupo de pesquisa – pesquisadores, orientandos e estagiários – e patrocínio público ou privado, comanda um conjunto de colaboradores para publicar sua revista científica de qualidade; a segunda imagem é a de uma comunidade científica que fornece em abundância recursos humanos capacitados e disponíveis a abastecer um sólido banco de pares para exarar seus pareceres – gentilmente e gratuitamente –, atendendo às demandas dos periódicos. A realidade que se impõe é muito diferente.

As atividades editoriais cresceram e se complexificaram, exigindo orçamentos cada vez mais robustos para o pagamento de profissionais que encontrem o lugar qualificado de um determinado periódico e permitam sua interoperabilidade no mundo dos dados. Talvez a melhor forma de entender os novos papéis desempenhados pelos atores que constroem o processo editorial seja olhar para a Figura 1.

Figura 1
Fluxograma do processo editorial

Para cumprir a multiplicidade de tarefas proposta à equipe editorial, cada vez mais proliferam empresas de prestação de serviços editoriais e, na mesma intensidade, cresce o assédio escandaloso de revistas predatórias – na caça por autores desavisados – ou de empresas internacionais interessadas em adquirir revistas brasileiras qualificadas.

Progressivamente, em busca de um modelo de sustentabilidade, periódicos científicos transferem custos de produção para autores através da cobrança de taxas ou serviços: taxas de publicação; serviços de revisão ortográfica e semântica da escrita em português, ou mesmo traduções para outras línguas¹¹; normalização; ou exigem contrapartidas como APC; cobrança de assinatura; ou compromisso de tornar-se avaliador ou colaborador do periódico. Aquelas que não cobram por seus serviços ancoram o seu modelo de sustentabilidade ao financiamento institucional – público ou privado –, ou seja, têm como fonte de recursos patrocínios provenientes de universidades – públicas ou privadas –; de associações científicas ou profissionais; de fundações; de grupos de pesquisa financiados; de agências de fomento.

É importante salientar o impacto direto na vida das revistas provocado pelo avanço tecnológico, que ao oferecer aparatos digitais cada vez mais precisos e sofisticados, por um lado, reorganizam o processo produtivo, poupando custos operacionais, substituindo trabalho humano qualificado; e, por outro lado, revolucionam o processo de pesquisa, elaboração e sistematização de dados, interferem no exercício de fundamentar e formular o texto científico e exigem atenção para os aspectos éticos que dizem respeito à autoria e à originalidade do conhecimento produzido.

A inteligência artificial – através de ferramentas como o chatbot da OpenAI, ChatGPT (Generative Pre-Trained Transformer) – tem capacidade de minerar fontes de saberes publicizados globalmente e de ser treinada para a absorção de padrões que devem ser regulados pela responsabilidade dos atores comprometidos com a qualidade da editoria de uma determinada comunidade científica. Identificar ou revisar normas de escrita científica ou de estilos linguísticos em diversos idiomas; pesquisar, sistematizar e disponibilizar fontes bibliográficas que sustentam um debate acadêmico; apontar, mas também corrigir semanticamente, textos que possam ser interpretados como plágio são atributos da inteligência artificial que merecem atenção no novo organograma das equipes que trabalham com edição científica.

As preocupações que já aparecem no mercado editorial apontam um caminho sem retorno rumo à incorporação de novos dispositivos e práticas, caminho esse que pode ser exemplificado pela publicação de obras eletrônicas que assumem o ChatGPT como principal aparato responsável pelo resultado editorial obtido; ou na criação de postos de trabalho precário oferecidos à mão de obra desqualificada que vem sendo empregada, na coleta e produção de dados, para empresas de pesquisa ligadas ao chatbot da OpenAI; ou no movimento de periódicos científicos – nacionais ou internacionais – que exigem de seus autores um atestado de autoria do trabalho apresentado, no qual deve estar identificado documentalmente o uso da inteligência artificial nas diferentes fases da pesquisa realizada ou na elaboração final do artigo.

Assim, o universo do trabalho da editoria científica vem se constituindo enquanto um campo fértil para as inovações: de gestão, de sustentabilidade econômica e de absorção de tecnologias. Cada vez mais o acesso à informação em ciência e tecnologia cresce, muito embora não se alargue na mesma velocidade a capacidade de apropriação desse conhecimento pelo cidadão comum.

5 Considerações

O ensaio apresentado tratou dos desafios que vêm acompanhando a editoria científica, mais especificamente centrado para a área de Educação. Assim, como tarefa mais aparente do processo de qualificação dos veículos de publicização do conhecimento aparece a temática da classificação diante das instâncias avaliadoras que chancelam o periódico a transferir valor ao produto intelectual dos autores, principalmente para aqueles que pertencem ao Sistema Nacional de Pós-graduação.

Elemento central, portanto, é o Qualis periódicos, produzido pela Capes. Há, no argumento defendido, uma evolução positiva dos critérios considerados qualificadores para os periódicos ranqueados, permitindo que se consolide e fortaleça o próprio sistema avaliativo como um todo e que se crie uma regra de respeito entre as diferentes áreas de conhecimento, permitindo um diálogo produtivo. Erros podem ser encontrados nos resultados e nem sempre há possibilidade de correção imediata.

Nas últimas avaliações – 2013 a 2016 e 2017 a 2020 – o processo se tornou mais qualitativo, embora, na área de Educação, no último período se tenha aceitado a utilização de um indicador de impacto para classificar as revistas. Foi um período de mudanças e de judicialização do processo avaliativo como um todo. Embora se espere um percurso mais tranquilo neste quadriênio, para o futuro muitos apostam no desaparecimento do Qualis, o que significaria perder o instrumento avaliativo produzido nacionalmente.

A editoria científica, porém, não vive apenas de desafios avaliativos. A sobrevivência do setor exige discussões mais aprofundadas sobre os modelos de negócio que garantirão a sustentabilidade econômica das revistas científicas; sobre as dinâmicas organizacionais que orientam as equipes editoriais, superando as formas desregulamentadas de trabalho e intensificando a formação profissional dos atores que atuam na elaboração dos periódicos acadêmicos; e, finalmente, sobre a regulamentação e a utilização ética das novas ferramentas vinculadas à inteligência artificial.

Agradecimento

Ao CNPq, que vem apoiando, através de Bolsa Produtividade, as pesquisas realizadas pelo autor sobre a temática.

Referências

• BEATTY, S. Journal metrics in Scopus: Source Normalized Impact per Paper (SNIP). Elsevier Scopus Blog 13 set. 2016. Disponível em: https://blog.scopus.com/posts/journal-metrics-in-scopus-source-normalized-impact-per-paper-snip Acesso em: 30 jul. 2023.
  » https://blog.scopus.com/posts/journal-metrics-in-scopus-source-normalized-impact-per-paper-snip
• BUTLER, L.-A.; et al. The oligopoly's shift to open access: how the big five academic publishers profit from article processing charges. Quantitative Science Studies, v. 4, n. 4, p. 778-799, nov 2023. https://doi.org/10.1162/qss_a_00272
  » https://doi.org/10.1162/qss_a_00272
• CARVALHO, E. S.; REAL, G. C. M. A produção intelectual sobre Qualis Periódicos na área de Educação: um diálogo com as pesquisas acadêmicas (2008-2018). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 29, n. 112, p. 595-617, jul./set. 2021. https://doi.org/10.1590/S0104-40362021002902397
  » https://doi.org/10.1590/S0104-40362021002902397
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - Capes. Relatório do Qualis Periódicos: Área 38, Educação. Brasília, DF, 2019. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-educacao-pdf Acesso em: 30 jul. 2023.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-educacao-pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - Capes. Qualis Referência: critérios gerais e princípios do modelo de Qualis Referência. Brasília, DF, 2020a. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/conselho-tecnico-cientifico-da-educacao-superior/anexos-ctc-es/DocumentobaseQualisCTC198SEI1606400.pdf Acesso em 15 jan. 2024.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/conselho-tecnico-cientifico-da-educacao-superior/anexos-ctc-es/DocumentobaseQualisCTC198SEI1606400.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - Capes. Ata 201ª Reunião Ordinária do Conselho Técnico Científico da Educação Superior. 8 dez 2020b. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/conselho-tecnico-cientifico-da-educacao-superior/atas-ctc-es/ata-201.pdf Acesso em: 15 jan. 2024.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/conselho-tecnico-cientifico-da-educacao-superior/atas-ctc-es/ata-201.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - Capes. Coordenação da Área de Educação. Relatório de avaliação: educação. Brasília, DF, 2021. Disponível em: 19122022_RELATORIO_AVALIACAO_QUADRIENAL_comnotaEducao.pdf Acesso em: 1 abr. 2023.
  » 19122022_RELATORIO_AVALIACAO_QUADRIENAL_comnotaEducao.pdf
• CRUZ, J. A. S.; BIZELLI, J. L.; VARGAS, T. C. Gestão de periódicos na área de educação. Revista @mbienteeducação, São Paulo, v. 13, n. 3, p. 15-27, set./dez. 2020. https://doi.org/10.26843/v13.n3.2020.988.p15-27
  » https://doi.org/10.26843/v13.n3.2020.988.p15-27
• HARZING, A. W. K. The Publish or Perish tutorial: 80 easy tips to get the best out of the Publish or Perish software. London: Tarma Software Research, 2016.
• HARZING, A. W. K.; VAN DER WAL, R. Google Scholar as a new source for citation analysis. Ethics in Science Environmental Polititics, Germany, v. 8, p. 61-73, Jan. 2008. https://doi.org/10.3354/esep00076
  » https://doi.org/10.3354/esep00076
• LÓPEZ-CÓZAR, E. D.; ROBINSON-GARCÍA, N.; TORRES-SALINAS, D. Manipular Google Scholar citations y Google Scholar metrics: simple, sencillo y tentador. EC3 Working Papers, v. 6, 2012. Disponível em: http://hdl.handle.net/10481/20469 Acesso em: 22 jan. 2023.
  » http://hdl.handle.net/10481/20469
• PACKER, A. L. SciELO Citation Index en el Web of Science. SciELO en Perspectiva, 2014. Disponível em: http://blog.scielo.org/es/2014/02/28/scielo-citation-index-en-el-web-of-science/#.Wdq_NktryRs Acesso em: 30 jul. 2018.
  » http://blog.scielo.org/es/2014/02/28/scielo-citation-index-en-el-web-of-science/#.Wdq_NktryRs
• PONCE, B. J., et al. Sobre a melhoria da produção e da avaliação de periódicos científicos no Brasil. Ensaio - Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 25, n. 97, p. 1032-1044, out,/dez. 2017. https://doi.org/10.1590/S0104-40362017002501032
  » https://doi.org/10.1590/S0104-40362017002501032
• POPHAM, W. J.; HUSEK, T. R. Implications of criterion-referenced measurement. Journal of Educational Measurement, Malden, v. 6, n. 1, p. 1-9, 1969. https://doi.org/10.1111/j.1745-3984.1969.tb00654.x
  » https://doi.org/10.1111/j.1745-3984.1969.tb00654.x
• PUBLISH or perich. Nature, v. 467, n. 7313), p. 252, 2010. https://doi.org/10.1038/467252a
  » https://doi.org/10.1038/467252a
• SENE, L. Z.; BIZELLI, J. L. Sistema de avaliação de periódicos no Brasil: impactos da evolução dos critérios do Qualis-periódicos da Área de Educação. Revista Práxis Educacional, v. 18, n. 49, e9388, 2022. https://doi.org/10.22481/praxisedu.v18i49.9388
  » https://doi.org/10.22481/praxisedu.v18i49.9388

• 1
  O critério é tomar como parâmetro de pontuação a qualidade da revista que publicou o trabalho de um determinado docente ou pesquisador.
• 2
  O Qualis periódicos é publicado depois de encerrada a coleta quadrienal dos dados produzidos pelos programas de pós-graduação, já que só participarão da classificação as revistas que aparecerem nos relatórios encaminhados através da Plataforma Sucupira.
• 3
  Vide https://clarivate.com/about-us/what-we-do/
• 4
  Vide https://libraryconnect.elsevier.com/articles/librarian-quick-reference-cards-research-impact-metrics
• 5
  Outra base é a Scientific Electronic Library Online – SciELO (Packer, 2014), coleção regional dentro da Web of Science.
• 6
  Faz-se necessário distinguir a procura por um indicador de impacto da utilização do FI, termo que identifica medidores internacionais vinculados aos indexadores Scopus e Web of Science.
• 7
  As áreas que estivessem muito próximas – quer por afinidade científica, quer por diferença no número de citações – poderiam negociar ajustes, no que foi chamado de Áreas-irmãs.
• 8
  Estar indexado em pelo menos uma das seguintes bases: SciELO BR, Scopus ou JCR/Web of Science.
• 9
  Entendidas como qualidade gráfica do periódico; transparência e eficiência na gestão editorial; diversidade no Conselho Editorial; periodicidade; e uso de tecnologias digitais disponíveis, incluindo DOI e identificação Orcid (Open Researcher and Contributor) de autores.
• 10
  Os resultados para o h5 dos periódicos foram obtidos através do software Harzing’s Publish or Perish.
• 11
  Seja cobrando diretamente ou criando uma reserva de mercado para profissionais ou empresas credenciados pelo periódico.
• *
  Este trabalho está vinculado ao meu projeto enquanto bolsista PQ do CNPq.
• Dados do trabalho: Estão disponíveis e podem ser acessados em https://doi.org/10.5281/zenodo.13305655
• Financiamento
  Este trabalho foi financiado por fundos nacionais através da Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), na modalidade de Bolsa de Produtividade atribuída ao autor.

Disponibilidade de dados

Dados do trabalho: Estão disponíveis e podem ser acessados em https://doi.org/10.5281/zenodo.13305655

Datas de Publicação

• Publicação nesta coleção
  04 Out 2024
• Data do Fascículo
  Set 2024

Histórico

• Recebido
  05 Fev 2024
• Aceito
  15 Ago 2024