Avaliação de periódicos para as Ciências Humanas e para a área de História: o que o sistema de avaliação espera dos periódicos e o que a área quer

Evaluation of Journals for the Humanities and for the Field of History: What the Evaluation System Expects from Journals and What the Field Wants

É possível que um dos grandes desafios políticos da avaliação de periódicos seja conciliar os diversos interesses em um modelo coeso, consistente, funcional, reproduzível, replicável e que “capture” as especificidades de cada área e subárea em que ele será aplicado. Talvez este seja o ponto de virada para o Qualis Periódicos aplicável às Humanidades¹ após 2017. E entender este processo é, antes de tudo, reconhecer sua dimensão política e o jogo de forças que atuam e se articulam nos espaços de deliberação da avaliação da pós-graduação brasileira, assim como os interesses específicos e inerentes ao sistema de publicação - que não necessariamente são os mesmos e, em alguns momentos, podem ser interesses concorrentes.

A construção do modelo de avaliação de periódicos utilizado na Quadrienal 2017-2020² expressa de modo claro esta dimensão política e o papel de resistência que as Humanidades tiveram que exercer para não serem atropeladas por um modelo (o QR1) que não consegue mensurar satisfatoriamente os produtos científicos utilizados pela área - apesar do avanço do QR2, ele não parece ser o desejável pela comunidade. Foi somente por meio de uma ampla mobilização e pressão no âmbito do “Conselho Técnico-Científico da Educação Superior” (CTC-ES) da CAPES que foi possível adotar o uso de índices bibliométricos com maior cobertura, com o Google Scholar e a construção do modelo QR2³ - o QR1 utiliza o JIF, do Web of Science, e/ou o CiteScore, do Scopus, no processo de avaliação, já o QR2 utiliza o Google Scholar Metrics ou sua base de dados por meio do software Publish or Perish (Harzing, 2016). Importante deixar claro que o ponto central da discussão não é a omissão e/ou concessões no processo de avaliação dos periódicos, mas sim, que seja utilizada uma base de dados na qual os nossos periódicos, os periódicos brasileiros, estejam representados de modo minimamente satisfatório. Nesse quesito, a base do Google Scholar Metrics possui uma maior cobertura que a do Web of Science ou do Scopus (Martín-Martín et al., 2020).

Diante disso, o primeiro ponto a favor do qual devemos nos posicionar de forma contundente é que sejam utilizadas bases de dados que atendam os periódicos nacionais, no sentido de ter esses títulos listados nelas. E conforme podemos observar na Tabela 1, o Web of Science e o Scopus/Scimago não possuem volume representativo de periódicos brasileiros para serem o eixo central de quaisquer sistemas de avaliação de periódicos nacionais (a última coluna, à direita, mostra a porcentagem de periódicos brasileiros, considerando o total de periódicos nacionais no Latindex - Diretório). Comparativamente, apesar de não termos dados efetivos do Google Scholar Metrics, considerando a metodologia do Qualis para o QR2, somente receberam avaliação entre A1 e B4 os periódicos que estavam na base do Google e receberam pelo menos uma citação no referido período. Inferimos, a partir disso e dos dados da pesquisa de Martín-Martín et al. (2020), que a presença dos periódicos nacionais é maior nesse indexador do que no Web of Science e Scopus e, como desdobramento dessa afirmação, um segundo ponto que deve ser defendido de forma contundente pelos periódicos de humanidades é a prevalência do uso do índice h⁴, obtido por meio da base do Google Scholar Metrics, em detrimento do uso do JIF e/ou CiteScore - os dados apresentados na tabela dão uma percepção inicial de que esses índices não são satisfatórios nem para os demais colégios das áreas de avaliação da CAPES, mas seria interessante aprofundar a pesquisa neste sentido.

Tabela 1:
Presença de periódicos brasileiros e suas porcentagens nos indexadores/bases Web of Science (Core Collection), Latindex (Diretório e Catálogo 2.0), Redalyc, Scopus, Scimago, Rede SciELO, DOAJ, Erih Plus.

		TOTAL	Periódicos BR no indexador	% BR no volume total do indexador	% BR se considerar Latindex como parâmetro quantitativo
Web of Science	Total	21.522	397	1.84%	7.28%
	SCIE	9.510	106	1.11%	1.94%
	AHCI	1.748	13	0.74%	0.24%
	ESCI	7.871	267	3.39%	4.90%
	SSCI	3.544	18	0.51%	0.33%
Latindex	Diretório	27.414	5452	19.89%	100.00%
	Catálogo 2.0	3.490	331	9.48%	6.07%
Redalyc		1.595	374	23.45%	6.86%
Scopus		27.640	-	-	-
	Scimago	27.955	430	1.54%	7.89%
SciELO		1.349	317	23.50%	5.81%
DOAJ		20.258	1653	8.16%	30.32%
Erih Plus		11.459	583	5.09%	10.69%

• Fonte: Dados de pesquisa, ainda inédita, de um dos autores, coletados entre 15 de dezembro de 2023 e 23 de fevereiro de 20245.

Ao que tudo indica, foi um pouco neste panorama que apareceu, ainda no ano de 2019, após o “vazamento” de uma lista apócrifa do Qualis (que parece ter servido de subsídio para as análises apresentados no “Seminário de Meio” termo daquele ano), a proposta de uso de um índice h com o intervalo de tempo mais longo do que o gerado, automaticamente, pelo Google Scholar Metrics. Nesse contexto, uma análise preliminar indicou um potencial efeito benéfico e essa proposta foi levada à frente, como reivindicação das áreas de Humanidades, e foi aprovada, pelo CTC-ES, como possibilidade - ver cronologia mencionada na Nota 3. No entanto, no momento de implementação da metodologia, somente a área de História utilizou o índice h10 - os detalhes metodológicos podem ser acessados nos documentos de área da avaliação CAPES de 2017-2020 (Batalha; Pacheco; Silva, 2022a, 2022b).

Há um elemento que ajuda a entender o motivo de somente a área de História ter se disposto a utilizar o índice h10 na avaliação 2017-2020. Como a CAPES estabeleceu que a responsabilidade na obtenção dos dados seria da Coordenação de área, isso jogou para a própria área um trabalho hercúleo: realizar o levantamento de dados de 2.459 títulos, totalizando 3.527 ISSNs, em um período de tempo relativamente curto. A área conseguiu realizar o trabalho, mas com a percepção de que tal empreitada somente foi possível pelo contexto daquele momento (durante a suspensão dos trabalhos presenciais devido à emergência da COVID-19 e com a mobilização de um enorme contingente de assessores). Em sentido amplo, a avaliação dos periódicos no Qualis 2017-2020 foi positiva para a área, não só pelo uso do índice h10, mas talvez, principalmente, pelo uso do critério de divisão - um dos componentes previstos na avaliação dos periódicos (Diretoria de Avaliação/CAPES, 2023).

Agora, nos aproximando do término da quadrienal 2021-2024, o Fórum de editores foi chamado a se manifestar sobre os critérios usados na última avaliação. Nesse contexto, ainda no final de 2023 foi elaborado um documento que analisa o potencial impacto de uma mudança no intervalo temporal do índice h, de 10 anos para 5 anos (Sousa, 2023). Após várias reuniões sobre esse tópico, o Fórum de Editores tornou público seu posicionamento, por meio do documento “Posição do Fórum de Editores da Anpuh frente aos critérios de avaliação do Qualis Periódicos” (Fórum de Editores da Anpuh, 2024). Para além de nos posicionarmos sobre os critérios da atual avaliação, talvez seja o momento de pensarmos, enquanto comunidade de pesquisa, o que queremos, desejamos e projetamos como elementos de relevância para os periódicos da área.

É possível que, no contexto da avaliação Qualis, isso se manifeste pelos chamados critérios de ajustes, mas isso extrapola o sistema de avaliação. Por outro lado, o estabelecimento sobre a definição de tais critérios tampouco é uma tarefa fácil. Da mesma maneira que se tornou capital para a área definir um indexador que possibilite uma melhor avaliação dela conforme os elementos elencados acima, a escolha e a definição dos critérios de ajuste também solicita um amplo processo de reflexão, de modo que sejam contempladas características editoriais que realmente possam apontar para a construção de um olhar mais amplo para os periódicos de História.

Não por acaso, após o debate sobre quais dos periódicos da área melhor a representam, tendo como ponto de partida os critérios utilizados por todas as Coordenações de área no Quadriênio 2017-2020 Capes, o Fórum elegeu 4 (quatro) critérios, os quais foram, depois, referendados no Seminário de Meio Termo da área, em março de 2024. Foram eles: Presença em indexadores, valorização dos projetos editoriais, critério de abrangência e outros formatos. A definição desses quatro indicadores se constitui em um exercício mais concreto de pensar características que, de fato, possam apontar para a necessidade dos periódicos.

Muitos outros elementos ainda estão em pauta sobre essa discussão, mas que demandam mais reflexão, como, por exemplo, a compreensão de que a área precisa construir, a médio e longo prazo, um espaço próprio para a reunião de seus periódicos, a exemplo do que já realizam algumas áreas. Isso possibilitaria uma maior autonomia e, por outro lado, a possibilidade de resolução de alguns problemas relevantes, como o fato de muitos periódicos desaparecem ou deixarem de ser editados, e seus conteúdos não poderem mais ser acessados.

Por fim, é importante ressaltar o momento de uma reflexão sobre a necessidade de a área pensar de forma mais ampla uma política editorial voltada a problemas da comunidade (e subáreas) e aos usos (em nível de leitura e citação) dos produtos científicos. Hoje, a partir da dados preliminares, continuamos a ter a citação de livros como predominante na área. Isso não se constitui um problema em si. Na verdade, esta é uma das características marcantes da área, durante muito tempo mais dedicada à produção de livros. Contudo, a busca de um equilíbrio maior entre esses dois tipos de produção poderia indicar a necessidade de envolvimento da comunidade, não apenas da pós-graduação, a exemplo do próprio fórum de graduação e de outras áreas como patrimônio, ensino, além de outras que, embora não necessariamente estejam vinculadas às pós-graduações, também produzem conhecimento para contribuir nesse processo.

Sônia Meneses
Editora da Revista Brasileira de HistóriaAssistente Editorial, Fórum de editores de periódicos da área de história da ANPUH-BRASILMarcos Eduardo Sousa
Editora da Revista Brasileira de HistóriaAssistente Editorial, Fórum de editores de periódicos da área de história da ANPUH-BRASIL

REFERÊNCIAS

• BATALHA, Claudio Henrique de Moraes; PACHECO, Ricardo de Aguiar; SILVA, Cristiani Bereta da. Relatório - Comissão preparatória de levantamento de informações de periódicos [2017-2020 - 40. História]. 2022a. Disponível em: Disponível em: https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf Acesso em: 13 nov. 2023.
  » https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf
• BATALHA, Claudio Henrique de Moraes; PACHECO, Ricardo de Aguiar; SILVA, Cristiani Bereta da. Relatório de Avaliação: História. Avaliação Quadrienal 2021. 2022b. Disponível em: Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/19122022_RELATORIO_AVALIACAO_QUADRIENAL_comnotaHistria.pdf Acesso em: 28 out. 2023.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/19122022_RELATORIO_AVALIACAO_QUADRIENAL_comnotaHistria.pdf
• DIRETORIA DE AVALIAÇÃO/CAPES. Documento técnico do Qualis Periódicos [2017-2020]. 2023. Disponível em: Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/avaliacao-quadrienal-2017/DocumentotcnicoQualisPeridicosfinal.pdf Acesso em: 30 maio 2023.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/avaliacao-quadrienal-2017/DocumentotcnicoQualisPeridicosfinal.pdf
• FÓRUM DE EDITORES DA ANPUH. Posição do Fórum de Editores da Anpuh frente aos critérios de avaliação do Qualis Periódicos. 1^o mar. 2024. Disponível em: Disponível em: https://doi.org/10.5281/zenodo.10731945 Acesso em: 1º mar. 2024.
  » https://doi.org/10.5281/zenodo.10731945
• HARZING, Anne-Wil. Publish or Perish. 6 Feb. 2016. Disponível em: Disponível em: https://harzing.com/resources/publish-or-perish Acesso em: 17 set. 2019.
  » https://harzing.com/resources/publish-or-perish
• MARTÍN-MARTÍN, Alberto et al. Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. 21 Sep. 2020. Disponível em: Disponível em: https://link.springer.com/article/10.1007/s11192-020-03690-4 Acesso em: 5 out. 2020.
  » https://link.springer.com/article/10.1007/s11192-020-03690-4
• SOUSA, Marcos Eduardo de. Cronologia da discussão sobre a mudança no Qualis Periódico no quadriênio 2017-2020 [versão 4]. 23 de ago. de 2021. Disponível em: Disponível em: https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/5UNJXH&version=4.0 Acesso em: 23 ago. 2021.
  » https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/5UNJXH&version=4.0
• SOUSA, Marcos Eduardo de. Dados preliminares de impacto na alteração da base temporal do índice h (Google Scholar) e critérios de ajustes para periódicos de História: elementos para a discussão sobre a avaliação de periódicos do quadriênio 2021-2024 [versão 1]. 2023. Disponível em: Disponível em: https://zenodo.org/records/10208093 Acesso em: 26 nov. 2023.
  » https://zenodo.org/records/10208093

• 1
  Ao mencionar Humanidades, estamos considerando as áreas de avaliação, no sistema CAPES, que compõem o “Colégio de Humanidades”: Ciências Humanas, Ciências Sociais Aplicadas e Linguística, Letras e Artes - provavelmente poderíamos considerar a subárea de Saúde Coletiva também, mas, por ora, nos ateremos ao “Colégio de Humanidades”.
• 2
  O documento que apresenta os detalhes sobre a avaliação 2017-2020 denomina-se “Documento técnico do Qualis Periódicos [2017-2020]” (Diretoria de Avaliação, 2023). Nele são apresentados os detalhes dos modelos QR1 e QR2 mencionados neste texto.
• 3
  Essa mobilização, no âmbito do CTC-ES, pode ser observada pelas manifestações ocorridas entre julho e dezembro de 2020 (cf. Sousa, 2021).
• 4
  Importante deixar claro que essas duas posições estão claramente defendidas no documento “Posição do Fórum de Editores da Anpuh frente aos critérios de avaliação do Qualis Periódicos” (Fórum de Editores da Anpuh, 2024).
• 5
  Todos esses dados podem ser obtidos nos sites dos respectivos indexadores. Não temos quantitativo de periódicos brasileiros no Scopus porque os dados disponibilizados não possuem a indicação de país do periódico, no entanto, como os dados do Scimago são levantados a partir dos dados do Scopus, podemos inferir que o volume de periódicos brasileiros no Scopus tende a não ser superior ao encontrado no Scimago.

Datas de Publicação

• Publicação nesta coleção
  26 Abr 2024
• Data do Fascículo
  2024