Periódicos científicos na área Comunicação e Informação: consolidação do índice h e as questões éticas sobre sua utilização

Scientific journals in the Communication and Information area: consolidation of the h-index and ethical issues regarding its use

Resumo

Trata-se de uma pesquisa sobre o impacto do uso do índice h na avaliação de periódicos científicos. Mais exatamente, pretende-se verificar a utilização de tais métricas para classificar um conjunto de periódicos brasileiros da área Comunicação e Informação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. A abordagem metodológica compreende um exame exploratório por meio do qual 20 revistas científicas da área tiveram seus dados extraídos a partir do Google Scholar Metrics no dia 4 de julho de 2022. A coleta também envolveu registro dos metadados de autoria, URL da publicação, periódico, ano e total de citações recebidas. A análise dos dados foi realizada a partir de um cálculo para medida de autocitação do próprio periódico e, em seguida, um periódico teve sua análise destacada. Os resultados demonstraram que duas revistas se destacaram na porcentagem de citação, volume de citações advindo de erros de metadados e falta de metadados estruturados para análise da fonte. Assim sendo, a despeito do índice h ser uma métrica interessante para a avaliação de periódicos na área Comunicação e Informação, considera-se que ela poderia ser complementada por avaliações qualitativas capazes de compreender os desafios éticos necessários para garantir uma avaliação justa e adequada da pesquisa acadêmica.

Palavras-chave:
revistas científicas; índice h; google acadêmico; métricas; ética

Abstract

This research investigates the impact of using the h-index in the evaluation of scientific journals. Specifically, we aim to assess the use of these metrics to categorize a set of Brazilian journals from the Coordenação de Aperfeiçoamento de Pessoal de Nível Superior Communication and Information area. The methodological approach involves an exploratory examination in which data from 20 scientific journals in the area were extracted from Google Scholar Metrics on July 4, 2022. The data collection also included recording authorship metadata, publication URL, periodical, year, and the total number of citations received. Data analysis was conducted through a calculation to measure each journal's self-citation, and one journal had its analysis highlighted. The results demonstrated that two journals stood out in terms of citation percentage, the volume of citations resulting from metadata errors, and the lack of structured metadata for source analysis. Therefore, despite the h-index being an interesting metric for evaluating journals in the Communication and Information area, it is considered that it could be complemented by qualitative evaluations capable of understanding the ethical challenges necessary to ensure a fair and adequate evaluation of academic research.

Keywords:
scientific journals; h-index; google scholar; metrics; ethics

1 Introdução

O Google acadêmico tem servido como metabuscador de destaque quando se trata de suporte de buscas para referenciar a produção bibliográfica e intelectual, o que tem levado diferentes áreas e instituições a adotarem as métricas desse metabuscador no processo de classificação de periódicos acadêmicos no Brasil. Não obstante, não é somente o uso para pesquisa bibliográfica que torna tal ferramenta relevante, mas, também, deve-se considerar que a indexação abrangente de conteúdos acadêmicos, a estrutura de organização dos dados e a geração de métricas é que o torna instrumento relevante do ponto de vista da cientometria.

Dotado de uma base robusta e que oferece a oportunidade de coletar as citações de artigos científicos para além dos metabuscadores tradicionalmente utilizados para indexação, o Google Acadêmico tem avançado como referência em estudo bibliométricos (Canto, 2022) inclusive por ampliar a visibilidade de pesquisadores de países do chamado Sul Global, sobretudo em áreas de conhecimento das Humanidades (Kousha; Thelwall, 2008; Martín-Martín et al., 2018).

No entanto, é perceptível que tal metabuscador possui limitações, como erros de indexação (Jacsó, 2010) e problemas nas estruturas de metadados (Silva; Dobránszki, 2018), além da baixa capacidade do Google Acadêmico de identificar más práticas e condutas editoriais. Conforme apontam Pinto et al. (2020), é possível considerar o Google Scholar Metrics uma fonte relevante para avaliar o impacto de revistas brasileiras, especialmente aquelas relacionadas às áreas acadêmicas de Ciências Humanas e Sociais e que não possuem outros indicadores de impacto. Entretanto, é necessário utilizar o indicador com cautela em avaliações oficiais, pois apresenta algumas inconsistências e limitações, pela ausência de mecanismos de busca avançados e ferramentas de extração de dados, a falta de padronização bibliométrica e a não identificação de autocitações, dificultando sua utilização em pesquisas em larga escala (Canto et al., 2023). Entre as más práticas editoriais, está a possibilidade de burlar o próprio sistema por meio da criação de documentos falsos em páginas rastreáveis pelo Google Acadêmico (Jacsó, 2011) com o intuito de ampliar, artificialmente e indevidamente, o número de citações recebidas (e, como resultado, os indicadores de impacto) de outros autores, periódicos ou instituições. Falsas alegações de autoria nos perfis de pesquisadores (Silva, 2018) e aumento do volume de autocitação (Opthof, 2013; Ioannidis, 2015) como forma de inflar o índice h são outras modalidades recorrentes para burlar o sistema de indexação. De qualquer modo, cabe apontar que nem todas as más práticas são decorrentes da configuração de plataformas específicas: há visivelmente ações empreendidas por determinados autores e editores que, em estratégias artificiais contraindicadas, marcam o desempenho de diversas métricas existentes, como, por exemplo, a troca de citação entre pesquisadores e suas equipes, bem como citações cruzadas entre periódicos, a pedido de editores, revisores e avaliadores de agências de fomento (Ioannidis, 2015).

O fato é que as práticas listadas comprometem a integridade das pesquisas e sua circulação (Parija et al., 2017). Somadas a uma cultura de avaliação da produtividade dos pesquisadores com constante pressão para se publicar, vemos surgir e crescer o número de práticas antiéticas e impróprias, que podem fazer com que autores e periódicos sejam citados injustificadamente, sobretudo no caso de ‘citações cruzadas’ que favoreçam determinadas revistas de forma direta (Eisenlohr et al., 2014), ou o chamado “cartel de citações” (Onbekend; Waltman; Rijcke, 2016), fenômeno em que uma publicação concede um significativo número de citações a artigos recentes de outro periódico. Estes cartéis podem distorcer a medição do impacto científico, afetando métricas como o índice h e o fator de impacto dos periódicos (Fong; Wilhite, 2017). No entanto, é importante ponderar que o excesso de citações não necessariamente indica a existência de um acordo de citações entre periódicos, visto que um periódico pode ter motivos válidos para referenciar outra publicação.

Assim sendo, mostra-se imprescindível desenvolver ferramentas analíticas capazes de identificar eventuais distorções entre os principais periódicos nacionais das áreas de Comunicação, Ciência da Informação e Museologia. Tal processo deve integrar o conjunto de estratégias voltadas a contribuir para o debate e a tomada de decisão sobre o emprego do índice h como medida de estratificação Qualis/CAPES. Em outras palavras, torna-se fundamental o estabelecimento de mecanismos de verificação e controle da qualidade dos processos que envolvem a consolidação dos periódicos nacionais. Tais procedimentos podem orientar a comunidade de editores para que siga primando com o cuidado ético e responsável pela busca contínua da qualidade em consonância com padrões internacionais de excelência.

Diante disso, o objetivo geral deste trabalho é analisar um conjunto de periódicos brasileiros da área Comunicação e Informação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) com o intuito de verificar a adoção do índice h no processo de classificação dos periódicos.

2 Índice h como métrica de produtividade

A avaliação da qualidade e do impacto da produção científica desempenha um papel relevante no avanço de qualquer campo de pesquisa, incluindo a área de Comunicação e Informação. Recentemente, a CAPES, órgão vinculado ao Ministério da Educação, incorporou à metodologia da classificação dos periódicos científicos o índice h, especialmente para os casos de publicações que não possuem índices em bases internacionais como o fator de impacto, por exemplo.

O índice h visa avaliar a influência e a produtividade de pesquisadores e periódicos científicos. O índice foi proposto por Jorge E. Hirsch em 2005 como uma medida que combina a produtividade e a influência de um pesquisador com base nas citações recebidas por seus trabalhos acadêmicos (Hirsch, 2005). Com o tempo, essa métrica também foi aplicada à avaliação de periódicos científicos.

A incorporação do índice h na avaliação de revistas acadêmicas leva em consideração os aspectos indicados a seguir:

1. indicador de influência - o índice h é usado como um indicador da influência de um periódico científico na comunidade acadêmica e na disseminação do conhecimento. Quanto maior o índice h do periódico, maior é, geralmente, sua influência e impacto na área;

2. ferramenta de tomada de decisão - instituições de pesquisa e financiadores têm, crescentemente, empregado o índice h como parte do processo de tomada de decisão para avaliar a qualidade e a relevância dos periódicos nos quais os pesquisadores publicam;

3. comparação de periódicos - o índice h permite a comparação objetiva entre publicações, ajudando os pesquisadores a escolher onde publicar seus trabalhos e contribuindo para a identificação de revistas líderes na área.

Embora o índice h tenha vantagens, sua aplicação na avaliação de periódicos científicos também apresenta desafios significativos como, por exemplo, a pressão por citações e a exclusão de temas não alinhados ao foco das políticas públicas de financiamento (Bornmann; Daniel, 2009).

É nesse sentido que, apesar de constituir uma medida quantitativa para avaliar a influência e a produtividade dessas publicações, torna-se necessário lembrar que o índice h deve ser considerado em conjunto com avaliações qualitativas e atenção rigorosa aos desafios éticos associados.

Além do índice h, outras métricas e abordagens têm sido propostas para avaliar a influência e a qualidade de periódicos científicos, tais como o Fator de Impacto (Impact Factor) e classificações a exemplo daquela oferecida pelo SCImago Journal Rank (SJR). A escolha da métrica adequada para uma avaliação específica pode depender dos objetivos e das características para o seu uso.

Não obstante, existem desafios que precisam ser superados em relação à manipulação de citações e ao aumento artificial do índice h. Existem iniciativas importantes patrocinadas por diversas revistas, a exemplo de transparência nas políticas de citação e incentivos a padrões de divulgação de dados abertos para que as estatísticas de submissões possam ser verificadas e analisadas de forma independente.

A este ponto, registre-se que a crescente presença de publicações de autores brasileiros na literatura científica tem colaborado para a reflexão sobre a utilização do Google Scholar Metrics. A título de ilustração, Pinto et al. (2020) identificaram quantos periódicos científicos brasileiros são indexados pelo Google Scholar Metrics e descreveram suas características. Costa, Canto e Pinto (2020), por sua vez, mensuraram o impacto dos periódicos brasileiros de Ciência da Informação a partir da metodologia proposta pelo Qualis da CAPES e apontaram como positiva a adoção do índice h5, apesar das ressalvas identificadas na pesquisa. Já Canto et al. (2022) pesquisaram a cobertura de periódicos latino-americanos e caribenhos no Google Scholar Metrics em comparação com outras bases de dados - tendo concluído que o Google Scholar Metrics é uma fonte relevante para a América Latina e o Caribe, pois sua cobertura permite análises de impacto para um maior número de periódicos e que suas limitações podem ser superadas com outras ferramentas.

Ao cotejar prós e contras do uso do Google Scholar Metrics enquanto fonte para analisar o impacto de publicações acadêmicas, Canto et al. (2023) sugeriram uma ferramenta bibliométrica chamada Gsm_hdata para pesquisa, extração e análise de dados do índice h. A ferramenta é composta por quatro recursos que realizam buscas e extração automática de dados de publicações indexadas, bem como identificam e calculam indicadores de autocitação de periódicos.

Diante das vantagens e limitações que o uso do Google Scholar Metrics suscita, há razões suficientes para que a comunidade acadêmica possa debater sobre ele e seu uso em sistemas de avaliação. Tais debates incluem a necessidade de adotar abordagens mais holísticas e contextuais que levem em consideração fatores como a relevância da pesquisa, o impacto social e a qualidade editorial, em vez de depender exclusivamente de métricas quantitativas.

Uma vez que o cenário da avaliação de periódicos científicos está em constante transformação, é essencial que cada investigador compreenda e esteja atualizado no que se refere às práticas de classificação científica adotadas no campo, uma vez que as métricas de avaliação de periódicos científicos exercem efeitos consideráveis na carreira acadêmica/profissional dos pesquisadores - que são pressionados continuamente a publicarem em periódicos de maior prestígio e, para isso, podem apelar para estratégias autopromoção. Apesar de a pressão ser comum a todos, as más práticas dizem respeito a um grupo restrito de autores e publicações, mas elas existem e acabam por contaminar o sistema de ranqueamento.

3 Percurso metodológico

Do ponto de vista metodológico, o trabalho propõe uma pesquisa exploratória com dados abertos obtidos do Google Scholar Metrics, referente aos anos 2016-2020, pois trata-se de uma escolha baseada na disponibilidade dos dados do Google Scholar Metrics até o ano de 2020, embora a coleta tenha ocorrido em 2022. A justificativa relacionada ao período deve-se a essa disponibilidade e estabilidade das citações recebidas, bem como a atualização dos dados.

O Google Scholar Metrics é uma ferramenta, de acesso gratuito, do Google Scholar que fornece métricas de citação para periódicos acadêmicos (índice h, índice i10, perfis das revistas, total de citações), possibilitando avaliar a visibilidade e o impacto das revistas científicas em diversas áreas do conhecimento.

Para o corpus, optou-se por um conjunto de vinte revistas nacionais, sendo dez de cada subárea integrante da área Comunicação e Informação da CAPES, tratando-se, portanto, de uma amostra intencional não-probabilística. A justificativa para a opção de uma amostra intencional não probabilística reside no fato de que é possível considerar casos relevantes, especialmente em pesquisas exploratórias onde ajudarão a desenvolver hipóteses. Não obstante, é reconhecido que o resultado advindo de tal amostra não poderá ser generalizado.

A amostra foi composta por 20 revistas com maiores índices h no período indicado, sendo dez de Comunicação e dez de Informação, com seus respectivos índices h5 e sua classificação no Qualis (2017-2020) da CAPES, sendo esse último, “um sistema usado para classificar a produção científica dos programas de pós-graduação no que se refere aos artigos publicados em periódicos científicos”, cuja classificação pode ser obtida pela internet na Plataforma Sucupira (CAPES, 2022).

As revistas científicas selecionadas para a amostra estão organizadas conforme as tabelas 1 e 2, a seguir. Na tabela 1 estão as revistas selecionadas de Comunicação. Na tabela 2 estão as revistas selecionadas de Informação.

Tabela 1-
Amostra das revistas selecionadas - Comunicação

Título da Revista e Site	Cidade/Estado	Índice h	Qualis (2017-2020)
Revista Observatório https://sistemas.uft.edu.br/periodicos/index.php/observatorio/index	Palmas/TO	19	Qualis A2
Matrizes https://www.revistas.usp.br/matrizes	São Paulo/SP	14	Qualis A1
Revista Famecos https://revistaseletronicas.pucrs.br/ojs/index.php/revistafamecos/issue/view/1354	Porto Alegre/RS	13	Qualis A2
Galáxia (São Paulo) https://revistas.pucsp.br/galaxia	São Paulo/SP	12	Qualis A3
E-Compós https://www.e-compos.org.br/e-compos	Brasília/DF	10	Qualis A2
Intercom: Revista Brasileira de Ciências da Comunicação https://portalintercom.org.br/publicacoes/revista-intercom/revista-intercom-apresentacao	São Paulo/SP	11	Qualis A2
Revista Fronteiras https://revistas.unisinos.br/index.php/fronteiras	São Leopoldo/RS	9	Qualis A3
Contracampo https://periodicos.uff.br/contracampo	Niterói/RJ	9	Qualis A3
Brazilian Journalism Research https://bjr.sbpjor.org.br/bjr	Brasília/DF	9	Qualis A2
Comunicação, Mídia e Consumo https://revistacmc.espm.br/revistacmc/about	São Paulo/SP	8	Qualis A3

• Fonte: Elaborado pelos autores.

Os dados foram extraídos a partir do perfil das revistas no Google Scholar Metrics. De modo complementar, o índice h foi obtido também por meio do software Publish or Perish, elaborado por Harzing (2007), utilizando a fonte Google Scholar, com o preenchimento dos campos de título da revista, seu ISSN on-line e referente aos anos 2016-2020. A coleta dos dados foi realizada em 14 de julho de 2022, registrando os metadados de autoria, URL da publicação, periódico, ano de publicação do trabalho e total de citações. Também foram identificadas¹ 4857 citações a partir dos artigos listados nos perfis dos periódicos no Google Scholar Metrics.

Criado por Anne-Wil Harzing (2007), o software Publish or Perish foi desenvolvido para avaliar a produção acadêmica de pesquisadores e instituições por meio de métricas bibliométricas, especialmente utilizando dados do Google Scholar e a justificativa para a utilização complementar do Publish or Perish reside no fato de que o Google Scholar somente permite buscas feitas pelo título do periódico e nem todos os dados podem ser obtidos por ele.

Mesmo com todas as críticas e limitações comumente atribuídas ao uso de dados do Google Scholar Metrics para avaliação de pesquisa, pesquisadores ou revistas (Silva, 2018; Opthof, 2013; Ioannidis, 2015), o presente estudo adotou o índice h por este ter sido considerado na classificação referência dada e metodologia de indicadores objetivos com modelo matemático utilizada pelo Grupo de Trabalho do Qualis Periódicos da CAPES (Brasil, 2019).

Tabela 2
Amostra das revistas selecionadas - Informação

Título da Revista e Site	Cidade/Estado	Índice h	Qualis (2017-2020)
Transinformação https://periodicos.puc-campinas.edu.br/transinfo	Campinas/SP	22	Qualis A1
Perspectivas em Ciência da Informação https://periodicos.ufmg.br/index.php/pci	Belo Horizonte/MG	20	Qualis A2
Liinc em Revista https://revista.ibict.br/liinc	Rio de Janeiro/RJ	17	Qualis A3
Em Questão https://seer.ufrgs.br/EmQuestao/	Porto Alegre/RS	16	Qualis A2
Informação & Informação https://ojs.uel.br/revistas/uel/index.php/informacao	Londrina/PR	16	Qualis A2
Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação https://periodicos.ufsc.br/index.php/eb	Florianópolis/SC	15	Qualis A2
BRAJIS Brazilian Journal of Information Science: Research Trends https://revistas.marilia.unesp.br/index.php/bjis/	Marília/SP	15	Qualis A4
Ciência da Informação https://revista.ibict.br/ciinf	Brasília/DF	13	Qualis A4
RDBCI Revista Digital de Biblioteconomia e Ciência da Informação https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci	Campinas/SP	13	Qualis A3
Informação & Sociedade: Estudos https://periodicos.ufpb.br/ojs2/index.php/ies	João Pessoa/PB	11	Qualis A2

• Fonte: Elaborado pelos autores.

O modelo do Qualis Periódicos da CAPES foi reformulado em 2019, cujo resultado permitiu a classificação de periódicos científicos no quadriênio 2017-2020 de avaliação de Programas de Pós-graduação brasileiros. As reformulações no modelo permitiram uma classificação única do periódico, a utilização de critérios objetivos (indicadores utilizados internacionalmente e metodologia objetiva), critérios de qualidade externos (independente de uso, pertinência e relevância para a área), equivalência e comparabilidade (comparação entre áreas de avaliação) e internacionalização e indexação (CAPES, 2023).

Os princípios desse novo modelo estão alicerçados em quatro pilares: (1) classificação única do periódico, (2) classificação atribuída pela área-mãe, (3) obtenção do estrato a partir de referência objetiva, e (4) indicadores bibliométricos e seus percentis (residindo aqui o índice h). O modelo adotou duas formas de agrupamento: QR1 - uso do CiteScore e Journal Citation Reports como principais, utilizando-se os percentis definidos pelas respectivas bases, e, na ausência destes, uso do h5, sendo o percentil definido pela equação de imputação e QR2 - uso apenas do índice h (h5 ou h10) para definição do percentil (CAPES, 2023).

Segundo o Relatório Técnico do Qualis Periódicos (CAPES, 2023), para o QR1, nos casos em que o periódico não estava indexado na Scopus ou Journal Citation Reports, mas possuía o índice h5 do Google Scholar, foi utilizado o modelo de regressão linear para estimar o valor correspondente do CiteScore e assim permitir imputar o valor do percentil. Para o QR2, o índice h foi a referência para o cálculo dos estratos, ampliando a base de periódicos para determinar o universo quando necessário. Por fim, foram permitidos ajustes para cada área-mãe, a partir de critérios formais dos periódicos.

A área Comunicação e Informação da CAPES (área 31), por meio de seu relatório técnico, optou pelo agrupamento QR1, em que pese necessitando realizar buscas pelo índice h, utilizando o software Publish or Perish (Brasil, 2019), seguindo os procedimentos sugeridos pelo Grupo de Trabalho do Qualis Periódicos da CAPES.

A partir da coleta dos dados, foi realizada também uma verificação para identificação de autocitação do próprio periódico, ou seja, foi feita uma contagem de citações que os artigos deste periódico recebem de outros artigos publicados no mesmo periódico. Essa verificação foi necessária, pois a autocitação influencia diretamente na métrica do índice h.

Na sequência, com a identificação de periódicos com alto índice de autocitação, foi feito detalhamento de uma das revistas em que se verificou a presença regular de autocitação. Por fim, os dados foram processados e tratados para eliminar redundâncias, bem como para padronizar diferentes grafias dos nomes dos periódicos.

4 Resultados e discussão

A primeira etapa da investigação empírica envolveu a tabulação de dados relativos ao número de citação e a identificação de quais são as maiores fontes de citação de cada um dos periódicos. Tal estratégia permitiu calcular a porcentagem de citação do maior citante em relação ao número total de citações.

Tabela 3-
Os vinte periódicos brasileiros de Comunicação e Informação com totais de citação, número de citantes e percentual

Periódico	Total Citação	N. Citante	> citante	N. Citante	%
Revista Observatório	477	89	Revista Observatório	177	37,11%
TransInformação	528	225	چشم انداز مدیریت دولتی (Public Administration Perspective)	169	32,01%
RDBCI Revista Digital de Biblioteconomia e Ciência da Informação	175	100	Research Society and Development	11	6,29%
Brazilian Journalism Research	139	81	Brazilian Journalism Research	8	5,76%
Informação & Informação	87	46	Encontros Bibli Revista Eletrônica de Biblioteconomia e Ciência.	5	5,75%
Em Questão	226	107	Em Questão	10	4,42%
Liinc Em Revista	241	143	Liinc Em Revista	10	4,15%
Encontros Bibli Revista Eletrônica de Biblioteconomia e Ciência …	218	120	Em Questão	9	4,13%
Revista Fronteiras	218	115	Revista Fronteiras	9	4,13%
Intercom Revista Brasileira de Ciências da Comunicação	237	124	Universidade Estadual Paulista Unesp (teses e dissertações)	9	3,80%
Matrizes	458	206	Matrizes	17	3,71%
Perspectivas em Ciência da Informação	217	122	Em Questão	8	3,69%
Comunicação Mídia e Consumo	85	48	Universidade de São Paulo (teses e dissertações)	3	3,53%
Ciência da Informação	130	78	Em Questão	4	3,08%
Revista Famecos	299	160	Matrizes	9	3,01%
E-Compós	273	149	E-Compós	8	2,93%
BRAJIS Brazilian Journal of Information Science Research Trends	152	101	Ciência da Informação	4	2,63%
Galáxia São Paulo	371	227	Matrizes	8	2,16%
Contracampo	306	159	Comunicação e Sociedade	6	1,96%
Informação & Sociedade: Estudos	20	20	*2	0	0,00%

• Fonte: Elaborado pelos autores.

Os dados apontam revistas que possuem como maior citante o próprio periódico. Destaca-se, nesse caso, a revista Observatório, em que registra o índice de 37,11% de autocitações. Em seguida, com índices bem abaixo, estão a Brazilian Journalism Research (5,76%), Em Questão (4,42%), Liinc (4,15%), Fronteiras (4,13%), Matrizes (3,71%) e E-Compós (2,93%). Observe-se, para efeito de comparação, que a Revista Observatório registra um volume de 500% a mais de autocitação em relação à segunda revista com maior índice de citação vindo da própria revista, a Brazilian Journalism Research (BJR). As demais revistas estão com valores próximos ao encontrado por Canto et al. (2023) que analisaram taxas de autocitações de revistas ibero-americanas mais citadas (n=4,8%).

Verificou-se também que no caso da Transinformação há um alto índice de citação vindo da revista do Irã, Public Administration Perspective (چشم انداز مدیریت دولتی). Ao analisar os dados da Transinformação, percebe-se que o grande volume de citações advindo da Public Administration Perspective dizem respeito a erros de metadados, centrados em um único artigo: Knowledge management: the field’s constitution, themes, and research perspectives (Google Scholar, ([2023?]). O artigo foi publicado em 2020. Contudo, os metadados recuperados pelo Google Acadêmico remetem aos anos anteriores (2010-2019), indicando um problema em relação à indexação da plataforma, conforme apontado em levantamentos anteriores, a exemplo de Jacsó (2010)³.

Levando em consideração a diferença de comportamento citacional, o caso da Revista Observatório demanda uma análise mais detalhada sobre as citações ao periódico, uma vez que a citação feita por ela mesma se distribui em vários outros artigos publicados na própria revista. De qualquer maneira, o que foi verificado, tanto na Revista Observatório quanto na Public Administration Perspective (چشم انداز مدیریت دولتی), aponta para ponderações sobre a necessidade de estudos mais aprofundados para além do índice h. Todavia, também cabe considerar que, em tese, o índice h corrigiria em alguma medida esse desvio caso aconteça somente com um ou poucos artigos. Se tal prática for sistemática haverá influência do índice h.

Entre os anos de 2016 a 2020, a Revista Observatório obteve 477 citações, sendo que 41 destas citações não possuem metadados estruturados para uma análise precisa sobre a fonte. De qualquer modo, destaque-se que, das 436 menções ao periódico consideradas nesta análise, 71% das citações estão concentradas em somente três publicações:

1. a própria Revista Observatório, da Universidade Federal do Tocantins, com 40,6% das citações (n=177), apresentando um alto grau de autocitação;

2. a revista de extensão Capim Dourado, também da Universidade Federal do Tocantins, representando 20% das citações (n=87);

3. Aturá, Revista Pan-Amazônica, vinculada a diversas universidades da Região Amazônica, conferindo 10,6% das citações recebidas (n=46).

Gráfico 1 -
Citações na Revista Observatório entre 2016 e 2020* *Observação: Os demais 20,2% correspondem às citações de diversas outras fontes que, se descritas, dificultariam a visualização do gráfico

Na distribuição das citações por artigo, é possível verificar que apenas dois trabalhos possuem mais citações de outras fontes para além das três revistas predominantes. São os seguintes artigos: “Jornalismo na era da pós-verdade: fact-checking como ferramenta de combate às fake news” (artigo 1 no gráfico 2) e “Entre a tabloidização e o teaser publicitário: uma análise dos títulos caça-cliques” (artigo 11 no gráfico 2).

Gráfico 2-
Distribuição das citações por artigo nos periódicos com índice h5 > ou igual a 19

Caso fossem eliminadas das contagens de citação as menções às três revistas predominantes, os resultados indicariam 12 artigos com mais de 12 citações consideradas externas. Em outras palavras, com a exclusão das três revistas indicadas (Observatório, Capim Dourado e Aturá), o índice h da Revista Observatório vai de 19 para 12. Na tabela 4, a seguir, estão descritos os artigos da Revista Observatório, o ano e suas respectivas citações.

Tabela 4 -
Artigos da Revista Observatório com o ano e as respectivas citações

Título do Artigo	Ano	N. Citações
Jornalismo na era da pós-verdade: fact-checking como ferramenta de combate às fake news	2018	45
Webdiáspora: Migrações, TICs e memória coletiva	2016	19
Gamificação no ensino: casos bem-sucedidos	2018	18
¿Qué mueve a los estudiantes exitosos? Metas y motivaciones de universitarios en las modalidades presencial y distancia.	2016	16
Entre a tabloidização e o teaser publicitário: uma análise dos títulos caça-cliques	2018	16
Hacia una definición de comunicación institucional en situaciones de crisis	2018	15
Multidisciplinaridade e o desenvolvimento de serious games e simuladores para educação em saúde	2018	14
Pensamento computacional nas políticas e nas práticas em alguns países	2019	14
Do impresso ao digital: a história do Jornal do Brasil	2016	14
Potencialidades e fragilidades de robôs para crianças em idade pré escolar: 3 a 6 anos	2017	14
Uso de aplicativos para dispositivos móveis no processo de educação em saúde: reflexos da contemporaneidade	2018	13
Comunicação de marcas em redes sociais na internet: estilos de abordagem publicitária no Instagram	2016	12

• Fonte: Elaborado pelos autores.

Observadas as diversas possibilidades de utilização dos indicativos de impacto, como o índice h do Google Acadêmico, é fundamental que tais usos sejam continuamente avaliados a fim de manter princípios de coerência, exatidão e transparência. Investir em estratégias de publicação alinhadas a padrões endógenos de citações pode gerar dados “inflados” quanto ao desempenho dos periódicos científicos. Tais distorções podem causar efeitos em todo o sistema de publicação de periódicos, uma vez que acaba alterando artificialmente o ordenamento da lista de classificação.

Tais questões se tornam ainda mais relevantes quando consideramos o sistema aberto de produção e difusão da ciência. Tal modelo somente é possível graças a uma constância no financiamento público nacional, que estrutura toda a cadeia produtiva da comunidade intelectual nacional. O Brasil ocupa, no cenário internacional, a primeira posição na produção científica open access, com 75% da produção do país em livre acesso (Science-Metrix, 2018) - com destaque para o papel da plataforma SciELO na criação de um ambiente favorável à circulação do conhecimento aberto.

Ao considerarmos a relevância do uso de indicadores de impacto no processo de ranqueamento e classificação de periódicos científicos, é fundamental que haja um equilíbrio entre a crítica e a adoção de práticas recorrentes na comunidade internacional. Em particular, é preciso que editores e membros dos comitês editoriais estejam atentos aos padrões internacionais de validação dos elementos que compõem os indicadores de impacto. Essas questões precisam ser observadas levando em consideração a possibilidade de ações, intencionais ou não, que contrariam a boa conduta em se tratando de padrões transparentes e éticos acerca de publicações científicas.

Como indica o estudo de López-Cózar, Robinson-García e Torres-Salinas (2014), indicadores bibliométricos, a exemplo do Google Acadêmico, podem ser manipulados por meio da indexação de falsos papers. A questão central a ser levada em conta, a essa altura, diz respeito à capacidade, ou incapacidade, do próprio sistema em detectar atitudes consideradas “fora do padrão” e agir para a correção de eventuais distorções. De maneira adicional, é preciso considerar dois modos de agrupamentos de revistas. Assim, temos, por um lado, as revistas indexadas em bases como SciELO, Web of Science e JCR (Journal Citation Reports), que estabelecem padrões de produção e indexação e normas de conduta ética, a serem observados pelas equipes editoriais dos veículos associados. Do outro lado, estão os periódicos que ainda não estão indexados em bases de dados, mas que precisam seguir as mesmas orientações éticas a fim de alcançar uma validação mais consistente do seu trabalho.

Contudo, a quem compete a checagem escrutinadora no tocante à observação das boas práticas editoriais de veículos não-indexados em bases de maior prestígio? Considerando especificamente o papel “organizador/ordenador” das bases de dados, podemos tomar como exemplo o ocorrido no Brasil em 2013, quando quatro periódicos científicos da área médica foram suspensos do JCR por conta de irregularidades em suas citações. Sobre o ocorrido:

A Thomson Reuters, que organiza a lista do JCR, diz que as revistas brasileiras usaram um truque conhecido como “stacking” para inflar o fator de impacto. A prática é uma espécie de citação cruzada. Uma revista A cita a revista B, enquanto a B cita a revista A. Assim, a média de citações é inflada (Miranda, 2013).

Na ocasião, 67 publicações foram suspensas por não observarem boas práticas editoriais. Tal ação funciona como elemento disciplinar, tendo papel determinante quanto ao estabelecimento e aplicação de normas éticas. Desse modo, na ausência de uma estrutura oficial e reconhecida no que se refere ao processo de verificação das condutas editoriais, é fundamental que sejam propostas estruturas capazes de contribuir com o amadurecimento de nossa comunidade editorial.

A partir desses argumentos, torna-se necessário destacar alguns aspectos positivos e negativos sobre o índice h para a avaliação de periódicos científicos. Dentre os positivos destacam-se:

1. medição da influência científica - leva-se em consideração não apenas o número de artigos publicados, mas também quantas vezes esses artigos foram citados por outros pesquisadores;

2. identificação de tendências de pesquisa - os pesquisadores podem identificar tendências emergentes e áreas de pesquisa mais influentes;

3. promoção da qualidade editorial - possibilitar aos editores de periódicos científicos indicativos para manter padrões de qualidade editorial, resultando em uma seleção rigorosa de artigos, revisões aprofundadas e uma abordagem criteriosa para a publicação.

Em relação aos aspectos negativos, destacam-se:

1. foco na quantidade em detrimento da qualidade - o fato de o artigo receber um grande número de citações não garante que ele seja de alta qualidade ou que contribuam significativamente para o avanço do campo;

2. viés de citações - artigos com maior número de citações por padrão terão índices h altos. Além disso, periódicos que publicam artigos em campos de pesquisa em rápido crescimento podem ter índices h inflacionados;

3. desafios éticos e de pressão por produtividade - o uso do índice h na avaliação pode criar pressões indesejadas e isso pode incluir a busca por citações a qualquer custo.

5 Considerações finais

Os dados desta investigação contribuem para a compreensão do uso do índice h como métrica para a classificação de periódicos, mesmo que sejam necessários estudos complementares para ampliar o debate do tema. Da mesma forma, torna-se necessário o desenvolvimento de metodologias e sistemas que possam identificar possíveis práticas de citação cruzada ou de formação de cartéis de citação para inflar as métricas.

Considerando que tal índice venha desempenhando papel importante, pois evidencia periódicos e artigos com impacto real detectado, a adoção efetiva de boas práticas precisa ser considerada como variável determinante no processo de consolidação de tais critérios de impacto por meio de indicadores bibliométricos e de avaliação das revistas científicas. Existem alguns esforços acadêmicos para identificar más práticas citacionais como, por exemplo, os cartéis de citações. Entre estes esforços, discute-se a utilização de uma diversificação das métricas de citação, além de propostas de indicadores que façam a ponderação entre o nível de autor e o grau de influência do periódico dentro de um campo. Além de esforços que exploraram o uso da análise de rede para descobrir cartéis de citações tácitos entre periódicos e as implicações de tais colaborações nas classificações.

Embora o índice h deva ser considerado como ferramenta relevante, acreditamos que indicadores complementares podem servir de suporte no processo de estratificação do Qualis/CAPES. De modo geral, a comunidade científica precisa ter à mão ferramentas que reconheçam pesquisas de boa qualidade, bem como precisa exercer algum tipo de controle e acompanhamento sobre o caráter transparente de tais indicadores.

Nesse aspecto, seria prudente que, no decorrer dos próximos ciclos avaliativos, fossem adotados critérios para a análise da qualidade/integridade das citações que impactam na definição do índice h das revistas.

Por fim, cabe salientar que o uso do índice h na avaliação de periódicos científicos suscita algumas questões éticas: (a) discriminação de campos de pesquisa: favorecimento de campos de pesquisa com maior tradição e recursos, discriminando áreas emergentes ou menos desenvolvidas que podem não receber tanta atenção); (b) redução da diversidade de pesquisa: concentração de pesquisa em tópicos populares e lucrativos, reduzindo a diversidade de temas de pesquisa abordados nos periódicos); e, (c) pressão sobre pesquisadores: pressão sobre os pesquisadores para publicar em periódicos de alto impacto, às vezes em detrimento de abordagens inovadoras ou de pesquisa de longo prazo).

Em resumo, o índice h é uma métrica eficiente para a avaliação de periódicos na área de Comunicação e Informação, pois fornece uma medida quantitativa do impacto das publicações. No entanto, seu uso deve ser complementado com avaliações qualitativas e consideração de desafios éticos para garantir uma avaliação justa e precisa da pesquisa acadêmica. No entanto, é necessário levar em consideração os desafios para a realização de uma análise qualitativa tendo em vista o grande volume de produção científica da comunidade acadêmica no país. Portanto, torna-se necessário o desenvolvimento de métodos, ferramentas, tecnologias e indicadores adequados para otimizar estas análises qualitativas. A comunidade acadêmica e as instituições de pesquisa devem continuar a discutir formas aperfeiçoadas e éticas de avaliar o impacto da pesquisa.

Referências

• BORNMANN, L.; DANIEL, H. D. The state of h index research. Is the h index the ideal way to measure research performance? EMBO Reports, Heidelberg, v. 10, n. 1, p. 2-6, 2009. Disponível em: https://doi.org/10.1038/embor.2008.233 Acesso em: 14 mar. 2024.
  » https://doi.org/10.1038/embor.2008.233
• BRASIL. Ministério da Educação. Relatório do Qualis Periódicos - Área 31: Comunicação e Informação. Brasília: CAPES, 2019. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-comunicacao-informacao-pdf Acesso em: 7 nov. 2023.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-comunicacao-informacao-pdf
• CANTO, F. L. Avaliação de impacto de periódicos ibero-americanos com base no índice h5 do Google Scholar Metrics. 2022. Tese (Doutorado em Ciência da Informação) - Universidade Federal de Santa Catarina, Florianópolis, 2022.
• CANTO, F. L.; PINTO, A. L.; DIAS, T .M. R.; GAVRON, E. M.; TALAU, M. Gsm_hdata: a bibliometric tool to analyze data from google scholar metrics. Mobile Networks and Applications, Berlin, 2023. Disponível em: https://doi.org/10.1007/s11036-023-02258-9 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1007/s11036-023-02258-9
• CANTO, F. L.; PINTO, A. L.; GAVRON, E. M.; TALAU, M. Latin American and Caribbean journals indexed in Google Scholar Metrics. Scientometrics, Budapeste, v. 127, p. 763-783, 2022. Disponível em: https://doi.org/10.1007/s11192-021-04237-x Acesso em: 20 fev. 2024.
  » https://doi.org/10.1007/s11192-021-04237-x
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plataforma Sucupira: Qualis. Brasília, 2022. Disponível em: https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf Acesso em: 20 fev. 2024.
  » https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Documento técnico do Qualis Periódicos. Brasília, 2023. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/avaliacao-quadrienal-2017/DocumentotcnicoQualisPeridicosfinal.pdf Acesso em: 20 fev. 2024.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/avaliacao-quadrienal-2017/DocumentotcnicoQualisPeridicosfinal.pdf
• COSTA, H.; CANTO, F. L.; PINTO, A. L. Google Scholar Metrics e a proposta do novo Qualis: impacto dos periódicos brasileiros de Ciência da Informação. Informação & Sociedade: Estudos, João Pessoa, v. 30, n. 1, p. 1-16, 2020. Disponível em: https://doi.org/10.22478/ufpb.1809-4783.2020v30n1.50676 Acesso em: 20 fev. 2024.
  » https://doi.org/10.22478/ufpb.1809-4783.2020v30n1.50676
• EISENLOHR, P. et al Thinking better about high-quality science: a look at some ethical flaws and productivity evaluation. Brazilian Journal of Biology, São Carlos, v. 74, n. 4, p.1009-1010, 2014. Disponível em: https://doi.org/10.1590/1519-6984.17413 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1590/1519-6984.17413
• FONG, E. A.; WILHITE, A. W. Authorship and citation manipulation in academic research. PloS One, São Francisco, v. 12, n. 12, p. 1-34, 2017. Disponível em: https://doi.org/10.1371/journal.pone.0187394 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1371/journal.pone.0187394
• GOOGLE SCHOLAR. Artigos que citam Knowledge management: the field’s constitution, themes, andresearch […]. Califórnia, [2023?]. Disponível em: https://scholar.google.com/citationshl=ptBR&venue=wNMkUMmBG1sJ.2022&view_op=hcore_citedby&hcore_pos=0 Acesso em: 20 fev. 2024.
  » https://scholar.google.com/citationshl=ptBR&venue=wNMkUMmBG1sJ.2022&view_op=hcore_citedby&hcore_pos=0
• HARZING, A. W. Publish or perish. London, 2007. Disponível em: https://harzing.com/resources/publish-or-perish Acesso em: 14 mar. 2024.
  » https://harzing.com/resources/publish-or-perish
• HIRSCH, J. E. An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, Washington, v. 102, n, 46, p. 16569-16572, 2005. Disponível em: https://doi.org/10.1073/pnas.0507655102 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1073/pnas.0507655102
• IOANNIDIS, J. P. A. A generalized view of self-citation: direct, co-author, collaborative, and coercive induced self-citation. Journal of Psychosomatic Research, Oxford, v. 78, n. 1, p. 7-11, 2015. Disponível em: https://doi.org/10.1016/j.jpsychores.2014.11.008 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1016/j.jpsychores.2014.11.008
• JACSÓ, P. Metadata mega mess in Google Scholar. Online Information Review, Bradford, v. 34, n. 1, p. 175-191, 2010. Disponível em: https://doi.org/10.1108/14684521011024191 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1108/14684521011024191
• JACSÓ, P. Google Scholar duped and deduped: the aura of “robometrics”. Online Information Review, Bradford, v. 35, n. 1, p. 154-160, 2011. Disponível em: https://doi.org/10.1108/14684521111113632 .Acesso em: 20 fev. 2024.
  » https://doi.org/10.1108/14684521111113632
• KOUSHA, K.; THELWALL, M. Sources of Google Scholar citations outside the Science Citation Index: a comparison between four science disciplines. Scientometrics, Dordrecht, v. 74, n. 2, p. 273-294, 2008. Disponível em: https://doi.org/10.1007/s11192-008-0217-x Acesso em: 20 fev. 2024.
  » https://doi.org/10.1007/s11192-008-0217-x
• LÓPEZ-CÓZAR, E. D.; ROBINSON-GARCÍA, N.; TORRES-SALINAS, D. The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the Association for Information Science and Technology, New York, v. 65, n. 3, p. 446-454, 2014. Disponível em: https://doi.org/10.1002/asi.23056 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1002/asi.23056
• MARTÍN-MARTÍN, A. et al Google Scholar, Web of Science, and Scopus: a systematic comparison of citations in 252 subject categories. Journal of Informetrics, Amsterdam, v. 12, n. 4, p. 1160-1177, 2018. Disponível em: https://doi.org/10.1016/j.joi.2018.09.002 Acesso em: 20 fev. 2024.
  » https://doi.org/10.1016/j.joi.2018.09.002
• MIRANDA, G. Quatro revistas brasileiras são suspensas de índice internacional. Folha de S. Paulo, São Paulo, 3 jul. 2013.
• ONBEKEND, N.; WALTMAN, L.; RIJCKE, S. What do we know about journal citation cartels? A call for information. CWTS: Meaningful Metrics -Blog archive. Leiden, 24 June 2016.
• OPTHOF, T. Inflation of impact factors by journal self-citation in cardiovascular science. Netherlands Heart Journal, Amsterdam, v. 21, n. 4, p. 163-165, 2013. Disponível em: https://doi.org/10.1007/s12471-013-0384-0 Acesso em: 18 out. 2023.
  » https://doi.org/10.1007/s12471-013-0384-0
• PARIJA, S. C.; MANDAL, J.; POONAMBATH, D. K.; HALDER, A. Ethical dilemmas and etiquettes of scientific publication. In: PARIJA, S. C.; KATE, V. (org.) Writing and publishing a scientific research paper. Springer: Berlin, 2017. p. 189-195.
• PINTO, A. L.; CANTO, F. L.; GAVRON, E. M.; TALAU, M. Periódicos científicos brasileiros indexados no Google Scholar Metrics. Informação & Sociedade: Estudos, João Pessoa, v. 30, n. 4, p. 1-18, 2020. Disponível em: https://doi.org/10.22478/ufpb.1809-4783.2020v30n4.57048 Acesso em: 20 fev. 2024.
  » https://doi.org/10.22478/ufpb.1809-4783.2020v30n4.57048
• SCIENCE-MATRIX. Analytical support for bibliometrics indicators: open access availability of scientific publications. Montréal, 2018. Disponível em: https://www.science-metrix.com/sites/default/files/science-metrix/publications/science-metrix_open_access_availability_scientific_publications_report.pdf Acesso em: 31 ago. 2023.
  » https://www.science-metrix.com/sites/default/files/science-metrix/publications/science-metrix_open_access_availability_scientific_publications_report.pdf
• SILVA, J. A. T. The Google Scholar h-index: useful but burdensome metric. Scientometrics, Dordrecht, v. 117, n. 1, p. 631-635, 2018. Disponível em: https://doi.org/10.1007/s11192-018-2859-7 Acesso em: 31 ago. 2023.
  » https://doi.org/10.1007/s11192-018-2859-7
• SILVA, J. A. T; DOBRÁNSZKI, J. Multiple versions of the h-index: cautionary use for formal academic purposes. Scientometrics, Dordrecht, v. 115, n. 2, p. 1107-1113, 2018. Disponível em: https://doi.org/10.1007/s11192-018-2684-z Acesso em: 31 ago. 2023.
  » https://doi.org/10.1007/s11192-018-2684-z

• 1
  Essa coleta foi feita pelo desenvolvimento de um script em linguagem estatística R pelo pacote de raspagem de dados rvest com duas funções principais. A primeira acessa a página de artigos mais citados de cada periódico no Google Scholar e registra seus metadados. A segunda visita a página que indica quais artigos fazem a citação, navega até a última página e extrai os metadados.
• 2
  Não foi identificada fonte com maior número de citações, visto que das 20 citações contabilizadas vinham de 20 fontes distintas.
• 3
  Eliminando esta citação proveniente de erro de metadado, a Transinformação possui como maior citante ela mesma, com 11 citações, representando 2,08% de autocitação.

Datas de Publicação

• Publicação nesta coleção
  05 Jul 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  08 Nov 2023
• Aceito
  05 Mar 2024