Revisão Sistemática de Literatura e Análise de Conteúdo na Área da Comunicação e Informação: o problema da confiabilidade e como resolvê-lo

Systematic Literature Review and Content Analysis in the Area of Communication and Information: the reliability problem and how to fix it

Resumo

Este trabalho apresenta uma análise da qualidade metodológica das revisões sistemáticas de literatura lusófonas, na área da Comunicação e Informação, utilizando princípios e técnicas desta metodologia comuns à análise de conteúdo, notadamente as relativas à replicabilidade e à confiabilidade. Para isso, 4 bases de indexação foram utilizadas: Web of Science, Scopus, DOAJ e SciELO, sob delimitação temporal específica (2010-2021). Mediante o desenvolvimento de um livro de códigos e realização de testes de confiabilidade, 49 trabalhos foram selecionados e analisados em relação a informações sobre (a) bases utilizadas; (b) termos de busca; (c) delimitação temporal (quantidade de anos); (d) número de trabalhos analisados; (e) critérios de inclusão e/ou exclusão; (f) replicabilidade; (g) confiabilidade. Os principais resultados indicam uma reduzida preocupação dos trabalhos analisados em incorporar ou reportar procedimentos responsivos à confiabilidade (n=3). Por outro lado, a maior parte dos estudos (n=40) mostrou-se, em linhas gerais, replicável. A principal inovação e contribuição desta pesquisa consistiu em propor e testar um procedimento de incremento da confiabilidade das revisões sistemáticas mediante consulta aos autores dos trabalhos revisados. Destaca-se, para além do caráter inovador de tal procedimento, os ganhos epistêmicos por ele trazidos. Discute-se, ao final, as implicações dos resultados para pesquisas futuras, indicando os possíveis ganhos que as estratégias metodológicas concebidas e testadas neste trabalho oferecem para balizar o rigor metodológico das revisões sistemáticas de literatura.

Palavras-chave
Revisão Sistemática de Literatura; Análise de Conteúdo; Confiabilidade; Replicabilidade; Metodologia

Abstract

This work presents an analysis of the methodological quality of systematic reviews of Portuguese-speaking literature, in the area of Communication and Information by using principles and techniques of this methodology common to content analysis, notably those relating to replicability and reliability. For this, we used 4 indexing bases, namely Web of Science, Scopus, DOAJ and SciELO, under a specific temporal delimitation (2010-2021). By developing a codebook and carrying out reliability tests, we selected and analyzed 49 works regarding the following characteristics: (a) databases; (b) search strings; (c) temporal delimitation (number of years); (d) number of analyzed works; (e) inclusion and/or exclusion criteria; (f) replicability; (g) reliability. The main results indicate a reduced concern of the analyzed works in incorporating or reporting procedures responsive to reliability (n=3). On the other hand, most studies (n=40) proved to be, in general terms, replicable. The main innovation and contribution of this research consisted in proposing and testing a procedure to increase the reliability of systematic reviews by consulting the authors of the papers. We highlight, in addition to the innovative character of such a procedure, its epistemic improvements. Finally, we discuss directions for future research by indicating possible gains that the methodological strategies conceived and tested in this work offer to guide the methodological rigor of systematic literature reviews.

Keywords
Systematic Literature Review; Content analysis; Reliability; Replicability; Methodology

Introdução

A Revisão Sistemática de Literatura (RSL) compartilha com a Análise de Conteúdo (AC), entre outras características, as modulações normativas da replicabilidade e da confiabilidade (Kitchenham, 2007; Wilson, 2009). Não por acaso, essas metodologias têm sido adotadas em conjunto por diversas pesquisas (Jesus; Simões; Voegeli, 2013; Araújo; Seabra, 2021).

Todavia, estudos têm mostrado que os procedimentos relativos à confiabilidade estão sendo extensamente ignorados pelos trabalhos que utilizam a AC como seu método principal de análise (Lovejoy; Watson; Lacy, 2014; Sampaio; Lycarião, 2021). Diante da expectativa de que o mesmo pode estar ocorrendo em relação às RSLs, o presente estudo foi desenhado a partir da seguinte questão de pesquisa: qual o nível de responsividade das RSLs lusófonas, na área da Comunicação e Informação, em relação aos princípios metodológicos comuns compartilhados com a AC?

O recorte pela área da Comunicação e Informação partiu da premissa de que as aplicações metodológicas tendem a apresentar especificações próprias a depender da área de pesquisa. Contudo, faz-se oportuno esclarecer que a Comunicação e Informação a qual nos referimos neste trabalho corresponde, especificamente, à área de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). No caso, a área da Comunicação e Informação é uma das 7 áreas das Ciências Sociais Aplicadas que congrega, no momento da escrita deste trabalho, os cursos de pós-graduação em Comunicação, Ciências da Informação e Museologia (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, 2017).

Comum aos pesquisadores desses cursos está a necessidade de se estabelecer, nos trabalhos, um “estado da arte”, a partir do qual se poderá projetar novas contribuições e avanços em relação ao conhecimento anterior e que foi identificado na revisão de literatura.

Para tal finalidade, a RSL tem despontado como uma metodologia mais responsiva aos princípios científicos da transparência, da replicabilidade e da confiabilidade na implementação de um estado da arte (Cooper, 2015; Cerrao; Jesus; Castro, 2018).

Reconhecendo-se a importância desses princípios para caracterizar uma RSL, este trabalho tem um objetivo bifurcado e entrelaçado, pois estabelece uma proposta baseada no que foi feito anteriormente, ao mesmo tempo que visa aperfeiçoar o rigor metodológico das RSLs mediante a incorporação e adaptação de procedimentos da análise de conteúdo categorial (Kitchenham, 2007; Lycarião; Sampaio, 2021; Wilson, 2009). No caso, o entrelaçamento ocorre a partir do momento que essa incorporação é realizada na própria RSL que realizamos para descobrir como a área da Comunicação e Informação tem realizado suas RSLs e, com isso, nossa proposta se assenta na distância relativa entre o que propomos e realizamos e aquilo que encontramos.

Para isso, analisamos, por meio da combinação das metodologias da RSL com a AC, como a RSL tem sido utilizada, na área da Comunicação e Informação, na literatura lusófona da última década (2010-2021). As seguintes bases de indexação de periódicos foram utilizadas para o termo de busca “revisão sistemática de literatura”: Web of Science (WoS), Scopus, Directory of Open Access Journals (DOAJ) e Scientific Electronic Library Online (SciELO). Após a aplicação dos critérios de inclusão e exclusão formalizados nos materiais suplementares deste trabalho, selecionamos e analisamos 49 artigos.

Enquanto a seleção dos artigos foi submetida a um teste de confiabilidade entre dois codificadores, a análise dos artigos selecionados foi alvo de um procedimento que, até onde se sabe, mostra-se inédito. No caso, trata-se de consultar os autores dos trabalhos revisados acerca da precisão e correção das análises realizadas. Esse procedimento obteve uma taxa de resposta bastante positiva (70% da amostra) e com altos níveis de concordância (97%). As correções sugeridas e incorporadas também permitiram incrementar a validade de nossas análises.

Nossos resultados revelaram uma reduzida preocupação das pesquisas analisadas em incorporar ou reportar procedimentos responsivos à confiabilidade das RSLs realizadas. Por outro lado, a maior parte dos estudos apresentou informações mais básicas necessárias à sua replicação. Discutimos as implicações desses resultados para pesquisas futuras, destacando os ganhos que os procedimentos da AC relativos à confiabilidade e à replicabilidade oferecem para incrementar o rigor metodológico das RSLs.

RSL e AC: uma parceria incompleta?

Gusenbauer e Haddaway (2020, p. 183) sintetizam três grandes objetivos da RSL para avaliar os sistemas de busca das bases de indexação, sendo estes objetivos, a saber: (a) relevância, (b) transparência e (c) replicabilidade. Isso significa que uma revisão sistemática tem de ser desenhada e formalizada de modo que garanta a seleção dos trabalhos mais relevantes e que também permita à comunidade científica acessar os conteúdos da RSL a ponto que seja possível replicar a revisão. Sendo assim, pode-se dizer que uma RSL que não é transparente em seus procedimentos e instrumentos não se mostra replicável, pois a comunidade científica não tem informações e instruções suficientes para refazê-la. A transparência é, portanto, condição de possibilidade da replicabilidade.

Sendo assim, as RSLs devem, para fins de transparência e replicabilidade, apresentar, entre outros, informações sobre quais as bases de indexação utilizadas, os termos de busca, os critérios de inclusão e/ou exclusão, assim como as categorias utilizadas para sintetizar o conjunto dos trabalhos selecionados (Kitchenham, 2007; Wilson, 2009; Souza; Aganette, 2020).

Contudo, o fato de uma pesquisa ser transparente e, portanto replicável, não garante que eventuais replicações (inclusive pelo próprio autor da análise original) cheguem aos mesmos resultados (King, 1995; Rocha et al., 2014). Trata-se, no caso, da dimensão da confiabilidade, a qual responde se a análise realizada mostra-se confiável no sentido de que as regras de classificação e categorização foram testadas em sua consistência e estabilidade (Sampaio; Lycarião, 2018, 2021).

Na intenção de expandir o conjunto de pesquisas que tem mesclado RSL e AC, propomos, com esse trabalho, discutir os procedimentos das RSLs de modo a incrementar a transparência, replicabilidade e a confiabilidade delas. Nesse sentido, encontramos nos trabalhos de Kitchenham (2007) e Wilson (2009) um ponto de partida relevante, pois indicam, no contexto da RSL, procedimentos da AC para a seleção dos trabalhos e a codificação do material selecionado para a síntese de pesquisa. Em ambos os momentos, são indicados procedimentos comuns à AC para estabelecer a confiabilidade da RSL. Tais trabalhos apresentam orientações que espelham uma parceria orgânica entre os princípios e técnicas da RSL com a AC.

Contudo, lançamos a questão se essa parceria não estaria, na prática, incompleta, pois os procedimentos da AC, quando efetivamente encontrados, parecem ser incorporados apenas em uma “segunda etapa” (Jesus; Simões; Voegeli, 2013) e não já na seleção dos estudos, ou seja, durante a aplicação dos critérios de inclusão ou exclusão.

Em nosso caso, por exemplo, estabelecemos como um dos critérios de exclusão trabalhos fora da área da Comunicação e da Informação. Contudo, alguns trabalhos de natureza mais interdisciplinar colocaram, por vezes, nossos analistas em dúvida sobre a exclusão ou não de alguns trabalhos com essa característica interdisciplinar. Isso implica, então, que a decisão de incluir ou excluir esse tipo de trabalho requer uma análise de conteúdo, e que ela, desse modo, deve ser fundamentada sob critérios transparentes, replicáveis e confiáveis. Isso é exatamente o que tentamos estabelecer na corrente pesquisa por meio da aplicação dos procedimentos da análise de conteúdo, como recentemente sintetizados por Sampaio e Lycarião (2021) dentro do contexto lusófono.

Daí, então, a necessidade de incrementar o rol de procedimentos das RSLs de modo a iniciar a codificação e sua confiabilidade já na fase de seleção dos trabalhos que irão compor a revisão sistemática, e não apenas quando tal material já foi selecionado, sendo justamente este o procedimento mais recorrente (Jesus; Simões; Voegeli, 2013; Araújo; Seabra, 2021).

Procedimentos metodológicos

Um dos primeiros passos de uma RSL é definir as bases de indexação de trabalhos científicos que serão utilizadas para a busca, recuperação e seleção dos trabalhos. Contudo, essa escolha não é trivial e requer dos pesquisadores uma detida reflexão e ponderação de vantagens e desvantagens de cada base para alcançar seus propósitos. Algo que inclusive requer realizar sucessivos testes até que se possa identificar quais delas oferecem o melhor equilíbrio entre relevância, transparência e replicabilidade das buscas.

Nesse sentido, Gusenbauer e Haddaway (2020) oferecem uma relevante contribuição ao realizarem uma avaliação de 28 sistemas de busca ofertados por diferentes bases de indexação e estabelecem, a partir da aplicação de 27 critérios de avaliação, um conjunto de bases para uso prioritário e outras de uso secundário/complementar. Entre as bases de uso prioritário, constam os sistemas de busca de bases proprietárias como a Web of Science e da Scopus. O Google Acadêmico é alvo de uma avaliação destacadamente negativa dos autores, pois, além de se utilizar largamente de “literatura cinzenta”, não permite a utilização de operadores booleanos e tem a relevância dos resultados concentrada na primeira página. A DOAJ é recomendada como base de uso complementar e a SciELO sequer consta entre as 28 bases analisadas.

Contudo, resolvemos utilizar tais bases (DOAJ e SciELO) pela sua capilaridade e importância para a Área da Comunicação e Informação, particularmente aquela codificada em língua portuguesa (lusófona). Tal importância é demonstrada pelo fato de o Brasil já ter ficado em primeiro lugar no DOAJ no número de artigos em acesso aberto (Packer, 2021, p. 31).

Ademais, a escolha por bases complementares se faz necessária quando a comunidade científica com a qual se almeja dialogar e contribuir não está indexada nas bases “principais”. Como mostram Mugnaini et al. (2019), isso se faz especialmente necessário para as Ciências Humanas e Sociais.

Para fornecer um diagnóstico sobre as principais técnicas de composição de uma RSL lusófona na área da Comunicação e Informação, realizamos, no dia 11 de novembro de 2021, a prospecção de artigos na Web of Science, SciELO, Scopus e DOAJ, utilizando o termo de busca “revisão sistemática”. Essa busca retornou os seguintes resultados por base: Wos = 0², SciELO = 18³, Scopus = 37⁴, DOAJ: 69⁵, totalizando 124 resultados iniciais.

Ao observar o objetivo geral da pesquisa, os membros da equipe elaboraram um livro de códigos para categorizar uma planilha com os 124 resultados. Tal livro de códigos teve por finalidade estabelecer os critérios a partir dos quais trabalhos deveriam ser incluídos ou excluídos de nossa RSL. A partir de diversos pré-testes sobre o instrumento de codificação, foi realizado um teste de confiabilidade utilizando a plataforma on-line apresentada e disponibilizada por Freelon (2010). O teste de confiabilidade obteve os seguintes resultados: (a) concordância nominal: 77.4%, (b) scott’s Pi: 0.668; (c) Cohen’s Kappa: 0.668; Krippendorff’s Alpha: 0.669.

Após a resolução das discordâncias extremas (incluir vs excluir) e moderadas (as demais combinações), chegou-se, em um primeiro momento, a 50 artigos para serem selecionados e analisados. Enquanto as discordâncias extremas foram resolvidas mediante deliberação entre os analistas, as discordâncias moderadas foram resolvidas por meio do seguinte protocolo: (a) excluir vs dúvida = excluir; (b) dúvida vs dúvida = excluir; (c) dúvida vs incluir = incluir. O registro anonimizado das razões e argumentos para a resolução dos casos de discordância extremas estão disponíveis em: https://figshare.com/s/a9b7a46ff87a36425375.

Após a seleção dos trabalhos, o livro de códigos foi ampliado de modo a estabelecer orientações sobre como categorizar os princípios metodológicos de interesse dessa pesquisa em cada artigo selecionado. No caso da transparência e, por consequência, da replicabilidade, tais princípios foram, em geral, considerados satisfeitos quando a RSL apresentou: (a) bases utilizadas; (b) termos de busca; (c) delimitação temporal (quantidade de anos); (d) número de trabalhos analisados; (e) critérios de inclusão e/ou exclusão.

Em relação à confiabilidade, tal princípio foi considerado satisfeito quando o artigo apresentou informações sobre se a prospecção de trabalhos e o refinamento da amostra foram submetidos a uma comparação entre análises de um ou mais analistas/codificadores/juízes (Quadro 1).

Quadro 1
Protocolo da RSL sobre “revisão sistemática” na área da Comunicação e Informação (versão resumida).

Itens descritos	Descrição
Objetivo geral	Verificar a qualidade metodológica das RSLs lusófonas na área da Comunicação e Informação (2010-2021).
Bases	Web of Science (Core Collection) Scopus DOAJ SciELO
Termos de busca	“revisão sistemática”
Campos de busca	Título, resumo ou palavra-chave
Intervalo temporal	2010 -2021
	Inclusão
Critérios de inclusão e exclusão	Indicar realização de uma revisão sistemática no título e/ou resumo; Trabalhos na área da Comunicação e Informação.
	Exclusão
	Há apenas menção ao termo “revisão sistemática”, sem que uma tenha sido efetivamente realizada; Interdisciplinaridade fora do escopo da revisão; Caso o artigo não possua o texto completo em português.
Procedimento de seleção dos trabalhos (1a fase)	Leitura do título, resumo e palavras-chave.
Procedimento da análise de conteúdo (2a fase)	Leitura da introdução, da seção metodológica, dos elementos flutuantes e busca por termos de interesse das variáveis.
Variáveis analisadas	a) bases utilizadas b) termos de busca c) delimitação temporal (quantidade de anos) d) número de trabalhos analisados e) critérios de inclusão e/ou exclusão f) replicabilidade g) confiabilidade

• Fonte: Elaborado pelos autores (2022).

Uma vez realizadas as análises de todos os trabalhos, nos debruçamos sobre a tarefa de executar procedimentos de confiabilidade sobre as nossas próprias codificações. Para isso, no lugar de nos valermos da verificação entre os analistas/juízes/codificadores da nossa equipe de pesquisa, resolvemos adotar um procedimento que, sob nosso melhor conhecimento, mostra-se inédito. Tratou-se de solicitar aos autores dos trabalhos revisados que estes se manifestassem quanto à correção e precisão de nossas análises.

Essa solicitação foi realizada seguindo um modelo padronizado que foi remetido a todos os primeiros autores dos 50 trabalhos. Após duas semanas, foi enviado novo contato com cópia para todos(as) os(as) coautores(as) que não responderam.

Sob esse procedimento, obtivemos 34 respostas válidas, das quais 29 confirmaram a correção de nossas análises integralmente, 4 solicitaram uma ou mais correções e uma resposta permitiu perceber que havíamos incluído um falso positivo. Com a exclusão deste, a amostra final ficou com 49 trabalhos.

Os 16 que ficaram sem resposta foram submetidos a uma tripla ou dupla codificação, em que cada analista codifica o mesmo trabalho de modo independente para posterior comparação. Sendo assim, nenhum trabalho ficou sem procedimento de confiabilidade, seja por parte da própria equipe de pesquisa (30%), seja por parte dos autores dos trabalhos revisados (70%). Ao excluirmos o falso positivo, o índice de concordância dos autores que nos responderam foi de 97,40%, pois houve apenas 6 solicitações de correção num universo de 231 decisões (7 decisões para cada um dos 33 artigos). Das 6 solicitações de correção, apenas uma não foi acatada.

O detalhamento desses procedimentos e análises estão disponíveis (também de modo anônimo) no livro de códigos, nas planilhas e no modelo de e-mail arrolados a seguir:

Livro de códigos: https://figshare.com/s/32586e84425cd5b31c37.

Planilha com os dados analisados: https://figshare.com/s/8f2932633e596fd463cf.

Modelo de contato padronizado: https://figshare.com/s/724b53f52933c9fd5927.

Resultados

No que diz respeito aos dados referentes à transparência e replicabilidade da amostra, a grande maioria dos trabalhos apresentou os termos de busca ou palavras-chave utilizadas. Conforme os dados da Tabela 1, apenas 5 (10,20%) não informaram claramente os termos de busca utilizados.

Tabela 1
Artigos que identificam os termos de busca.

Termos de busca	Quantidade	Percentagem (%)
Total geral	49	100,00
Sim (Encontrado)	44	089,80
Não encontrado	5	010,20

• Fonte: Elaborado pelos autores (2022).

Em relação à identificação dos critérios de inclusão ou exclusão, os resultados se mostraram similares aos termos de busca. A Tabela 2 traz o dado de que 44 dos 49 trabalhos da amostra identificaram os critérios com os quais estudos anteriores foram incluídos ou excluídos da amostra.

Tabela 2
Artigos que identificam critérios de inclusão/exclusão.

Critérios de Inclusão e/ou exclusão	Quantidade	Percentagem (%)
Total geral	49	100,00
Sim (Encontrado)	44	89,80
Não encontrado	5	10,20

• Fonte: Elaborado pelos autores (2022).

A identificação nos trabalhos de informações sobre termos de busca, as bases utilizadas, o tamanho da amostra e os critérios de inclusão ou exclusão ajudaram a avaliar se a RSL se mostrou replicável. Ao avaliar tais parâmetros, a presente pesquisa chegou ao dado de que 40 (81,63%) das 49 RSLs selecionadas e analisadas apresentaram condições mínimas de replicabilidade (Tabela 3).

Tabela 3
Artigos com RSLs replicáveis.

Replicabilidade	Quantidade	Percentagem (%)
Total geral	49	100,00
Sim	40	81,63
Não	9	18,37

• Fonte: Elaborado pelos autores (2022).

Houve apenas 2 casos extremos de ausência de replicabilidade. Trata-se de casos extremos, pois não foram identificados as bases de pesquisa utilizadas, os termos de busca, o período temporal ou mesmo o tamanho da amostra. Tais informações se mostraram ausentes a despeito do resumo desses trabalhos sugerirem a condução de uma revisão sistemática.

Já em relação à avaliação se as RSLs da amostra identificaram procedimentos responsivos à confiabilidade, apenas 3 (6,12%) trabalhos (Medeiros Filho; Russo, 2018; Machado; Elias, 2020; Santini; Salles, 2020) apresentaram esse tipo de informação no corpo do trabalho (Tabela 4).

Tabela 4
Artigos com RSLs com procedimentos de confiabilidade.

Confiabilidade	Quantidade	Percentagem (%)
Total geral	49	100,00
Não encontrado	46	93,88
Sim	3	6,12

• Fonte: Elaborado pelos autores (2022).

Nos demais, não houve citação a procedimentos de verificação posterior das classificações e análises empreendidas. Contudo, no contato realizado por e-mail com os autores, 3 informaram que: (a) o procedimento embora não esteja explicitado no artigo acontece na discussão e análise feita entre os membros do grupo de pesquisa; (b) houve consulta a um juiz externo (da equipe de pesquisa), mas não foi reportado no artigo e, por último, e (c) houve comparação das análises entre os autores do trabalho, mas não foi reportado no artigo publicado.

Discussão

Os resultados mostram um quadro ambíguo em relação à qualidade metodológica das RSLs lusófonas na área da Comunicação e Informação. Se, por um lado, elementos para a replicabilidade se mostraram presentes na maior parte dos trabalhos revisados, por outro, procedimentos voltados à confiabilidade foram raramente realizados ou reportados.

Isso implica que, assim como ocorre na análise de conteúdo (Lovejoy; Watson; Lacy, 2014; Sampaio; Lycarião, 2021), esforços voltados à confiabilidade das RSLs lusófonas têm se mostrado aquém do projetado pela comunidade científica especializada (Kitchenham, 2007; Wilson, 2009; Souza; Aganette, 2020).

Conforme apontam Kitchenham (2007) e Wilson (2009), tais esforços deveriam se aplicar tanto à seleção dos trabalhos quanto à produção da síntese (análise dos itens selecionados). Em ambas as fases, protocolos para a codificação em pares e resolução das discordâncias entre os analistas são recomendados.

No caso, a amostra analisada identificou que, mesmo quando realizados procedimentos de confiabilidade, eles em geral se limitam a apenas uma das fases e, ainda mais raramente, encontramos os protocolos ou o livro de códigos disponíveis nos trabalhos. Ou seja, mesmo quando procedimentos para a confiabilidade das análises foram realizados, os elementos necessários para uma replicação plena da pesquisa se mostraram praticamente ausentes em toda a amostra.

Ademais, o contato realizado junto aos autores para verificar a confiabilidade de nossas análises demonstrou que a comunidade científica da Comunicação e Informação parece ainda não compreender como necessária ou vantajosa a ação de se reportar quais os procedimentos e resultados em relação a este princípio. A esse respeito, nossa experiência de solicitar a verificação dos autores de nossas codificações permitiu não apenas atestar a confiabilidade de nossas análises, assim como foi possível corrigir alguns erros (n=5) e também aumentar o nível de validade da pesquisa como um todo. Afinal, se não fosse por este contato, nossa amostra teria 50 e não 49 trabalhos.

Há, portanto, ganhos epistêmicos inequívocos relacionados aos procedimentos de confiabilidade, ainda mais quando os juízes externos são os próprios autores dos trabalhos analisados. Trata-se, no caso, das fontes que possuem mais domínio intelectual sobre as pesquisas e, portanto, seus insumos garantem uma precisão dificilmente alcançável por outrem.

Cabe ainda esclarecer que, nesta pesquisa, tomamos como ponto de partida a compreensão de que déficits metodológicos não são característicos e típicos apenas das comunidades científicas periféricas, mas se apresentam, a exemplo do estudo de Lovejoy, Watson e Lacy (2014), de maneira contundente até mesmo nos “top journals”. Sendo assim, os resultados aqui encontrados não deveriam ser tomados como um problema necessariamente exclusivo da literatura lusófona, mas como algo que possivelmente poderá ser encontrado por outras meta revisões como esta.

Conclusão

Este trabalhou buscou avaliar a qualidade metodológica das RSLs lusófonas na área da Comunicação e Informação da última década. Tal avaliação foi balizada com princípios em comum desta metodologia com a AC, especificamente com os princípios da replicabilidade e confiabilidade. Ao realizarmos a pesquisa, percebemos que, apesar de constarem nos manuais especializados, tais princípios são apenas parcialmente operacionalizados. Isso porque apenas 3 dos 49 trabalhos indicaram ter realizado algum procedimento relativo ao princípio da confiabilidade e outros 3 trabalhos realizaram, mas não chegaram a reportá-lo no manuscrito.

Por outro lado, deve-se destacar que a maior parte da amostra (n=40) demonstrou informações fundamentais para a replicabilidade das RSLs analisadas. Esses níveis fundamentais raramente foram acompanhados de instrumentos mais exaustivos e detalhados de replicação (a exemplo de disponibilização do livro de códigos ou dos dados categorizados), mas as informações prestadas por esses 40 trabalhos já seriam suficientes para ensejar verificações externas.

A nosso ver, isso indica que há, sim, uma preocupação e uma responsividade geral em torno do rigor metodológico ensejado pelas RLSs lusófonas na área da Comunicação e Informação. Contudo, há muito espaço para incrementar não apenas a confiabilidade, mas a própria replicabilidade.

Nesse sentido, indicamos que pesquisas futuras que pretendam realizar uma RSL não se limitem a descrever, em linhas gerais, os procedimentos adotados, mas também forneçam materiais suplementares que permitam a qualquer parte da comunidade científica revisar e refazer cada decisão tomada. Outro procedimento recomendado é incluir processos de verificação já na própria pesquisa através de testes de confiabilidade. A confiabilidade, conforme visto, aplica-se tanto à seleção dos trabalhos (1a fase) quanto à produção da síntese das unidades selecionadas (2a fase). Em ambas as fases, protocolos para a resolução das discordâncias entre os analistas são recomendados.

Em relação à confiabilidade das análises dos trabalhos selecionados (2a fase), esta pesquisa desenvolveu e testou um procedimento inédito que possibilita um incremento em relação aos anteriores. No caso, trata-se de submeter as análises da RSL ao exame dos autores principais das publicações revisadas. Isso deve ser feito disponibilizando aos autores contactados o protocolo de pesquisa que fundamentou cada codificação para que, assim, os critérios de análise possam ser devidamente compreendidos. Isso permite aos autores confirmar se as codificações estão corretas ou, de outro modo, que solicitem eventual correção. A interação ensejada por esse tipo de procedimento traz, como demonstrado ao longo deste trabalho, ganhos não apenas de confiabilidade à pesquisa, mas também de validade.

• 2
  Filtros selecionados: Ano de publicação: 2010-2021; WoS Áreas Temáticas: Information, Library, Comunicação.
• 3
  Filtros selecionados: Idioma: Todos; Ano de publicação: 2010-2021; SciELO Áreas Temáticas: Ciências Sociais Aplicadas, Ciências Humanas; WoS Áreas Temáticas: Information, Library, Comunicação; Tipo de literatura: Artigo.
• 4
  Termos da busca: AND ( LIMIT-TO ( SUBJAREA,”SOCI” ) OR EXCLUDE ( SUBJAREA,”MEDI” ) OR EXCLUDE ( SUBJAREA,”PSYC” ) OR EXCLUDE ( SUBJAREA,”BUSI” ) OR EXCLUDE ( SUBJAREA,”ENGI” ) OR EXCLUDE ( SUBJAREA,”MATH” ) OR EXCLUDE ( SUBJAREA,”AGRI” ) OR EXCLUDE ( SUBJAREA,”EART” ) OR EXCLUDE ( SUBJAREA,”HEAL” ) OR EXCLUDE ( SUBJAREA,”MULT” ) ) AND ( LIMIT-TO ( PUBYEAR,2021) OR LIMIT-TO ( PUBYEAR,2020) OR LIMIT-TO ( PUBYEAR,2019) OR LIMIT-TO ( PUBYEAR,2018) OR LIMIT-TO ( PUBYEAR,2017) OR LIMIT-TO ( PUBYEAR,2016) OR LIMIT-TO ( PUBYEAR,2015) OR LIMIT-TO ( PUBYEAR,2014) OR LIMIT-TO ( PUBYEAR,2013) OR LIMIT-TO ( PUBYEAR,2012) OR LIMIT-TO ( PUBYEAR,2011) OR LIMIT-TO ( PUBYEAR,2010) ) AND ( LIMIT-TO ( LANGUAGE,”Portuguese” ) ) AND ( LIMIT-TO ( EXACTKEYWORD,”Systematic Review” ) OR LIMIT-TO ( EXACTKEYWORD,”Systematic Literature Review” ) OR LIMIT-TO ( EXACTKEYWORD,”Literature Review” ) OR LIMIT-TO ( EXACTKEYWORD,”Epistemology” ) OR LIMIT-TO ( EXACTKEYWORD,”Narrative” ) OR LIMIT-TO ( EXACTKEYWORD,”Social Media” ) OR LIMIT-TO ( EXACTKEYWORD,”Content Analysis” ) OR LIMIT-TO ( EXACTKEYWORD,”Sentiment Analysis” ) OR LIMIT-TO ( EXACTKEYWORD,”Systematic Review Of Literature” ) ).
• 5
  Filtros selecionados: Ano de publicação: 2010-2021; Subjects: Communication, Mass Media, Bibliography, Library Science, Information resources. URL da busca: https://bit.ly/3n4T8TK.

• Como citar este artigo/How to cite this article: Lycarião, D. et al. Revisão Sistemática de Literatura e Análise de Conteúdo na Área da Comunicação e Informação: o problema da confiabilidade e como resolvê-lo. Transinformação, v. 35, e220027, 2023. https://doi.org/10.1590/2318-0889202335e220027.

• Apoio

  Fundação Cearense de Apoio ao Desenvolvimento Científico e Tecnológico (Processo Nº PS1-00186-00177.01.00/21).

Referências

• Araújo, G. S.; Seabra, M. O. Elementos fundamentais para o design de jogos digitais com o foco no treino de competências e habilidades de estudantes com transtorno do espectro autista: uma revisão sistemática. Revista Brasileira de Estudos Pedagógicos, v. 102, n. 260, p. 120-147, 2021.
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Tabela das Áreas de Avaliação [S. l.]: Capes, 2017. v. 2. Disponível em: https://tinyurl.com/596y94yu Acesso em: 8 mar. 2022.
  » https://tinyurl.com/596y94yu
• Cerrao, N. G.; Jesus, A. F.; Castro, F. F. O método de Revisão Sistemática da Literatura (RS) na área da ciência da informação no Brasil: análise de dados de pesquisa. Informação & Tecnologia, v. 5, n. 1, p. 105-116, 2018. Disponível em: http://hdl.handle.net/20.500.11959/brapci/110396 Acesso em: 21 jul. 2022.
  » http://hdl.handle.net/20.500.11959/brapci/110396
• Cooper, H. Research synthesis and meta-analysis: a step-by-step approach. Califórnia: Sage publications, 2015.
• Freelon, D. ReCal: intercoder reliability calculation as a web service. International Journal of Internet Science, v. 5, n. 1, p. 20-33, 2010.
• Gusenbauer, M.; Haddaway, N. R. Which academic search systems are suitable for systematic reviews or meta‐analyses? Evaluating retrieval qualities of Google Scholar, PubMed, and 26 other resources. Research Synthesis Methods, v. 11, n. 2, p. 181-217, 2020.
• Jesus, L. M. T.; Simões, J. F. F. L.; Voegeli, D. Comunicação verbal com pacientes inconscientes. Acta Paulista de Enfermagem, v. 26, n. 5, p. 506-513, 2013.
• King, G. Replication, replication. PS: Political Science and Politics, n. 28, p. 443-499, 1995.
• Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7 Acesso em: 8 mar. 2022.
  » https://tinyurl.com/a62ymbp7
• Lovejoy, J.; Watson, B. R.; Lacy, S. Assessing the reporting of reliability in published content analyses: 1985-2010. Communication Methods and Measures, v. 8, n. 3, p. 207-221, 2014.
• Machado, H. P. V.; Elias, M. L. G. G. R. Gestão do conhecimento: constituição do campo, temas e perspectivas de pesquisas. TransInformação, v. 32, e200037, 2020. Doi: https://doi.org/10.1590/2318-0889202032e200037.
  » https://doi.org/10.1590/2318-0889202032e200037
• Medeiros Filho, A. R.; Russo, S. L. Marcas como um indicador: revisão sistemática e análise bibliométrica da literatura. Biblios, n. 71, p. 50-67, 2018.
• Mugnaini, R. et al. Panorama da produção científica do Brasil além da indexação: uma análise exploratória da comunicação em periódicos. TransInformação, v. 31, e190033, 2019. Doi: https://doi.org/10.1590/2318-0889201931e190033.
  » https://doi.org/10.1590/2318-0889201931e190033
• Packer, A. L. O programa SciELO e o acesso aberto via dourada. In: Peruzzo, C. M. K.; Martins, M. L.; Gabrioti, R. Revistas científicas de comunicação ibero-americanas na política de divulgação do conhecimento: tendências, limitações e os desafios de novas estratégias. Braga: Uminho Editora, 2021. p. 29-58. (Coleção Investigação: Ciências Sociais).
• Rocha, E. C. et al. A Importância da replicabilidade na Ciência Política: o caso do SIGOBR. Revista Política Hoje, v. 22, n. 2, p. 213-229, 2014.
• Sampaio, R. C.; Lycarião, D. Eu quero acreditar! Da importância, formas de uso e limites dos testes de confiabilidade na análise de conteúdo. Revista de Sociologia e Política, v. 26, n. 66, p. 31-47, 2018. Doi: https://doi.org/10.1590/1678-987318266602.
  » https://doi.org/10.1590/1678-987318266602
• Sampaio, R. C.; Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Coleção Metodologias de Pesquisa) Disponível em: https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf Acesso em: 8 mar. 2022.
  » https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf
• Santini, R. M.; Salles, D. O impacto dos algoritmos no consumo de música uma revisão sistemática de literatura. Signos do Consumo, v. 12, n. 1, p. 83-93, 2020.
• Souza, L. G. S.; Aganette, E. C. A preservação digital em longo prazo amparada por planos de ações: uma revisão sistemática de literatura. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, v. 18, e020027, 2020. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8661185 Acesso em: 8 set. 2022.
  » https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8661185
• Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis 2. ed. New York: Russell Sage Foundation, 2009. p.159-176.

Editor

César Pereira

Datas de Publicação

• Publicação nesta coleção
  10 Nov 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  22 Jul 2022
• Revisado
  04 Nov 2022
• Aceito
  21 Jun 2023