Teoria, metodologia e relato: um olhar sobre revisões sistemáticas e meta-análisesResumo
Introdução: Modelos teóricos são visualizados como fio condutor das pesquisas. Entretanto, são pouco utilizados e relatados em profundidade pelos pesquisadores, o que pode impactar negativamente na qualidade e reprodutibilidade científica.
Objetivos: Identificar o perfil de utilização e o nível de profundidade de Teorias e/ou Modelos Teóricos, qualidades metodológica e de relato de Revisões Sistemáticas (RS) com ou sem meta-análise, e correlacionar a utilização de teorias/modelos às qualidades metodológica e de relato.
Método: Estudo transversal, realizado de maio a dezembro de 2019, composto por RS dos periódicos Revista de Saúde Pública (RSP) e Cadernos de Saúde Pública (CSP). Não houve restrições de idiomas. A seleção dos artigos e a extração dos dados foram realizadas em duplicata. Para avaliação do uso de teorias, utilizou-se questionário desenvolvido por Cabrera; qualidade metodológica, AMSTAR-2; e relato, PRISMA. Análise foi realizada por testes estatísticos, ao nível de significância p<0,05.
Resultados: Foram incluídas 45 RS (22 RSP e 23 CSP). Apenas 24,4% das RS utilizaram teorias/modelos e, destas, 54,5% apenas citaram (Nível 1) e 45,5% descreveram (Nível 2). Não foi observada utilização em profundidade (Níveis 3 e 4). As RS apresentaram limitações na qualidade metodológica e de relato: apenas 37,5% dos itens do AMSTAR-2 foram atendidos pela maioria das RS e 66,6% aos do PRISMA. Correlações positivas foram observadas entre utilização de teorias e qualidades metodológicas e de relato.
Conclusão: o uso de teorias/modelos teóricos pode refletir melhor qualidade metodológica e de relato às RS.
Palavras-chave:
modelos teóricos; métodos; relatório de pesquisa; revisões sistemáticas como assunto; metanálise como assunto
Abstract
Background: Theoretical models are characterized as a guiding thread for research. However, they are rarely used and reported in depth by researchers, which can negatively impact scientific quality and reproducibility.
Objective: Identify the use profile and level of depth of theories and/or theoretical models, methodological and reporting qualities of systematic reviews (SR) with or without meta-analysis, and to correlate the use of theories/models with the methodological and reporting qualities.
Method: Cross-sectional study, carried out from May to December 2019, composed of RS from the journals Revista de Saúde Pública (RSP) and Cadernos de Saúde Pública (CSP). There were no language restrictions. The selection of articles and data extraction was carried out in duplicate. To assess the use of theories, the questionnaire developed by Cabrera was used; to assess methodological quality, the Assessment of Multiple Systematic Reviews (AMSTAR-2); and for the report, the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA). Analysis was performed using statistical tests, at the level of significance p<0.05.
Results: Forty-five SR were included (22 RSP and 23 CSP). Only 24.4% of SR used theories/models and, of these, 54.5% only mentioned (Level 1) and 45.5% described (Level 2), there was no use in depth (Levels 3 and 4). The SRs presented limitations in methodological and reporting quality: only 37.5% of the items in AMSTAR-2 were attended by most of the SRs, and 66.6% of those in PRISMA. Positive correlations were observed between the use of theories and methodological and reporting qualities.
Conclusion: The use of theories/theoretical models may reflect better methodological and reporting quality of SR.
Keywords:
models; theoretical; methods; research report; systematic reviews as topic; meta-analysis as topic
INTRODUÇÃO
O conhecimento adquirido através da interpretação do relato de teorias e metodologias caracteriza o fazer científico1. Entretanto, embora a epidemiologia atue nos campos teórico e empírico2, é observado um cenário de desvalorização das bases teóricas3, 4. Isso pode relacionar-se à alta produtividade exigida por organizações de fomento, aliada à ideia equivocada sobre maior relevância de achados estatisticamente significativos5, 6.
Além disso, ainda são escassos trabalhos que apontem a importância da utilização e do relato de teorias e/ou modelos como aspectos fundamentais da pesquisa7, 8, bem como instrumentos que avaliem a qualidade de estudos relacionados à utilização da fundamentação teórica9. Os principais instrumentos referem-se à avaliação metodológica e de relato para delineamentos específicos10,11,12,13,14,15.
Sob essa perspectiva, não apenas os aspectos metodológicos devem ser considerados e relatados de forma transparente e aprofundada nas pesquisas, mas também os teóricos9, 16. Independentemente do método, os estudos devem orientar-se por teoria e/ou modelo, servindo como guia para a pesquisa e promovendo melhor qualidade7,8,17,18. Assim, torna-se imprescindível sua explicitação e representação, visto que a reprodutibilidade não depende unicamente da qualidade metodológica, mas também da qualidade teórica e de relato1.
Dessa forma, baseando-nos na Teoria dos Pressupostos da Qualidade Científica9 e compreendendo o grau de importância que as Revisões Sistemáticas (RS) possuem na tomada de decisão em saúde pública, o objetivo deste estudo foi: 1. identificar o perfil de utilização e nível de profundidade de Teorias e/ou Modelos Teóricos, qualidade metodológica e de relato de RS com ou sem meta-análise de estudos epidemiológicos, publicadas de 2014 a 2018, em periódicos nacionais de Saúde Pública; 2. correlacionar a utilização de teorias e/ou modelos teóricos desses estudos com suas qualidades metodológica e de relato.
METODOLOGIA
Fundamentação teórica
Este estudo é baseado e orientado de acordo com a Teoria dos Pressupostos da Qualidade Científica1, 9, a qual consubstancia-se na necessária combinação entre Teoria, Metodologia e Relato nas pesquisas científicas. O termo “teoria”, nesse sentido, corresponde a toda e qualquer fundamentação teórica utilizada pelo pesquisador para orientar o trabalho científico, por exemplo, por meio de modelos teóricos, frameworks, teorias gerais e/ou específicas.
Essa compreensão teórica caracteriza o fazer científico como a interpretação do conhecimento adquirido através da combinação entre teoria e metodologia para as pesquisas e também exalta a relevância do relato completo e aprofundado. Esses pilares (teoria, metodologia e relato) estão intimamente relacionados a determinado tempo, pessoa e lugar. Nesse sentido, infere-se que, para alcançar pesquisas epidemiológicas de alta qualidade científica, esses pilares do conhecimento devem apresentar, consequentemente, alta qualidade, sem que se estabeleça relação hierárquica ou sobreposição de importância entre si9.
Dessa forma, sob essa ótica, torna-se imprescindível a compreensão de que teoria, metodologia e relato fazem parte intrinsecamente de um todo científico. Não existe teoria desenvolvida sem método e sem relato, por mais subjetivo que venha a ser esse processo. Da mesma forma ocorre para os demais pilares, ou seja, tudo está conectado, e um déficit, falha ou erro em qualquer um dos pilares, seja no processo de elaboração, utilização e/ou descrição, impactará os demais, e consequentemente a qualidade científica. Assim, é importante sua análise para revisões sistemáticas com ou sem meta-análises.
Desenho de estudo
Estudo transversal de análise documental, realizado entre maio e dezembro de 2019.
Partindo da premissa de que periódicos de maior impacto podem apresentar maior qualidade19, adotamos para nossa amostra RS com ou sem meta-análises publicadas nos periódicos brasileiros com maior classificação, para a área de Saúde Coletiva segundo o Sistema Qualis, da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).
De acordo com a última atualização da CAPES (Quadriênio 2013-2016), apenas dois periódicos brasileiros foram classificados como A2: Cadernos de Saúde Pública (CSP) e Revista de Saúde Pública (RSP), os quais apresentam décadas ininterruptas de publicações, acesso aberto e elevado impacto na comunicação científica.
Critérios de elegibilidade
Critérios de inclusão: 1. Revisões sistemáticas de estudos epidemiológicos com ou sem meta-análise (justificativa: um dos principais delineamentos para síntese de estudos causais e/ou observacionais, bem como para a tomada de decisão em saúde pública20); 2. publicadas de 2014 a 2018 (justificativa: por tratar de tema/objeto — RS — em constante atualização, de acordo com o processo de elaboração, condução e relato, optou-se por seguir as recomendações que adotam os últimos cinco anos como publicações atuais21).
Critérios de exclusão: revisões sistemáticas conceituais, de estudos qualitativos e/ou de revisão; pois os instrumentos adotados para avaliação da qualidade metodológica22 e de relato15 das RS não se direcionam a esses tipos de revisões.
Seleção dos artigos
A busca foi conduzida nos endereços eletrônicos de cada periódico na SciELO, independentemente, por dois pesquisadores com experiência em pesquisa epidemiológica, sendo a seleção realizada em duas etapas: análise de títulos e resumos; e leitura na íntegra da seção “metodologia” de todas as revisões que fossem avaliadas na primeira etapa como “incluído” ou que obtivessem “indeciso” pelos dois pesquisadores responsáveis.
As planilhas do software Microsoft Excel® continham: informações bibliográficas; desenho de estudo; decisão (incluído; excluído ou indeciso); e motivos para decisão. Após preenchimento, os dados foram inseridos em planilha única, sendo verificada a concordância entre avaliadores. Assim, foram acrescentadas variáveis referentes a escolha de seleção; motivo; concordância final; e motivos das exclusões após consenso. Artigos registrados como “incluídos” e “indeciso” para ambos os avaliadores passaram para segunda etapa, a qual selecionou os artigos incluídos. Discordâncias foram resolvidas por consenso.
Extração dos dados
Os pesquisadores realizaram, independentemente, leitura na íntegra e avaliação do nível de utilização e frequência das Teorias ou Modelos da qualidade metodológica e de relato.
Foram incluídas nas planilhas novas variáveis: idioma; tema; nacionalidade e titulação do primeiro autor; data da última titulação; instituição da pós-graduação; cidade, localidade do primeiro autor; grupo populacional e gênero abordado pela revisão.
Com relação à avaliação da utilização e nível de profundidade teórica, as variáveis foram: Cita/Menciona; Descreve/Apresenta; Desenvolve/Demonstra; Discute/Debate; classificação segundo nível de profundidade de utilização da Teoria e/ou Modelo no artigo. Por fim, variáveis relacionadas aos instrumentos AMSTAR-211 (16 itens) e PRISMA15 (27 itens).
Discordâncias foram resolvidas por consenso, e a avaliação da concordância (Kappa) foi realizada por estatístico não envolvido na pesquisa.
Procedimentos e instrumentos utilizados para coleta de dados
Avaliação do nível de profundidade da utilização de teorias e/ou modelos teóricos
Para determinar a frequência e classificação do nível de profundidade da utilização de Teorias e/ou Modelos, utilizou-se instrumento desenvolvido por Cabrera3, 4, adotado em avaliações anteriores de artigos de periódicos; não sendo identificado outro instrumento para este fim. O instrumento não busca aferir a qualidade do relato teórico, mas apresenta uma gradação referente ao uso de teorias/modelos, buscando refletir maior profundidade no seu uso e relato.
O instrumento baseia a avaliação em quatro pontos/perguntas, com resposta dicotômica (SIM/NÃO): 1. o texto cita/menciona na introdução alguma teoria e/ou modelo como fundamento da pesquisa? 2. o texto descreve/apresenta na introdução os componentes da teoria e/ou modelo referentes à formulação da pesquisa? 3. o texto desenvolve/demonstra, na metodologia, a forma como os componentes, variáveis e/ou construtos da teoria e/ou modelo foram operacionalizados? 4. o texto discute/debate os componentes, variáveis e/ou constructos da teoria e/ou modelo aplicados?
Por essa avaliação, os estudos são classificados em3, 4:
-
Nível I: quando o autor cita, referencia ou enuncia pelo menos uma teoria e/ou modelo, mas não descreve variáveis, conceitos ou construtos que foram usados ao incorporar essa referência na introdução, contextualização ou fundamentação teórica do texto publicado;
-
Nível II: quando, na introdução, os autores citam, referenciam ou enunciam e descrevem variáveis, conceitos ou construtos de algum modelo e/ou teoria, mas não aplicam essas descrições ao método (por exemplo, para escolha do delineamento, técnicas e/ou instrumentos), análise e discussão;
-
Nível III: quando, com relação à teoria e/ou ao modelo, são descritos pelo menos variáveis, conceitos ou constructos de interesse, e, explicitamente, os autores relatam como a base teórica serviu para orientar o trabalho metodológico, a revisão ou reflexão dos autores, mas não são discutidos os resultados e/ou conclusões à luz da teoria adotada;
-
Nível IV: considerado uso ideal ou esperado para comunicação científica rigorosa, expressa que uma Teoria e/ou Modelo deve ser citado e descrito em suas variáveis e construtos; guiar a metodologia e que, com base nos componentes explicativos da teoria, deve-se discutir de forma coerente e explícita as conclusões ou questões abordadas.
Avaliação da qualidade metodológica
Utilizou-se o instrumento Assessment of Multiple Systematic Reviews (AMSTAR-2)11.
O AMSTAR-2 é composto por 16 itens respondidos de forma dicotômica (Sim/Não) — itens 1, 3, 5, 6 e 10-16 — ou policotômica (Sim/Parcialmente Sim/Não) — itens 2, 4, 7, 8 e 9. Os itens 11, 12 e 15 referem-se apenas a meta-análises. Ao final, pôde-se atribuir uma classificação geral de qualidade da RS (Alta/Moderada/Baixa/Criticamente Baixa)11.
Avaliação da qualidade de relato
Utilizamos o Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA), recomendado por auxiliar autores no relato de RS e meta-análises15, com versão traduzida para o português.
Apresenta um checklist com 27 itens com respostas dicotômicas (Sim/Não). Não é originalmente sugerido para avaliação da qualidade da RS, entretanto, pode ser útil para sua avaliação crítica. Dada a inexistência de instrumento específico para avaliação da qualidade de relato de RS, é amplamente utilizado na literatura para esse fim, sendo também encorajado pelos autores do instrumento15.
Apesar de apontadas limitações no AMSTAR-2 e no PRISMA22, seu uso é defendido por auxiliar na condução dos estudos e relato com maior qualidade.
Análise dos dados
Para grau de concordância entre os avaliadores, em todas as etapas de seleção e extração dos dados foi utilizado teste estatístico Kappa. Os valores podem variar de -1 a 1, onde -1 representa discordância total; 1, concordância total; e 0, ausência de concordância ou igual ao acaso. Para classificação do Kappa, adotamos: <0 (ausente); 0-0.19 (ruim/insignificante); 0.20-0.39 (razoável); 0.40-0.59 (moderada); 0.60-0.79 (substancial); 0.80-1.00 (quase perfeita)23.
Para caracterização da amostra, utilizamos estatísticas descritivas de frequência, média e desvio-padrão. Foi realizado teste Kolmogorov-Smirnov para normalidade das distribuições, rejeitando-se a hipótese nula.
Para avaliação e descrição das proporções relacionadas à qualidade metodológica e de relato, atribuímos um ponto a cada item atendido ou zero, se não. Classificamos como “Não Atendendo” respostas “Parcialmente Sim” (AMSTAR-2) e “Sem meta-análise” (AMSTAR-2 e PRISMA). Os valores-resposta para cada item dos instrumentos estão disponíveis por solicitação direta ao autor correspondente (BABSF) ou pelo link (https://crt-statement.org/).
Testes de correlação Bisserial de Pearson foram realizados para verificar relação entre “Utilização de Teorias e/ou Modelos” e as variáveis “Qualidade Metodológica” e “Qualidade de Relato”. A classificação dos achados na análise de correlação seguiu Cohen24: valores entre 0,10 e 0,29 foram considerados pequenos; 0,30 e 0,49, médios; 0,50 e 1, grandes.
A análise foi realizada pelo Statistical Package for the Social Sciences (IBM-SPSS versão-21), com nível de significância de p<0,05.
RESULTADOS
Resultados da busca (Figura 1)
Identificou-se inicialmente 92 revisões, sem duplicações, 53 da CSP e 39 da RSP, sendo excluídas 42 na primeira etapa (36 revisões narrativas, uma integrativa, uma de estudos qualitativos, duas resenhas e duas metassínteses). Para a segunda etapa, incluímos 24 revisões da CSP e 23 da RSP; sendo três consideradas “indeciso” pelos dois pesquisadores, necessitando ir para a segunda etapa de avaliação de acordo com o protocolo de seleção e análise. A primeira etapa obteve Kappa=0.958, concordância quase perfeita; observando-se Kappa=1.0 para a RSP e Kappa=0.929 para CSP.
Na segunda etapa (leitura da metodologia) foram excluídos cinco artigos (três revisões conceituais e uma não sistemática, nos CSP, e uma conceitual da RSP), apresentando Kappa=1 (concordância quase perfeita). Assim, foram incluídas para análise 45 revisões sistemáticas com e sem meta-análise, 22 da RSP e 23 da CSP. Dados dos estudos excluídos e motivos de exclusão estão disponíveis por solicitação direta ao autor correspondente (BABSF) ou pelo link (https://crt-statement.org/).
Características das revisões incluídas (Tabela 1)
64,4% das RS incluídas não apresentavam meta-análise, majoritariamente publicadas nos três primeiros anos analisados (n=35/45).
As revisões analisadas foram, em sua maioria, publicadas no idioma inglês (86,7%). A principal origem das revisões foi o Brasil (82,2%), principalmente as regiões Sudeste (45,9%) e Sul (40%), e nenhuma da região Norte. Principal titulação do primeiro autor foi Doutorado (51,1%), e média de 3,98 autores por revisão.
Para ambos os periódicos, as RS foram principalmente de estudos observacionais (71,1%), relacionados a adultos de 30 a 59 anos (48,9%), e referindo-se aos dois gêneros (73%). Em relação ao relato teórico, 75,6% das RS não citam/mencionam, havendo variação entre periódicos: 81,8% das revisões da RSP e 69,6% da CSP não relataram teorias e/ou modelos.
Características teóricas de cada revisão que utilizou teoria e/ou modelos teóricos (Tabela 2)
Pela classificação do nível de profundidade de utilização das teorias e/ou modelos3, 4, dos onze estudos que relataram, 54,5% foram classificados no Nível 1, e 45,5% no Nível 2, não ocorrendo estudos classificados nos níveis 3 (Desenvolve/Demonstra) e 4 (Discute/Debate).
Ressaltamos haver diferenças conceituais entre teorias e modelos teóricos25, as quais não são distinguidas pelo instrumento — focado na explicitação da fundamentação teórica, em sentido amplo — não impactando os resultados. Realizamos essa diferenciação nos estudos analisados com o objetivo de apresentar uma descrição mais minuciosa das análises. Observou-se, portanto, que as RS privilegiaram o uso de teorias (64%), sendo a Teoria de Mudança Comportamental a mais utilizada (42,8%).
Avaliação do AMSTAR-2 (Tabela 3)
As revisões analisadas não relataram terem utilizado outro instrumento para avaliação da qualidade metodológica. Assim, dos 13 requisitos do AMSTAR-2, foram atendidos pelas RS sem meta-análises de 1 a 8, e a média de itens atendidos foi de 3,62 (±1,54), correspondendo a 27,8% das 29 RS sem meta-análises. Para RS com meta-análises, foram atendidos de 6 a 13 dos 16 itens. A média de itens atendidos foi 8.38 (±2,29), correspondendo 52,3% das 16 meta-análises.
Sobre questões (Q) atendidas, 97,8% das revisões apresentaram adequadamente perguntas da pesquisa e critérios de inclusão (Q1). Entretanto, somente 8,9% do total das revisões declararam possuir protocolo para sua elaboração (Q2). 22,2% das revisões explicaram e justificaram a escolha dos desenhos de estudo incluídos (Q3). Apenas 2,2% das revisões apresentaram completa estratégia de busca bibliográfica (Q4).
80% das revisões realizaram seleção em duplicado (Q5) e 60% extraíram os dados em duplicado (Q6), seja por consensos ou amostras com avaliações de concordância.
Apenas 2,2% forneceram lista dos estudos excluídos e os justificaram (Q7). Das revisões que descreveram os estudos incluídos em detalhes (Q8), apenas duas meta-análises da CSP atenderam ao item (4,4%). Somente 24,4% das revisões relataram utilizar técnica para avaliar risco de viés (Q9). O relato de fontes de financiamento dos estudos incluídos (Q10) foi baixo, 28,9%.
Os itens 11 e 12 são aplicados apenas às meta-análises. Todas as meta-análises apresentaram métodos apropriados para combinação estatística dos resultados (Q11); e 87,5% avaliaram impacto do risco de viés em estudos individuais sobre os resultados da meta-análise (Q12).
37,8% discutiram, nos resultados, risco de viés em estudos individuais (Q13). Explicações sobre heterogeneidade nos resultados (Q14) foram realizadas por apenas 26,7% das revisões.
Apresentação e discussão de testes para viés de publicação (Q15), apenas para meta-análises, foram realizadas por 43,8%.
Sobre relato de conflito de interesses/financiamento (Q16), 53,3% das revisões atenderam; sendo que 100% das RS da RSP atenderam, enquanto, para CSP, apenas 15,3%.
A análise relacionada à confiança geral nos resultados das revisões apresentou que 35,6% do total das RS obtiveram classificação “criticamente baixa”; 40% “baixa”; e 24,4% “moderada”. Nenhuma RS obteve classificação “alta”.
Avaliação do PRISMA (Tabela 4)
Os requisitos do PRISMA atendidos pelas RS sem meta-análises variaram de 6 a 15 dos 21 itens, observando-se valor médio de 10,59 (±2,31) de adequação aos itens, correspondendo a 50,4% das RS sem meta-análises. Meta-análises atenderam de 15 a 23 dos 27 itens; valor médio de 19.63 (±2,18), correspondente a 72,7% das meta-análises.
93,3% das RS identificaram caráter sistemático no título (Q1). Apenas 8,9% apresentaram adequadamente resumo estruturado (Q2). 91,1% justificaram a revisão frente à literatura (Q3). Somente 3 revisões (6,7%) apresentaram informações sobre participantes, intervenções, comparações, resultados e delineamento (Q4).
Apenas 22,2% registraram o protocolo (Q5). Menos da metade (44,4%) descreveu adequadamente critérios de elegibilidade (Q6). Apenas uma revisão (2,2%) relatou adequadamente fontes de informação (Q7). Em contrapartida, 82,2% apresentaram estratégia completa de busca em pelo menos uma base de dados (Q8).
Tratando-se da seleção dos estudos (Q9), 80% descreveram adequadamente e 55,6% apresentaram satisfatoriamente método de extração de dados (Q10). 80% listaram e definiram as variáveis obtidas (Q11). Além disso, 64,4% descreveram métodos para avaliar risco de viés nos estudos incluídos e seu uso na análise (Q12). 40% das RS definiram as principais medidas de sumarização dos resultados (Q13).
Os itens síntese dos resultados (Q14), risco de viés (Q15) e análises adicionais (Q16), relacionados a meta-análises, foram atendidos pela maioria das meta-análises (Q14=100%; Q15=87,5%; Q16=93,8%).
A maioria (73,3%) reportou de forma incompleta ou não reportou a descrição do fluxo de estudos avaliados no processo de seleção (Q17). Entretanto, observou-se frequentemente adequada a apresentação dos dados extraídos (91,1%) — Q18. 44,4% apresentaram resultados da análise de qualidade dos estudos (Q19) e 68,9% realizaram o relato resumido desses resultados (Q20).
Os tópicos 21, 22 e 23 referem-se às meta-análises. Todas descreveram os resultados de estudos individuais (Q21). 62,5%, apresentaram resultados da avaliação de risco de viés entre os estudos (Q22); e 75% de análises adicionais (Q23).
Todas as RS resumiram adequadamente as evidências disponíveis (Q24). A maioria das RS (77,8%) apresentou as suas limitações e/ou as dos estudos (Q25) e 82,2% sintetizaram conclusões dos estudos (Q26). Apenas 35,6% relataram fontes de financiamento (Q27).
Análises de correlações
Foram encontradas correlações que indicam a importância da utilização de teorias/modelos teóricos nos estudos. Os achados sugerem que utilizar teorias/modelos pode favorecer a melhor qualidade metodológica de RS, segundo AMSTAR-2, e potencializar a qualidade de relato, segundo o PRISMA; com valores de Correlação Bisserial de Pearson, respectivamente, r=0,30 (IC95% 0,03–0,68) (p=0,050) e r=0,32 (IC95% 0,08–0,59) (p=0,029), indicando correlação moderada.
DISCUSSÃO
RS apresentam-se privilegiadas na hierarquia das evidências, sendo amplamente utilizadas para tomada de decisões26. Entretanto, falhas teóricas, metodológicas ou de relato podem reduzir a validade das conclusões e reprodutibilidade1, 27.
Até onde vai nosso conhecimento, este é o primeiro estudo a correlacionar a utilização de teorias/modelos com a qualidade metodológica e de relato de RS. Apesar do pequeno tamanho amostral, nossa principal hipótese parece ser confirmada. As análises de correlação sugerem que revisões que utilizaram teorias/modelos favoreceram diretamente a qualidade metodológica e de relato.
Nossos achados fortalecem a hipótese sobre a importância de orientação das pesquisas por teorias/modelos, desde a seleção de um tópico, o desenvolvimento de questões de pesquisa, a revisão bibliográfica, os procedimentos metodológicos e o plano de análise18. Uma boa estrutura e fundamentação teórica fornece subsídios para interpretação dos resultados, discussões, visualização de limitações e aprimoramento das conclusões8, 18.
Embora recomendado que RS explicitem teorias que fundamentam práticas de intervenção, para elucidar como a teoria opera (nela e nos estudos incluídos)28, apenas 24,4% (n=11/45) das RS incluídas em nosso estudo citam uma ou mais teorias. Com resultado similar, Davies et al.29, em RS sobre uso de teorias em 235 avaliações dos estudos de disseminação e implementação de diretrizes, identificaram que apenas 22,5% das RS incluíram teorias. Restrições de espaço ou falta de valorização do relato teórico podem ser possíveis explicações. Crescente ênfase em transparência nas publicações e disponibilidade de periódicos on-line sem restrições de espaço podem configurar alternativas29. Além disso, periódicos devem expor a importância do relato teórico em profundidade e estimular o desenvolvimento e a utilização de instrumentos para esse fim1, 9.
Além da explicitação teórica, é importante a descrição e apresentação das variáveis relacionadas à teoria3, o que possibilita leitura crítica e avaliação mais robusta pelos leitores. Compreende-se que modelos de análise são métodos que visam, simplificadamente, espelhar em seus resultados o modelo teórico hipotético-dedutivo, mas limitam a compreensão do completo raciocínio teórico do pesquisador sobre o tema. Assim, saber de onde o pesquisador primário partiu e chegou com relação à teoria utilizada é imprescindível para avaliação, interpretação e reprodutibilidade dos estudos1.
Apesar disso, dos 11 estudos, em nossa pesquisa, que utilizaram teorias/modelos, menos da metade (45,5%) descreveu satisfatoriamente as variáveis, os conceitos ou construtos a elas relacionadas. Nenhum estudo apresentou explicitamente como a teoria e/ou modelo serviu para orientar a metodologia nem opinião reflexiva do autor, resultados, discussão e conclusões. Esse achado evidencia fragilidade na utilização e nível de profundidade do uso de teorias no desenvolvimento dos estudos.
Avaliação metodológica
Identificamos grande variabilidade no atendimento aos requisitos do AMSTAR-2. Apenas 6 (37,5%) dos 16 itens do instrumento foram atendidos pela maioria das revisões (>50%) e 75,6% foi classificada nas categorias “criticamente baixa” e “baixa” sobre confiança nos resultados, sugerindo baixa adesão ao instrumento. O’Kelly et al.30, em pesquisa sistemática de RS e meta-análises em urologia, verificou que, apesar do aumento de revisões no tema, número significativo apresentou metodologia precária. Os autores apontam a importância da adoção de critérios baseados em checklists antes da publicação, possibilitando maior qualidade metodológica e relato.
Itens menos atendidos relacionados à qualidade metodológica foram: explicitação de procedimentos metodológicos ou possíveis desvios do protocolo; estratégia de busca ampla, incluindo literatura cinza; fixação de períodos e/ou idiomas para seleção; descrição detalhada dos estudos incluídos.
Ressaltamos que os periódicos analisados não sugerem o AMSTAR-2, o que pode ter influenciado nossos resultados. É importante que revistas científicas apresentem aos autores diretrizes robustas para avaliação da qualidade metodológica, sendo o AMSTAR-2 amplamente reconhecido para esse fim.
Avaliação de relato
Na avaliação do PRISMA, baixa adesão aos “resumos estruturados” pode relacionar-se com limitações de espaço frequentemente impostas pelos periódicos. Os CSP não sugerem resumo estruturado, justificando heterogeneidade dos manuscritos recebidos. A RSP o recomenda, porém apenas 13,6% das revisões apresentaram. Um resumo estruturado permite maior compreensão por facilitar a identificação dos pontos principais do estudo31. Cabe aos editores a definição da forma de apresentação do resumo, sendo recomendável a sugestão do PRISMA, que parece refletir maior qualidade dos estudos31.
A falta de registro de protocolo preexistente foi um tópico preocupante, principalmente por verificarmos essa exigência pela CSP; entretanto, não podemos afirmar quando foi estabelecido esse pré-requisito. A exigência de publicação do protocolo em registro gratuito, como o PROSPERO, é uma opção factível e necessária para autores e periódicos, o que ainda não é realizado pela RSP.
As fontes de informação das revisões não foram adequadamente apresentadas. As bases de dados, datas de cobertura, contato com autores para identificação de estudos adicionais, data da última busca e justificativas foram questões pouco relatadas, fato que pode colocar em dúvida a validade dos resultados e a reprodutibilidade das RS32.
A avaliação do risco de viés foi minimamente realizada pelos autores, o que apresenta limitações sobre a validade e o poder de generalização dos resultados, podendo favorecer conclusões tendenciosas. Ganha ênfase a importância de adoção prévia do protocolo metodológico.
A falta de relato sobre conflito de interesses e financiamento nos CSP pode relacionar-se à opção de não publicitar tais informações. Entretanto, enfatizamos a importância de disponibilização dessas informações para informar leitores e como boa prática em divulgação científica.
Como limitação deste estudo, ressaltamos que a inclusão de apenas dois periódicos e a análise limitada a cinco anos pode interferir na força das associações e dos achados estatísticos, dada a amostra reduzida. A avaliação e a análise do AMSTAR-2 e do PRISMA de forma agregada, referente às RS com e sem meta-análises, pode subestimar ou superestimar valores, os quais devem ser interpretados com cautela. Outrossim, a apresentação conjunta das avaliações da qualidade metodológica, de relato e teórica em único artigo podem limitar o aprofundamento das discussões, justificando-se pelo objetivo/hipótese apresentado.
CONCLUSÕES
Nosso estudo evidencia, empiricamente, a inter-relação entre teoria, metodologia e relato, fortalecendo a Teoria dos Pressupostos da Qualidade Científica9. A compreensão da interrelação entre esses pilares do conhecimento e reprodutibilidade pode alterar nossa compreensão sobre como realizar pesquisas, particularmente RS, favorecendo a tomada de decisão, o que ainda não é consenso na literatura.
Estimulamos futuros estudos com maior quantitativo amostral e comparações com periódicos de menor classificação Qualis/CAPES, para verificar a sustentabilidade da hipótese, bem como outros delineamentos e áreas da Saúde Coletiva.
Além disso, a lacuna observada na utilização e o nível de profundidade do uso das teorias/modelos teóricos nas RS pode ensejar o desenvolvimento de instrumentos que auxiliem o relato teórico em profundidade em estudos epidemiológicos.
REFERÊNCIAS
-
1. Souza Filho BAB de, Struchiner CJ. Uma proposta teórico-metodológica para elaboração de modelos teóricos. Cad Saúde Colet. 2021;29(1):86-97. https://doi.org/10.1590/1414-462X202129010180
» https://doi.org/10.1590/1414-462X202129010180 -
2. Guimarães R, Lourenço R, Cosac S. A pesquisa em epidemiologia no Brasil. Rev Saúde Pública. 2001;35(4):321-40. https://doi.org/10.1590/S0034-89102001000400001
» https://doi.org/10.1590/S0034-89102001000400001 -
3. Cabrera Arana GA. Uso de teorías y modelos en artículos de una revista latinoamericana de salud pública, 2000-2004. Rev Saúde Pública. 2007;41(6):963-9. https://doi.org/10.1590/S0034-89102007000600011
» https://doi.org/10.1590/S0034-89102007000600011 - 4. Cabrera Arana G, Molina Marín G, Rodríguez Tejada C. Base teórica en una muestra de investigaciones de la Facultad Nacional de Salud Pública-Universidad de Antioquia, Colombia 1965-2004. Rev Salud Publica. 2005;7(1):99-111.
-
5. Santos AS dos, Perrone CM, Dias ACG. Adaptação à pós-graduação stricto sensu: uma revisão sistemática de literatura. Psico-USF. 2015;20(1):141-52. https://doi.org/10.1590/1413-82712015200113
» https://doi.org/10.1590/1413-82712015200113 -
6. Luz MT. Notas sobre a política de produtividade em pesquisa no Brasil: consequências para a vida acadêmica, a ética no trabalho e a saúde dos trabalhadores. Polít Soc. 2008;7(13):205-28. https://doi.org/10.5007/2175-7984.2008v7n13p205
» https://doi.org/10.5007/2175-7984.2008v7n13p205 -
7. Heale R, Noble H. Integration of a theoretical framework into your research study. Evid Based Nurs. 2019;22(2):36-7. https://doi.org/10.1136/ebnurs-2019-103077
» https://doi.org/10.1136/ebnurs-2019-103077 - 8. Adom D, Hussein EK, Agyem JA. Theoretical and conceptual framework: mandatory ingredients of a quality research. Int J Sci Res. 2018;7(1):438-41.
-
9. Souza Filho BAB de, Tritany ÉF, Struchiner CJ. Checklist para relato teórico em estudos epidemiológicos (CRT-EE): explicação e elaboração. Physis. 2021;31(1):e310124. https://doi.org/10.1590/S0103-73312021310124
» https://doi.org/10.1590/S0103-73312021310124 -
10. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ. 2019;366:l4898. https://doi.org/10.1136/bmj.l4898
» https://doi.org/10.1136/bmj.l4898 -
11. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008. https://doi.org/10.1136/bmj.j4008
» https://doi.org/10.1136/bmj.j4008 -
12. Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ. 2016;355:i4919. https://doi.org/10.1136/bmj.i4919
» https://doi.org/10.1136/bmj.i4919 -
13. Moher D, Hopewell S, Schulz KF, Montori V, Gotzsche PC, Devereaux PJ, et al. CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ. 2010;340:c869. https://doi.org/10.1136/bmj.c869
» https://doi.org/10.1136/bmj.c869 -
14. Vandenbroucke JP, Poole C, Schlesselman JJ, Egger M. Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Med. 2007;4(10):e297. https://doi.org/10.1371/journal.pmed.0040297
» https://doi.org/10.1371/journal.pmed.0040297 -
15. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gøtzsche PC, Ioannidis JPA, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med. 2009;6(7):e1000100. https://doi.org/10.1371/journal.pmed.1000100
» https://doi.org/10.1371/journal.pmed.1000100 -
16. Souza Filho BAB, Tritany ÉF, Struchiner CJ. Relato teórico: reflexões e recomendações para autores, revisores e editores. Rev Saúde Públ. 2022;56:30. https://doi.org/10.11606/s1518-8787.2022056003766
» https://doi.org/10.11606/s1518-8787.2022056003766 -
17. Rocco TS, Plakhotnik MS. Literature reviews, conceptual frameworks, and theoretical frameworks: terms, functions, and distinctions. Hum Resour Dev Rev. 2009;8(1):120-30. https://doi.org/10.1177/1534484309332617
» https://doi.org/10.1177/1534484309332617 - 18. Grant C, Osanloo A. Understanding, selecting, and integrating a theoretical framework in dissertation research: creating the blueprint for your “house”. AIJ. 2014;4(2):12-26.
-
19. Fleming PS, Koletsi D, Seehra J, Pandis N. Systematic reviews published in higher impact clinical journals were of higher quality. J Clin Epidemiol. 2014;67(7):754-9. https://doi.org/10.1016/j.jclinepi.2014.01.002
» https://doi.org/10.1016/j.jclinepi.2014.01.002 -
20. Nedel WL, Silveira F. Different research designs and their characteristics in intensive care. Rev Bras Ter Intensiva. 2016;28(3):256-60. https://doi.org/10.5935/0103-507X.20160050
» https://doi.org/10.5935/0103-507X.20160050 - 21. Andrade MM. Introdução à metodologia do trabalho científico. 10a ed. Rio de Janeiro: Atlas; 2010. 176 p.
-
22. Wegewitz U, Weikert B, Fishta A, Jacobs A, Pieper D. Resuming the discussion of AMSTAR: What can (should) be made better? BMC Med Res Methodol. 2016;16(1):1. https://doi.org/10.1186/s12874-016-0183-6
» https://doi.org/10.1186/s12874-016-0183-6 - 23. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
- 24. Cohen J. Statistical power analysis for the behavioral sciences. 2a ed. Hillsdale: L. Erlbaum Associates; 1988. 567 p.
- 25. Cabrera GA. Teorías y modelos en la salud pública del siglo XX. Colombia Médica. 2004;35(3):164-8.
- 26. Manchikanti L, Benyamin RM, Helm S, Hirsch JA. Evidence-based medicine, systematic reviews, and guidelines in interventional pain management: part 3: systematic reviews and meta-analyses of randomized trials. Pain Physician. 2009;12(1):35-72.
-
27. Luo Y-N, Zheng Q-H, Liu Z-B, Zhang F-R, Chen Y, Li Y. Methodological and reporting quality evaluation of systematic reviews on acupuncture in women with polycystic ovarian syndrome: A systematic review. Complement Ther Clin Pract. 2018;33:197-203. https://doi.org/10.1016/j.ctcp.2018.10.002
» https://doi.org/10.1016/j.ctcp.2018.10.002 -
28. Soares CB, Yonekura T. Revisão sistemática de teorias: uma ferramenta para avaliação e análise de trabalhos selecionados. Rev Esc Enferm USP. 2011;45(6):1507-14. https://doi.org/10.1590/S0080-62342011000600033
» https://doi.org/10.1590/S0080-62342011000600033 -
29. Davies P, Walker AE, Grimshaw JM. A systematic review of the use of theory in the design of guideline dissemination and implementation strategies and interpretation of the results of rigorous evaluations. Implementation Sci. 2010;5:14. https://doi.org/10.1186/1748-5908-5-14
» https://doi.org/10.1186/1748-5908-5-14 -
30. O’Kelly F, DeCotiis K, Aditya I, Braga LH, Koyle MA. Assessing the methodological and reporting quality of clinical systematic reviews and meta-analyses in paediatric urology: pan practices on contemporary highest levels of evidence be built? J Pediatr Urol. 2020;16(2):207-17. https://doi.org/10.1016/j.jpurol.2019.12.002
» https://doi.org/10.1016/j.jpurol.2019.12.002 -
31. Sharma S, Harrison JE. Structured abstracts: do they improve the quality of information in abstracts? Am J Orthod Dentofacial Orthop. 2006;130(4):523-30. https://doi.org/10.1016/j.ajodo.2005.10.023
» https://doi.org/10.1016/j.ajodo.2005.10.023 -
32. Riado Minguez D, Kowalski M, Vallve Odena M, Longin Pontzen D, Jelicic Kadic A, Jeric M, et al. Methodological and reporting quality of systematic reviews published in the highest ranking journals in the field of pain. Anesth Analg. 2017;125(4):1348-54. https://doi.org/10.1213/ane.0000000000002227
» https://doi.org/10.1213/ane.0000000000002227
