Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica

Sampaio, RF; Mancini, MC

doi:10.1590/S1413-35552007000100013

Resumos

INTRODUÇÃO: Agregar evidências de pesquisa para guiar a prática clínica é uma das principais razões para se desenvolverem estudos que sintetizam a literatura, mas não é a única. As revisões sistemáticas são desenhadas para ser metódicas, explícitas e passíveis de reprodução. Esse tipo de estudo serve para nortear o desenvolvimento de projetos, indicando novos rumos para futuras investigações e identificando quais métodos de pesquisa foram utilizados em uma área. MÉTODOS: Uma revisão sistemática requer uma pergunta clara, a definição de uma estratégia de busca, o estabelecimento de critérios de inclusão e exclusão dos artigos e, acima de tudo, uma análise criteriosa da qualidade da literatura selecionada. O processo de desenvolvimento desse tipo de estudo de revisão inclui caracterizar cada estudo selecionado, avaliar a qualidade deles, identificar conceitos importantes, comparar as análises estatísticas apresentadas e concluir sobre o que a literatura informa em relação a determinada intervenção, apontando ainda problemas/questões que necessitam de novos estudos. Um trabalho de revisão sistemática segue a estrutura de um artigo original. CONCLUSÃO: Boas revisões sistemáticas são recursos importantes ante o crescimento acelerado da informação científica. Esses estudos ajudam a sintetizar a evidência disponível na literatura sobre uma intervenção, podendo auxiliar profissionais clínicos e pesquisadores no seu cotidiano de trabalho.

revisão sistemática; ECA; síntese da literatura

INTRODUCTION: Aggregation of research evidence to guide clinical practice is one of the main reasons for conducting studies that provide a synthesis of the literature, but it is not the only reason. Systematic reviews are designed to be methodical, explicit and replicable. Such studies may help to guide project development, by indicating new directions for further investigations and identifying which research methods have been used within a given area. METHODS: Systematic reviews require straightforward questions, search strategy definition, establishment of study inclusion and exclusion criteria and careful analysis of the selected literature. The development process for reviews of this type includes characterization of each selected study, evaluation of their quality, identification of important concepts, comparison of statistical analyses used and conclusions regarding what the literature tells us about a specific intervention. Such reviews also suggest problems/questions that need further investigation. Systematic review studies follow the structure of original articles. CONCLUSION: Good systematic reviews are important resources, in the light of the accelerated growth of scientific information. These studies help in producing syntheses of the evidence available in the literature on specific interventions, and may help clinicians and researchers in their work process.

systematic review; RCT; synthesis of the literature

ARTIGOS METODOLÓGICOS

Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica

Systematic review studies: a guide for careful synthesis of the scientific evidence

Sampaio RF; Mancini MC

Departamentos de Fisioterapia e de Terapia Ocupacional, Escola de Educação Física, Fisioterapia e Terapia Ocupacional, Universidade Federal de Minas Gerais, Belo Horizonte, MG - Brasil

^{Correspondência para} Correspondência para: Rosana F. Sampaio Rua Juvenal dos Santos, 222, apto. 602, Luxemburgo CEP 30380-530, Belo Horizonte, MG - Brasil

RESUMO

INTRODUÇÃO: Agregar evidências de pesquisa para guiar a prática clínica é uma das principais razões para se desenvolverem estudos que sintetizam a literatura, mas não é a única. As revisões sistemáticas são desenhadas para ser metódicas, explícitas e passíveis de reprodução. Esse tipo de estudo serve para nortear o desenvolvimento de projetos, indicando novos rumos para futuras investigações e identificando quais métodos de pesquisa foram utilizados em uma área.

MÉTODOS: Uma revisão sistemática requer uma pergunta clara, a definição de uma estratégia de busca, o estabelecimento de critérios de inclusão e exclusão dos artigos e, acima de tudo, uma análise criteriosa da qualidade da literatura selecionada. O processo de desenvolvimento desse tipo de estudo de revisão inclui caracterizar cada estudo selecionado, avaliar a qualidade deles, identificar conceitos importantes, comparar as análises estatísticas apresentadas e concluir sobre o que a literatura informa em relação a determinada intervenção, apontando ainda problemas/questões que necessitam de novos estudos. Um trabalho de revisão sistemática segue a estrutura de um artigo original.

CONCLUSÃO: Boas revisões sistemáticas são recursos importantes ante o crescimento acelerado da informação científica. Esses estudos ajudam a sintetizar a evidência disponível na literatura sobre uma intervenção, podendo auxiliar profissionais clínicos e pesquisadores no seu cotidiano de trabalho.

Palavras-chave: revisão sistemática, ECA, síntese da literatura.

ABSTRACT

INTRODUCTION: Aggregation of research evidence to guide clinical practice is one of the main reasons for conducting studies that provide a synthesis of the literature, but it is not the only reason. Systematic reviews are designed to be methodical, explicit and replicable. Such studies may help to guide project development, by indicating new directions for further investigations and identifying which research methods have been used within a given area.

METHODS: Systematic reviews require straightforward questions, search strategy definition, establishment of study inclusion and exclusion criteria and careful analysis of the selected literature. The development process for reviews of this type includes characterization of each selected study, evaluation of their quality, identification of important concepts, comparison of statistical analyses used and conclusions regarding what the literature tells us about a specific intervention. Such reviews also suggest problems/questions that need further investigation. Systematic review studies follow the structure of original articles.

CONCLUSION: Good systematic reviews are important resources, in the light of the accelerated growth of scientific information. These studies help in producing syntheses of the evidence available in the literature on specific interventions, and may help clinicians and researchers in their work process.

Key words: systematic review, RCT, synthesis of the literature.

INTRODUÇÃO

A demanda por qualidade máxima do cuidado em saúde, combinada com a necessidade de uso racional de recursos tanto público quanto privado, tem contribuído para aumentar a pressão sobre os profissionais da área no sentido de assegurar a implementação de uma prática baseada em evidências científicas. A expressão "medicina baseada em evidência" surgiu na década de 1980 para descrever a aprendizagem baseada em problemas, usada pela MacMaster University Medicine School¹. Prática baseada em evidência (PBE) e cuidado em saúde baseado em evidência compreendem os mesmos conceitos e princípios da medicina baseada em evidência, sendo empregados por diferentes profissionais e em diversos contextos de saúde¹.

PBE tem sido definida como o uso consciente, explícito e criterioso da melhor e mais atual evidência de pesquisa na tomada de decisões clínicas sobre o cuidado de pacientes². A PBE tem-se sustentado em um tripé que leva em conta a síntese da melhor evidência externa ou de pesquisa, a experiência do profissional e os valores e preferências do paciente, isto é, centrada no paciente e na família. Pesquisas desenvolvidas de forma criteriosa fornecem certezas para auxiliar na tomada de decisão clínica, mas nunca substituem o raciocínio e a experiência do profissional para decidir qual intervenção é efetiva ou não para um paciente específico³.

O processo de PBE é semelhante em todas as profissões da saúde, mas existem especificidades relacionadas com os diferentes domínios da prática e com os modelos teóricos adotados por determinado grupo de profissionais, como nas profissões que compõem a área da reabilitação¹. Questões clínicas são identificadas com base na necessidade de informação para a tomada de decisão, respeitando-se pacientes ou grupos de pacientes que estão em tratamento, assim como o contexto em que esse está sendo oferecido. A busca por resposta na literatura científica é feita pela procura da melhor evidência disponível. Nem todos os estudos são bem desenvolvidos; dessa forma, se faz necessária uma avaliação cuidadosa da sua validade e da aplicabilidade clínica dos resultados.

A PBE envolve a superação de alguns desafios, a saber: como se manter atualizado diante da crescente disponibilidade de informações na área da saúde? Quais as melhores fontes de informação? Como avaliar criticamente a informação encontrada? Como integrar as evidências selecionadas e a experiência clínica diante das necessidades apresentadas pelos pacientes? A análise de evidências de pesquisa exige dos profissionais novos conhecimentos e habilidades para capacitá-los a ter autonomia na avaliação crítica das informações científicas que serão utilizadas para diminuir as incertezas das decisões tomadas na clínica⁴.

É consenso que os ensaios clínicos aleatórios (ECA) são os estudos mais adequados para fornecer evidências sobre os efeitos de uma intervenção. No entanto, os resultados de apenas um desses estudos não são suficientes para esclarecer sobre determinada questão de pesquisa ou pergunta clínica. As conclusões são mais robustas quando diferentes estudos investigam os efeitos de uma intervenção e fornecem dados que suportam as mesmas conclusões. Nesse sentido, revisões sistemáticas e metanálise são os métodos mais adequados e atuais para resumir e sintetizar evidências sobre a eficácia e os efeitos de intervenções⁵. Métodos sistemáticos são usados para evitar viés e possibilitar uma análise mais objetiva dos resultados, facilitando uma síntese conclusiva sobre determinada intervenção. O presente artigo tem como objetivo definir e descrever as etapas envolvidas no desenvolvimento de uma revisão sistemática da literatura.

O que é uma revisão sistemática?

Uma revisão sistemática, assim como outros tipos de estudo de revisão, é uma forma de pesquisa que utiliza como fonte de dados a literatura sobre determinado tema. Esse tipo de investigação disponibiliza um resumo das evidências relacionadas a uma estratégia de intervenção específica, mediante a aplicação de métodos explícitos e sistematizados de busca, apreciação crítica e síntese da informação selecionada. As revisões sistemáticas são particularmente úteis para integrar as informações de um conjunto de estudos realizados separadamente sobre determinada terapêutica/intervenção, que podem apresentar resultados conflitantes e/ou coincidentes, bem como identificar temas que necessitam de evidência, auxiliando na orientação para investigações futuras⁵.

Ao viabilizarem, de forma clara e explícita, um resumo de todos os estudos sobre determinada intervenção, as revisões sistemáticas nos permitem incorporar um espectro maior de resultados relevantes, ao invés de limitar as nossas conclusões à leitura de somente alguns artigos. Outras vantagens incluem a possibilidade de avaliação da consistência e generalização dos resultados entre populações ou grupos clínicos, bem como especificidades e variações de protocolos de tratamento⁶. É importante destacar que esse é um tipo de estudo retrospectivo e secundário, isto é, a revisão é usualmente desenhada e conduzida após a publicação de muitos estudos experimentais sobre um tema. Dessa forma, uma revisão sistemática depende da qualidade da fonte primária.

Existe inconsistência na terminologia usada para se descrever revisões sistemáticas, considerando que algumas incluem uma síntese estatística dos resultados dos estudos e outras não. Autores apontam que revisões sistemáticas com metanálise são diferentes de outras revisões por seu componente metanalítico⁶. Metanálise é a análise da análise, ou seja, é um estudo de revisão da literatura em que os resultados de vários estudos independentes são combinados e sintetizados por meio de procedimentos estatísticos, de modo a produzir uma única estimativa ou índice que caracterize o efeito de (uma) determinada intervenção⁷. Em estudos de metanálise, ao se combinar amostras de vários estudos, aumenta-se a amostra total, melhorando o poder estatístico da análise, assim como a precisão da estimativa do efeito do tratamento⁶.

Atualmente, ainda são poucas as revisões sistemáticas com metanálise disponíveis na Fisioterapia e na Terapia Ocupacional bem como em outras áreas da saúde. Segundo Magee, as razões que dificultam a realização desse tipo de estudo incluem a utilização de diferentes protocolos de pesquisa (e.g., seleção, intervenção, mensuração dos efeitos) e variações na qualidade metodológica (e.g., que pode ser classificada como forte, moderada ou fraca)⁸. O presente artigo terá como foco estudos de revisão sistemática sem metanálise.

A posição ocupada pela revisão sistemática na hierarquia da evidência ilustra a sua importância para a clínica e a pesquisa. Nessa hierarquia, quando procuramos por evidência sobre a eficácia de intervenção ou tratamento, estudos de revisão sistemática com metanálise ou sem ela, que incluem ECA e estudos experimentais, tendem geralmente a disponibilizar evidência mais forte, ou seja, são estudos mais adequados para responder a perguntas sobre a eficácia de uma intervenção^9,10. Essa hierarquia norteia os critérios de classificação de níveis de evidência para diferentes tipos de estudo (prognóstico, diagnóstico, terapêutico, estudos de prevalência e de análise econômica)^* * Para definição dos níveis de evidência, ver < http://www.cebm.net/levels_of_evidence.asp#/levels >; .

Antes de se iniciar uma revisão sistemática, três etapas precisam ser consideradas, quais sejam: definir o objetivo da revisão, identificar a literatura e selecionar os estudos possíveis de serem incluídos. Essas etapas preliminares são importantes, uma vez que auxiliam os pesquisadores a adequar a pergunta norteadora da revisão com base na informação disponível sobre o tema de interesse¹¹. Cabe destacar que uma revisão sistemática segue a estrutura de um artigo original, incluindo seções de introdução, métodos, resultados e discussão.

DESCRIÇÃO E ELABORAÇÃO DE UMA REVISÃO SISTEMÁTICA

A seguir será feita uma descrição das etapas que constituem o processo de elaboração de um estudo de revisão sistemática. Em cada passo, uma ilustração do conteúdo específico será apresentada, tomando como exemplos informações publicadas em uma revisão sistemática sobre a eficácia de programas de treinamento de força muscular para indivíduos com paralisia cerebral¹².

A realização de uma revisão sistemática envolve o trabalho de pelo menos dois pesquisadores, que avaliarão, de forma independente, a qualidade metodológica de cada artigo selecionado. É importante que os pesquisadores elaborem um protocolo de pesquisa que inclua os seguintes itens: como os estudos serão encontrados, critérios de inclusão e exclusão dos artigos, definição dos desfechos de interesse, verificação da acurácia dos resultados, determinação da qualidade dos estudos e análise da estatística utilizada⁸.

Passo 1: Definindo a pergunta

Assim como qualquer outra investigação científica, uma boa revisão sistemática requer uma pergunta ou questão bem formulada e clara. Ela deve conter a descrição da doença ou condição de interesse, a população, o contexto, a intervenção e o desfecho.

Passo 2: Buscando a evidência

Os pesquisadores devem se certificar de que todos os artigos importantes ou que possam ter algum impacto na conclusão da revisão sejam incluídos. A busca da evidência tem início com a definição de termos ou palavras-chave, seguida das estratégias de busca, definição das bases de dados e de outras fontes de informação a serem pesquisadas. Para mais detalhes, consultar www.bireme.br e Oxman¹³.

A busca em base de dados eletrônica e em outras fontes é uma habilidade importante no processo de realização de uma revisão sistemática, considerando que sondagens eficientes maximizam a possibilidade de se encontrarem artigos relevantes em um tempo reduzido^6,13. Uma procura eficaz envolve não só uma estratégia que inclua termos adequados, mas também a escolha de base de dados que insiram mais especificamente o tema (e.g., biblioteca Cochrane, MEDLINE, EMBASE, CINAHL, SciELO, entre outras). Orientações de estratégias que aumentam a sensibilidade e especificidade das buscas foram descritas por Sackett et al.².

Passo 3: Revisando e selecionando os estudos

Durante a seleção dos estudos, a avaliação dos títulos e dos resumos (abstracts) identificados na busca inicial deve ser feita por pelo menos dois pesquisadores, de forma independente e cegada, obedecendo rigorosamente aos critérios de inclusão e exclusão definidos no protocolo de pesquisa. Quando o título e o resumo não são esclarecedores, deve-se buscar o artigo na íntegra, para não correr o risco de deixar estudos importantes fora da revisão sistemática.

Os critérios de inclusão e exclusão são definidos com base na pergunta que norteia a revisão: tempo de busca apropriado (e.g. 5 anos), população-alvo (e.g. adulto, criança, atleta), intervenções, mensuração dos desfechos de interesse, critério metodológico, idioma, tipo de estudo, entre outros. As discordâncias que por ventura ocorram devem ser resolvidas por consenso¹⁴.

No ^{Anexo 2} Anexo 2 encontram-se algumas regras que podem auxiliar na seleção inicial dos artigos.

Passo 4: Analisando a qualidade metodológica dos estudos

A qualidade de uma revisão sistemática depende da validade dos estudos incluídos nela. Nesta fase é importante que os pesquisadores considerem todas as possíveis fontes de erro (bias), que podem comprometer a relevância do estudo em análise. Um conhecimento aprofundado de métodos de investigação e de análise estatística, bem como das medidas ou dos instrumentos de mensuração empregados, é requisito indispensável para que os pesquisadores possam desempenhar a sua tarefa.

Existem diferentes escalas que auxiliam na avaliação dos estudos, tais como lista de Delphi, PEDro, OTSeeker, critérios de Maastricht, escala de Jadad, entre outras. Atualmente, a mais usada na área da reabilitação é a escala PEDro (PEDro scale, http://www.pedro.fhs.usyd.edu.au). Essa escala foi desenvolvida pela Physiotherapy Evidence Database para ser empregada em estudos experimentais e tem uma pontuação total de até 10 pontos, incluindo critérios de avaliação de validade interna e apresentação da análise estatística empregada. Para cada critério definido na escala, um ponto (1) é atribuído à presença de indicadores da qualidade da evidência apresentada, e zero ponto (0) é atribuído à ausência desses indicadores.

A escala PEDro é composta pelos seguintes critérios: 1) especificação dos critérios de inclusão (item não pontuado); 2) alocação aleatória; 3) sigilo na alocação; 4) similaridade dos grupos na fase inicial ou basal; 5) mascaramento dos sujeitos; 6) mascaramento do terapeuta; 7) mascaramento do avaliador; 8) medida de pelo menos um desfecho primário em 85% dos sujeitos alocados; 9) análise da intenção de tratar; 10) comparação entre grupos de pelo menos um desfecho primário e 11) relato de medidas de variabilidade e estimativa dos parâmetros de pelo menos uma variável primária^15,16.

Depois de a escala ter sido usada de forma independente pelos pesquisadores, cabe analisar a concordância entre eles. Nessa análise pode ser empregado, por exemplo, o índice Kappa (K). Considerando que a escala PEDro apresenta níveis moderados de confiabilidade entre avaliadores (ICC= 0,68; IC 95% = 0,57-0,76), discordâncias entre os pesquisadores podem ser resolvidas por discussão e consenso, quando possível¹⁶.

Passo 5: Apresentando os resultados

Os artigos incluídos na revisão sistemática podem ser apresentados em um quadro que destaca suas características principais, como: autores, ano de publicação, desenho metodológico, número de sujeitos (N), grupos de comparação, caracterização do protocolo de intervenção (tempo, intensidade, freqüência de sessões, etc.), variáveis dependentes e principais resultados. O ^{Anexo 1} Anexo 1 ilustra um exemplo de apresentação de parte dos resultados de uma revisão sistemática¹².

A seção de métodos é especialmente importante e necessita ser bem detalhada (e.g. estratégias de busca, como os estudos foram selecionados para inclusão na revisão sistemática, entre outros) e passível de reprodução. Informações sobre a confiabilidade entre examinadores na avaliação da qualidade da evidência precisam ser apresentadas assim como os critérios usados para resolver as discordâncias entre eles.

Segundo Law et al.⁷, muitos autores de revisões sistemáticas tendem a comunicar somente os resultados positivos de ensaios clínicos, ou seja, os resultados de intervenções que produziram efeito. É importante apresentar também os resultados negativos dos estudos, já que os profissionais que estão na clínica necessitam dessa informação para mudar a sua prática. Publicar nas revisões sistemáticas os aspectos positivos e negativos das intervenções/tratamento só aumentará o conhecimento a respeito da sua eficácia e da sua limitação.

COMENTÁRIOS FINAIS

Conhecer o processo de desenvolvimento de uma revisão sistemática pode auxiliar o leitor a compreender esse tipo de estudo. No entanto, o leitor tem de se preparar ainda para avaliar a qualidade da revisão sistemática^17,18 e para selecionar o que interessa entre diferentes revisões sobre o mesmo tema¹⁹. É importante considerar como as conclusões desse tipo de estudo podem ser aplicadas na prática clínica, levando-se em conta o paciente e o contexto em que essa será implementada.

A publicação de estudos de revisão sistemática, bem como de outros que sintetizam resultados de pesquisa, é um passo para a prática baseada em evidência. Mas, para que isso ocorra de fato, torna-se necessária uma mudança de comportamento por parte dos profissionais da saúde. Essa mudança implica não só consumir a literatura disponibilizada, mas também levar essa informação para a prática clínica cotidiana. O objetivo final desse processo é melhorar a qualidade dos cuidados oferecidos pelos profissionais da saúde.

Recebido: 20/09/2006

Revisado: 20/12/2006

Aceito: 27/12/2006

^{Anexo 1 - clique aqui para ampliar} Anexo 1

Anexo 2

^{Anexo 2 - clique aqui para ampliar} Anexo 2

1. Bennett S, Bennett JW. The process of evidence-based practice in occupational therapy: informing clinical decisions. Austral Occup Ther J. 2000;47:171-80.
2. Sackett DL, Straus SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-Based Medicine: how to practice and teach EBM. 2Ş ed. London: Churchill Livingstone; 2000.
3. Law M, Baum C. Evidence-based practice. Can J Occup Ther. 1998;65:131-5.
4. Sampaio RF, Mancini MC, Fonseca ST. Prática baseada em evidência: buscando informação para fundamentar a prática clínica do fisioterapeuta e do terapeuta ocupacional. Rev. Bras. Fisioter. 2002;6(3):113-8.
5. Linde K, Willich SN. How objective are systematic reviews? Differences between reviews on complementary medicine. J R Soc Med. 2003;96:17-22.
6. Akobeng AK. Understanding systematic reviews and meta-analysis. Arch Dis Child. 2005;90:845-8.
7. Law M, Philp I. Systematically reviewing the evidence. In: Law M. Evidence-based rehabilitation: a guide to practice. Thorofare (NJ): SLACK Inc; 2002.
8. Magee DJ. Systematic reviews (meta-analysis) and functional outcome measures (apostila). Developmental Editor: B. Aindow, 1998.
9. Akobeng AK. Understanding randomized controlled trials. Arch Dis Child. 2005;90:840-4.
10. Evans D. Hierarchy of evidence: a framework for ranking evidence evaluating healthcare interventions. J Clin Nurs. 2003; 12:77-84.
11. Domholdt E. Rehabilitation research: principles and applications. Missouri: Elsevier Saunders; 2005.
12. Dodd KJ, Taylor NF, Damiano DL. A systematic review of the effectiveness of strength-training programs for people with cerebral palsy. Arch Phys Med Rehabil. 2002;83:1157-64.
13. Oxman AD, Sackett DL, Guyatt GH. Users' guide to the medical literature I: how to get started. JAMA. 1993;270:2093-5.
14. Jadad AR, Moher M, Browman GP, Booker L, Sigouin C, Fuentes M, et al. BMJ. 2000;320:537-40.
15. Chagas PSC, Mancini MC, Barbosa AP, Silva PTG. Análise das intervenções utilizadas para a promoção da marcha em crianças portadoras de paralisia cerebral: uma revisão sistemática da literatura. Rev. Bras. Fisioter. 2004;8(2):155-63.
16. Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the PEDro scale for rating quality of randomized controlled trials. Phys. Ther. 2003;83:713-21.
17. Oxman AD, Cook DJ, Guyatt GH. Evidence-based medicine working group. User´s guide to the medical literature: IV. How to use an overview. JAMA [periódico na Internet]. 1994; 272:1367-71. Disponível em: URL: <http://www.cche.net/principles/content_all.asp>.
18. Greenhalgh T. How to read a paper: papers that summarise other papers (systematic reviews and meta-analyses). BMJ, 1997;315:672-675. Disponível em: URL: <http://www.bmj.com/collections/red.shtml>.
19. Jadad AR, Cook DJ, Browman GP. A guide to interpreting discordant systematic reviews. Can Med Assoc J. 1997;156:1411-6.