Acessibilidade / Reportar erro

A qualidade dos ensaios clínicos randomizados publicados no Jornal Vascular Brasileiro

Quality of randomized clinical trials published in the Jornal Vascular Brasileiro

Resumos

CONTEXTO: A qualidade dos ensaios clínicos randomizados (ECR) define-se como a probabilidade de um estudo planejado gerar resultados sem tendências e que se aproximem da realidade terapêutica. OBJETIVO: Determinar a qualidade dos artigos originais com ECR publicados no Jornal Vascular Brasileiro. MATERIAIS E MÉTODOS: Estudo descritivo transversal com base na busca eletrônica dos artigos originais publicados no Jornal Vascular Brasileiro, entre dezembro de 2004 e setembro de 2009, que tivessem características de ECR. Variável primária: qualidade dos ECR; variáveis secundárias: encaminhamento da pesquisa ao Comitê de Ética em Pesquisa (CEP), utilização do termo de consentimento livre e esclarecido (TCLE), descrição da fonte de fomento, cálculo do tamanho da amostra, teste estatístico utilizado, nível de significância adotado na pesquisa, utilização de estatística descritiva, descrição do intervalo de confiança (IC) e sigilo da alocação. Foram pesquisados dados complementares: número de autores, local de origem e tipo de estudo. Utilizou-se estatística descritiva, cálculo do tamanho da amostra e IC de 95%. RESULTADOS: Entre 114 artigos originais da amostra, 1 foi classificado como ECR, sendo de boa qualidade. Do total, 51 foram encaminhados ao CEP, 41 utilizaram TCLE, em 6 houve descrição do fomento e em 5 houve cálculo do tamanho da amostra. A amostra mostrou distribuição trimodal do número de autores por artigo (4, 5, 6), aparecendo em 20 artigos, cada um dos valores respectivos da moda. São Paulo contribuiu com 48 publicações. O teste do qui-quadrado foi o mais utilizado (38,7%). O nível de significância de 5% foi adotado em 54 artigos, em 90 utilizou-se estatística descritiva e em 18 descreveu-se uso do IC. CONCLUSÃO: Não foi possível determinar a qualidade dos ECR no Jornal Vascular Brasileiro, pois foi encontrado apenas um de boa qualidade

Ensaios clínicos controlados aleatórios como assunto; publicações; artigo de revista; medicina baseada em evidências; procedimentos cirúrgicos vasculares


BACKGROUND: The quality of a randomized clinical trial (RCT) is defined as the likelihood of a planned study to generate unbiased results and approach the therapeutic reality. OBJECTIVE: To determine the quality of the RCT published as original articles in the Jornal Vascular Brasileiro. MATERIALS AND METHODS: A descriptive, cross-sectional study based on electronic search of original articles published in Jornal Vascular Brasileiro between December 2004 and September 2009, which had characteristics of RCT. Primary variable: Quality of RCT; secondary variables: submission to the Ethics in Research Committee (ERC), use of the informed consent form (IC), description of the research funding source, sample size calculation, statistical test, significance level in research, descriptive statistics, description of the confidence interval (CI) and allocation concealment. Additional data: number of authors, place and type of study. Descriptive statistics were used, as well as sample size calculation and the 95% CI. RESULTS: Out of the 114 original articles, 1 was classified as RCT and was considered as good quality. Out of the total number of articles, 51 were submitted to the ERC, IC was used in 41, there was description of the grant in 6, and the sample size was calculated in 5. The sample revealed trimodal distribution of the number of authors per article (4, 5, 6), appearing in 20 articles each of the respective values of mode. The state of São Paulo contributed to 48 publications. Chi-square test was the most frequently used statistical method (38.7%), the significance level of 5% was adopted in 54 articles, descriptive statistics were used in 90 and CI was reported in18 articles. CONCLUSION: It was not possible to determine the quality of RCT in the Jornal Vascular Brasileiro, because only one good quality trial was found

Randomized controlled trials as topic; publications; journal article; evidence-based medicine; vascular surgical procedures


ARTIGO ORIGINAL

A qualidade dos ensaios clínicos randomizados publicados no Jornal Vascular Brasileiro

Quality of randomized clinical trials published in the Jornal Vascular Brasileiro

João Gustavo Rocha Peixoto dos SantosI; Fabiano Timbó BarbosaII; Tamires Santos FragaI

IAcadêmicos de Medicina da Universidade Federal de Alagoas (UFAL), Maceió (AL), Brasil

IIMestre em Ciências; Professor da Disciplina de Bases Técnicas Cirúrgicas e Anestésicas da UFAL, Maceió (AL), Brasil

Correspondência Correspondência : João Gustavo Rocha Peixoto dos Santos Loteamento Bariloche, Quadra Q, nº: 215. Feitosa CEP: 57042-780 - Maceió(AL), Brasil E-mail: joao.gustavo88@gmail.com

RESUMO

CONTEXTO: A qualidade dos ensaios clínicos randomizados (ECR) define-se como a probabilidade de um estudo planejado gerar resultados sem tendências e que se aproximem da realidade terapêutica.

OBJETIVO: Determinar a qualidade dos artigos originais com ECR publicados no Jornal Vascular Brasileiro.

MATERIAIS E MÉTODOS: Estudo descritivo transversal com base na busca eletrônica dos artigos originais publicados no Jornal Vascular Brasileiro, entre dezembro de 2004 e setembro de 2009, que tivessem características de ECR. Variável primária: qualidade dos ECR; variáveis secundárias: encaminhamento da pesquisa ao Comitê de Ética em Pesquisa (CEP), utilização do termo de consentimento livre e esclarecido (TCLE), descrição da fonte de fomento, cálculo do tamanho da amostra, teste estatístico utilizado, nível de significância adotado na pesquisa, utilização de estatística descritiva, descrição do intervalo de confiança (IC) e sigilo da alocação. Foram pesquisados dados complementares: número de autores, local de origem e tipo de estudo. Utilizou-se estatística descritiva, cálculo do tamanho da amostra e IC de 95%.

RESULTADOS: Entre 114 artigos originais da amostra, 1 foi classificado como ECR, sendo de boa qualidade. Do total, 51 foram encaminhados ao CEP, 41 utilizaram TCLE, em 6 houve descrição do fomento e em 5 houve cálculo do tamanho da amostra. A amostra mostrou distribuição trimodal do número de autores por artigo (4, 5, 6), aparecendo em 20 artigos, cada um dos valores respectivos da moda. São Paulo contribuiu com 48 publicações. O teste do qui-quadrado foi o mais utilizado (38,7%). O nível de significância de 5% foi adotado em 54 artigos, em 90 utilizou-se estatística descritiva e em 18 descreveu-se uso do IC.

CONCLUSÃO: Não foi possível determinar a qualidade dos ECR no Jornal Vascular Brasileiro, pois foi encontrado apenas um de boa qualidade.

Palavras-chave: Ensaios clínicos controlados aleatórios como assunto; publicações; artigo de revista; medicina baseada em evidências; procedimentos cirúrgicos vasculares.

ABSTRACT

BACKGROUND: The quality of a randomized clinical trial (RCT) is defined as the likelihood of a planned study to generate unbiased results and approach the therapeutic reality.

OBJECTIVE: To determine the quality of the RCT published as original articles in the Jornal Vascular Brasileiro.

MATERIALS AND METHODS: A descriptive, cross-sectional study based on electronic search of original articles published in Jornal Vascular Brasileiro between December 2004 and September 2009, which had characteristics of RCT. Primary variable: Quality of RCT; secondary variables: submission to the Ethics in Research Committee (ERC), use of the informed consent form (IC), description of the research funding source, sample size calculation, statistical test, significance level in research, descriptive statistics, description of the confidence interval (CI) and allocation concealment. Additional data: number of authors, place and type of study. Descriptive statistics were used, as well as sample size calculation and the 95% CI.

RESULTS: Out of the 114 original articles, 1 was classified as RCT and was considered as good quality. Out of the total number of articles, 51 were submitted to the ERC, IC was used in 41, there was description of the grant in 6, and the sample size was calculated in 5. The sample revealed trimodal distribution of the number of authors per article (4, 5, 6), appearing in 20 articles each of the respective values of mode. The state of São Paulo contributed to 48 publications. Chi-square test was the most frequently used statistical method (38.7%), the significance level of 5% was adopted in 54 articles, descriptive statistics were used in 90 and CI was reported in18 articles.

CONCLUSION: It was not possible to determine the quality of RCT in the Jornal Vascular Brasileiro, because only one good quality trial was found.

Keywords: Randomized controlled trials as topic; publications; journal article; evidence-based medicine; vascular surgical procedures.

Introdução

Os ensaios clínicos randomizados (ECR) constituem-se em uma poderosa arma de teste de intervenções para a saúde1. São estudos analíticos, prospectivos e experimentais e têm por obrigação testar o efeito de uma intervenção2. ECR mal conduzidos podem levar a resultados tendenciosos3

A qualidade de um ensaio clínico randomizado definese como a probabilidade de um estudo planejado gerar resultados sem tendências e que se aproximem da realidade terapêutica2. O contínuo aperfeiçoamento nos cuidados da saúde depende dos resultados dos trabalhos realizados em que não haja vieses4. Os critérios para se dizer que um estudo é de boa qualidade são: itens da validade interna, itens da validade externa e tratamento estatístico. Os itens da validade interna são: método da randomização, sigilo da alocação, mascaramento, perdas e exclusões5.

O objetivo foi avaliar a qualidade dos artigos originais dos ECR publicados no Jornal Vascular Brasileiro.

A hipótese testada foi a de que 5% dos artigos originais de ECR publicados no Jornal Vascular Brasileiro são de boa qualidade.

Métodos

Esta pesquisa foi submetida ao Comitê de Ética em Pesquisa (CEP) da Universidade Federal de Alagoas, processo: 005207/2010, de 29/03/2010. Critério de inclusão: artigo original de ensaio clínico randomizado publicado no Jornal Vascular Brasileiro, encontrado por meio da busca eletrônica no formato de artigo original indexado no Scientific Electronic Library Online (SciELO). Se os autores declararam uma pergunta de pesquisa específica, detalharam seus métodos de pesquisa, apresentaram e interpretaram seus resultados, classificou-se o artigo como original6. Critérios de exclusão: artigos originais referentes a pesquisas com animais, revisão da literatura, carta editorial, relato de caso e estudos com cadáveres.

A variável primária foi a qualidade dos ECR. Analisaram-se os artigos originais de ECR publicados entre dezembro de 2004 e setembro de 2009 por meio da busca eletrônica, observando-se as palavras "randômico", "randomizado", "aleatório", "distribuição aleatória", "encobrimento", "duplamente encoberto", "duplo-cego", "placebo" ou quaisquer outras palavras que indicassem que o artigo poderia ser classificado como um ensaio clínico randomizado. Separaram-se os ECR em um grupo que foi submetido à avaliação da qualidade.

Os critérios descritos para a avaliação pela escala de qualidade foram2:

a) Para a distribuição aleatória: o método de geração da sequência aleatória foi considerado apropriado quando permitiu a cada participante do estudo ter a mesma chance de receber cada intervenção e quando o investigador não pudesse prever qual seria o próximo tratamento;

b) Para o encobrimento duplamente encoberto: um estudo foi considerado duplo-cego quando esse termo foi usado. O método foi tido como apropriado quando nem o paciente nem o responsável pela coleta de dados puderam identificar o tipo de tratamento dispensado, ou, na ausência dessa declaração, se o uso de placebos idênticos ou imitações foi mencionado. Quando o termo "duplamente encoberto" foi utilizado, os autores também consideraram o item para identificar o estudo como duplo-cego;

c) Para as perdas e exclusões: participantes que entraram no estudo, mas não completaram o período de observação ou não foram incluídos na análise e que foram descritos pelos autores dos artigos originais. O número e as razões para as perdas em cada grupo deveriam ser declarados. Quando não houve perdas, isso também deveria ser declarado no artigo original. Quando não houve descrição de perdas, atribuiu-se nota zero ao item.

Máximo de cinco pontos poderia ser obtido por meio dessa escala: três para cada "sim", um ponto adicional para um método adequado de distribuição aleatória e um ponto adicional para um método adequado de encobrimento. Quando o termo "duplo-cego"; não foi mencionado, mas houve descrição do encobrimento do paciente e do pesquisador das variáveis, houve pontuação para esse item na escala de qualidade. Considerou-se um estudo como de má qualidade quando recebeu dois pontos ou menos na escala de qualidade2.

As variáveis secundárias foram:

1. encaminhamento da pesquisa para o CEP;

2. utilização do termo de consentimento livre e esclarecido;

3. descrição da fonte de fomento;

4. cálculo do tamanho da amostra;

5. teste estatístico utilizado;

6. utilização de estatística descritiva;

7. nível de significância adotado na pesquisa;

8. uso do intervalo de confiança;

9. sigilo da alocação.

Os autores analisaram ainda os seguintes dados complementares: número de autores, local de origem da pesquisa e o tipo de estudo.

Os artigos originais de ECR foram analisados e classificados quanto ao sigilo da alocação da seguinte forma7:

A. sigilo adequadamente realizado e descrito;

B. não houve descrição da forma da randomização nem do sigilo da alocação;

C. o estudo foi descrito como randomizado, mas o método utilizado na pesquisa foi inadequado, como o uso do número de prontuários, a data de nascimento, alternância dos dias da semana ou qualquer outra forma que não tenha sido considerada transparente aos auto-res desta pesquisa;

D. Não era um ensaio clínico randomizado.

As variáveis secundárias foram analisadas nos artigos originais da amostra por um único revisor de artigos. Executou-se a busca das mesmas por meio da leitura na íntegra do artigo. A variável primária foi analisada em reunião de consenso entre os autores deste trabalho, que inicialmente submeteram os ECR ao sigilo de alocação, sendo os verdadeiros ensaios analisados posteriormente com a escala de qualidade2, por meio da leitura na íntegra do artigo, em que se buscavam os itens referidos em tal escala.

Utilizou-se estatística descritiva, além do cálculo do intervalo de confiança de 95% (IC95%) para os resultados da análise da qualidade metodológica. Expressaram-se as variáveis secundárias em porcentagens e apresentou-se o número de autores como moda.

Realizou-se o cálculo do tamanho da amostra, considerando-se a hipótese de que 5% dos artigos de ECR eram de boa qualidade, com precisão absoluta de 4% e um nível de significância de 5%,obtendo-se como resultado 114 artigos originais8.

Resultados

Foram triados 142 artigos originais em cirurgia vascular publicados no Jornal Vascular Brasileiro e, destes, submeteram-se à análise 114 artigos originais de acordo com amostra calculada para o estudo. Dentre os artigos originais, inicialmente classificaram-se 29,10 (1,7%; IC95%=0-4,2%) como ECR. Analisaram-se esses 2 artigos originais quanto ao sigilo da alocação: classificou-se 19 como A, e o outro10, não se tratando de um ensaio clínico randomizado, classificou-se, portanto, como D (Figura 1).


A análise da qualidade foi feita com o único artigo original9 da amostra que mostrou tratar-se de um ensaio clínico randomizado. Tal artigo mostrou-se de boa qualidade, tendo recebido quatro pontos na avaliação com a escala de qualidade2.

Na pesquisa das variáveis secundárias, encontrou-se na variável "encaminhamento ao CEP" uma porcentagem de 44,7% (51/114; IC95%=35,6-53,8%).

Em se tratando de termo de consentimento livre e esclarecido, 35,9% (41/114; IC95%=26,2-45,6%) dos artigos originais tinham em seu texto que o mesmo foi utilizado, não havendo tal descrição em 64,1% (IC95%=54,4-73,8%).

Houve referência da fonte de fomento da pesquisa em 6 (5,3%; IC95%=1,2-9,4%) artigos originais da amostra. Quanto ao cálculo do tamanho da amostra, 4,7% (5/114; IC95%=8,14-0,62%) descreveram como foi realizado, contra 95,3% (109/114; IC95%=91,86-99,38%) que não comentaram nada a respeito.

A amostra mostrou distribuição trimodal do número de autores por artigo (4, 5, 6), aparecendo em 20 artigos cada um dos valores respectivos à moda.

As variáveis "origem da pesquisa em estados do Brasil" e "teste estatístico utilizado" podem ser visualizadas nas Tabelas 1 e 2. Quanto à origem da publicação, apareceram na amostra sete estudos de outros países (6,1%; IC95%=1,710,5%).

Em 78,9% (90/114; IC95%=86,4-71,5%) dos artigos originais, utilizou-se estatística descritiva no decorrer do texto.

Quanto à variável "nível de significância", em 87,1% (54/62; IC95%=78,8-95,4%) dos artigos originais que utilizaram teste estatístico empregou-se nível de significância de 5%. Já 12,9% (8/62; IC95%=4,6-21,2%) não descreveram a utilização da variável.

A classificação dos artigos (Tabela 3) revelou uma predominância de estudos transversais (48/114; 42,1%; IC95%=33,0-51,2%), seguida de estudos de coorte (29/114; 25,4%; IC95%=17,4-33,4%), séries de casos (24/114; 21,1%; IC95%=13,6-28,5%), casos-controle (5/114; 4,7%; IC95%=0,62-8,14%), estudos de acurácia (3/114; 2,6%; IC95%=0-5,6%), ECR (2/114; 1,7%; IC95%=0-4,2%) e 1 estudo ecológico (0,9%; IC95%=0-2,6%). Encontraram-se ainda dois (2/114; 1,7%; IC95%=0-4,2%) estudos que não se encaixaram entre os métodos epidemiológicos clássicos (uma estudo quase experimental11 e um estudo de caso12) e foram classificados como "outros".

Quanto ao intervalo de confiança de 95%, não houve descrição em 84,2% (IC95%=90,9-77,5%) dos artigos originais da amostra.

Discussão

Ensaio clínico randomizado é um estudo experimental usado como padrão de referência dos métodos de pesquisa em epidemiologia, sendo a melhor fonte de evidência científica disponível e a melhor fonte para se determinar a eficácia de uma intervenção13. Para que os ECR possam cumprir essa função referencial, torna-se imperativo que sejam bem planejados, com as hipóteses a serem testadas descritas a priori, a fim de evitar erros sistemáticos.

Escolheu-se o Jornal Vascular Brasileiro para análise dos artigos originais por ser o órgão oficial responsável pela divulgação do conhecimento científico entre os cirurgiões vasculares no Brasil e, por ser essa revista recomendada e amplamente divulgada pela Sociedade Brasileira de Cirurgia Vascular e Angiologia. É, inclusive, de circulação livre e encontra-se disponível gratuitamente no Scielo, sendo mais relevante em termos de difusão, não se restringido ao âmbito médico-especialista.

Dentre os dois artigos originais encontrados e classificados inicialmente como ECR, um foi excluído da análise10 com a escala de qualidade2 por não se tratar de um ensaio clínico randomizado, sendo, portanto, classificado quanto ao sigilo da alocação como D. O outro artigo, por sua vez, foi classificado como A no sigilo de alocação e ganhou 4 dos 5 pontos da escala de qualidade2, mostrando-se de boa qualidade metodológica. Entretanto, é relevante salientar que no texto do artigo9 menciona-se apenas o método de distribuição aleatória como sorteio, e o fato de os autores descreverem que o estudo foi aleatório não assegura ao leitor ou a quem avalia o artigo que a pesquisa teve um método adequado14. A randomização consiste em alocar os indivíduos aleatoriamente nos grupos a serem comparados. Com isso, busca-se constituir grupos com características muito semelhantes (comparáveis), com exceção das intervenções que se quer avaliar1. Os participantes devem ter a mesma probabilidade de receber tanto a intervenção a ser testada quanto o seu controle15. Mesmo somente citando o método de distribuição aleatória como sorteio, o artigo ganhou o ponto de método adequado da escala de qualidade2, visto que o princípio de sorteio é o de que a maneira de escolher (algo ou alguém) ocorre de modo impessoal, deixando por conta do acaso a escolha16, não tendo, assim, o descritor do artigo como interferir em tais resultados.

Em se tratando de mascaramento, o artigo9 menciona que o paciente é cego aos dados e enfatiza que há mascaramento dos examinadores únicos que realizaram o duplex-scan no 30º dia de pós-operatório e pletismografia a ar no 60º de pós-operatório. Todavia, não há referência do mascaramento do examinador que fez a consulta para coleta de dados no 7º dia de pós-operatório. A razão para essa técnica baseia-se na tendência que surge quando todas as pessoas do ensaio conhecem a terapêutica que o paciente está recebendo. O mascaramento protege a sequência da distribuição aleatória depois de ter ocorrido a alocação12. Por isso, é relevante que os autores executem uma descrição correta desse item nas publicações.

O artigo9 não descreveu conjuntamente as perdas e exclusões, apresentando somente as exclusões após a randomização dos sujeitos de pesquisa. Perdas de seguimento e não aderência de participantes podem introduzir vieses, principalmente se diferentemente distribuídas entre os grupos tratados e controle, e devem ser sempre mencionadas13. A relevância de tal processo consiste no fato de que o leitor necessita de acesso aos valores e aos motivos dessas perdas e exclusões, a fim de que o mesmo possa julgar a viabilidade da intervenção em sua prática cotidiana.

A efetividade da aleatorização depende de dois procedimentos: geração da sequência da distribuição aleatória e do sigilo da alocação17. Não houve descrição do sigilo da alocação no momento do sorteio, ou menção de outras formas de sigilo. Um arcabouço metodológico inapropriado em ECR, em especial aqueles representantes de um sigilo falho da alocação, está associado a tendenciosidades18. O sigilo da alocação não deve ser confundido com o mascaramento, pois serve para prevenir o viés de seleção e protege a sequência da alocação antes e até que ela seja empregada17.

Encontrou-se na pesquisa a descrição de submissão ao CEP em 44,7% (51/114; IC95%=35,6-53,8%). Apesar de ser pré-requisito da revista o envio da folha de aprovação do CEP anexa à publicação, em 63 artigos originais (55,3%; IC95%=46,2-64,4%) isso não foi feito. Os comitês de Ética em Pesquisa são colegiados interdisciplinares de caráter consultivo, deliberativo e educativo, criados para defender os interesses dos sujeitos da pesquisa em sua integridade e dignidade e para contribuir no desenvolvimento da pesquisa dentro de padrões éticos19. Portanto, tornam-se imprescindíveis no processo de execução da pesquisa com seres humanos, ao exigirem o cumprimento dos referenciais éticos, mediando o conflito virtual que existe entre o interesse do indivíduo submetido à experimentação e o interesse da ciência.

Houve a descrição do termo de consentimento livre e esclarecido (TCLE) em 35,9% (41/114; IC95%=26,245,6%). O TCLE proporciona a anuência/autonomia do sujeito da pesquisa e/ou de seu representante legal, após explicação pormenorizada sobre o que ocorrerá na pesquisa, potenciais riscos e o incômodo que esta possa acarretar, autorizando sua participação voluntária na pesquisa19. A ausência de sua descrição nos artigos originais faz o leitor deduzir que tal pesquisa não respeitou os princípios da Bioética, da revogabilidade e da temporalidade, necessários em toda pesquisa com seres humanos.

A fonte de fomento foi citada em somente seis artigos. O financiamento à pesquisa serve como indicador da origem dessa fonte (seja pública ou privada), mostrando a tendência das publicações da revista, que mostrou ser de caráter independente por parte dos pesquisadores.

Dentro da amostra, cinco artigos originais (4,7%, IC95%=8,14-0,62%) relataram o cálculo do tamanho da amostra. O cálculo do tamanho da amostra implica planejamento da pesquisa e qualidade à publicação por sua influência no valor estatístico, já que o tamanho da amostra é inversamente proporcional ao valor de p; logo, amostras grandes levam a baixos valores de p, induzindo a erros na tomada de decisões por meio da pesquisa20. A ausência do cálculo do tamanho da amostra cria dúvida quanto à validade dos resultados obtidos, visto que o valor de p pode estar super ou subestimado. É importante comentar as implicações éticas, pois o número adequado para cada amostra impede que participantes a mais se exponham a uma determinada intervenção. Há ainda o aspecto financeiro, pois, direta ou indiretamente, um número maior de sujeitos de pesquisa aumenta os custos para realização.

A amostra mostrou distribuição trimodal do número de autores por artigo (4, 5, 6). Em tese, não se tem uma determinação que precise o número ideal de autores. Não é difícil encontrar o acréscimo dos nomes de pessoas que participaram direta e indiretamente da pesquisa, além do nome do pesquisador principal. Isso pode ser a justificativa para tais valores21.

São Paulo foi o estado que mais teve publicações de artigos originais. É fácil deduzir que o local que corresponde à capital econômica do país possua um maior número de centros de pesquisa dentro de universidades reconhecidas, além de concentrar maior número de profissionais membros da Sociedade Brasileira de Angiologia e de Cirurgia Vascular22, o que justifica essa maior contribuição.

Em 54,4% (62/114; IC95%=45,2-63,5%), houve utilização de teste estatístico. Dentre os que utilizaram testes estatísticos, o teste do qui-quadrado foi o mais utilizado (24/62; 38,7%; IC95%=26,6-50,8%). Esse teste compara proporções de variáveis categóricas e é considerado o mais utilizado nas pesquisas em saúde23. Os artigos originais da amostra tendem, aparentemente, a comparar duas ou mais amostras e responder questões envolvendo taxas, proporções ou frequências.

Na avaliação da variável estatística descritiva, 78,9% (90/114; IC95%=86,4-71,5%) dos artigos originais analisados utilizaram média, moda, mediana e/ou desvio padrão. A estatística descritiva compreende o manejo dos dados para resumi-los ou descrevê-los, sem procurar inferir qualquer coisa que ultrapasse os próprios dados24. Alguns autores apontam que essas generalizações pendem para uma abordagem chamada de inferência estatística, devendo a esta última o grande crescimento da Estatística atual.

Utilizou-se o nível de significância de 5% em 87,1% (54/62; IC95%=78,8-95,4%). Tal nível aponta que há probabilidade menor que 5% de o desfecho pesquisado ser atribuído ao acaso20. A escolha do nível de significância em uma pesquisa é arbitrária, cabendo ao pesquisador a escolha mais adequada; porém, o nível mais utilizado nas pesquisas na área de saúde é o valor de 5%20, notando-se tal tendência nesta pesquisa.

Observou-se que, na classificação dos estudos, 47 dos 114 artigos originais (41,2%; IC95%=32,2-50,3%) da amostra eram de estudos transversais e somente 1 foi qualificado como ensaio clínico randomizado (0,9%; IC95%=0-2,6%). Os melhores estudos produzidos no Brasil, frutos de fomentos e pós-graduação, vão para revistas internacionais, pois é política da Capes valorizar publicações em revistas de alto impacto. Tem-se um importante círculo vicioso criado pela Capes: para se ter indexadores internacionais (Medline e ISI), precisa-se de bons ECR, porém esses vão para revistas que já possuem ISI ou Medline. Além disso, a execução dos ECR, em geral, é tida como complexa e cara, o que faz com que muitas práticas em saúde sejam baseadas em estudos não experimentais (como de coorte e caso-controle), ou mesmo na observação não controlada de um conjunto de casos25. Dessa forma, subentende-se uma preferência dos autores para publicarem estudos que descrevem uma situação em um momento não definido ("fotografia").

Analisou-se o IC nesta pesquisa e encontrou-se a descrição em 18 dos 114 artigos originais da amostra (15,8%; IC95%=9,1-22,5%). O IC reflete a ideia de que se tem certo nível de confiança em cujo intervalo está a média. Um IC de 95% significa que, em se tratando de um dado método, se o mesmo for repetido por 100 vezes em um estudo, em 95 vezes a média estará dentro do IC calculado23.

A Biblioteca Regional de Medicina (Bireme) passou a exigir dos periódicos que publicam ECR, a inclusão da recomendação para o registro prévio dos ensaios publicados nas instruções aos autores, além do respectivo número de identificação como condição para aceitação do manuscrito26. A Organização Mundial de Saúde destaca a importância dos ECR como fonte de evidência da eficácia e segurança das intervenções em saúde e a necessidade do seu registro26,27 - independentemente de seus resultados positivos, negativos ou inconclusivos (em banco de dados público, de fácil aces-so eletrônico e gratuito)27 - para assegurar transparência na realização e publicação dos resultados, além de cumprir as responsabilidades éticas26,27. Existe uma tendência, em um futuro próximo, de se criar uma plataforma de registro único ou de padrões sistematizados para os ECR que se realizam no mundo, fortalecendo a publicidade das informações, diminuindo as repetições de método e prezando a ética da pesquisa.

As limitações dessa pesquisa foram o uso de uma única escala para julgar a qualidade dos artigos e a avaliação das variáveis secundárias por um único revisor. Recomenda-se que mais de um revisor avalie os artigos originais, resolvendo-se as discrepâncias em encontros de consenso. A avaliação das variáveis secundárias por dois revisores ajudaria a diminuir tendências2. É, inclusive, política do Jornal Vascular Brasileiro o sistema de avaliação por dois revisores, sendo um terceiro convocado, caso não haja consenso quanto à definição de publicação. A escala de qualidade2 classifica os itens da validade interna, ignorando os itens da validade externa e o método estatístico. Outras maneiras de julgamento da qualidade metodológica poderiam também ter uso concomitante, como a utilização de itens individuais e listas28.

Conclusão

Não foi possível determinar a qualidade dos ensaios clínicos randomizados no Jornal Vascular Brasileiro, pois encontrou-se apenas um de boa qualidade.

Submetido em: 09.05.10.

Aceito em 16.02.11

Não foram declarados conflitos de interesse associados à publicação deste artigo

Contribuições dos autores

Concepção e desenho do estudo: FTB, JGRPS, TSF

Análise e interpretação dos dados: FTB, JGRPS, TSF

Coleta de dados: JGRPS

Redação do artigo: JGRPS

Revisão crítica do texto: FTB, JGRPS

Aprovação final do artigo*: FTB, JGRPS, TSF

Análise estatística: FTB, JGRPS

Responsabilidade geral pelo estudo: FTB

Informações sobre financiamento: os custos foram por parte independente de seus autores.

*Todos os autores leram e aprovaram a versão final submetida ao J Vasc Bras.

  • 1. Coutinho ESF, Cunha GM. Conceitos básicos de epidemiologia e estatística para a leitura de ensaios clínicos controlados. Rev Bras Psiquiatr. 2005;27:146-51.
  • 2. Jadad AR, Moore RA, Carroll D, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials. 1996;17:1-12.
  • 3. Moher D, Cook DJ, Jadad AR, et al. Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Aassess. 1999;3:30.
  • 4. Schulz KF. Unbiased research and the human spirit: the challenges of randomized controlled trials. CMAJ. 1995;153:783-86.
  • 5. Buehler AM, Cavalcanti AB, Suzumura EA, Carballo MT, Berwanger O. Como avaliar criticamente um ensaio clínico de alocação aleatória em terapia intensiva. Rev Bras Ter Intensiva. 2009;21:219-25.
  • 6. Kurichi JE, Sonnad SS. Statistical methods in the surgical literature. J Am Coll Surg. 2006;202:476-84.
  • 7. Higgins JPT, Green S, editors. Cochrane Handbook for Systematic Reviews of Interventions. Version 4.2.5 [updated May 2005]. Chichester, England: John Wiley & Sons Ltd; Appendix 8a:215-229. [cited 2006 Apr 24]. Available from: http://www.cochrane.org/resources/handbook/hbook.htm
  • 8. Soares KVS, Castro AA. Projeto de pesquisa para ensaios clínicos randomizados. In: Atallah AN, Castro AA, editores. Medicina baseada em evidências: fundamentos da pesquisa clínica. São Paulo: Lemos-Editorial; 1998. p. 63-73.
  • 9. Medeiros CAF. Comparação entre o laser endovenoso e a fleboextração total da veia safena interna: resultados em médio prazo. J Vasc Bras. 2006;5:277-87.
  • 10. Campos CCC, Albuquerque PC, Braga IJS. Avaliação do volume de fluxo venoso da bomba sural por ultra-sonografia Doppler durante cinesioterapia ativa e passiva: um estudo piloto. J Vasc Bras. 2008;7:325-32.
  • 11. Mandelli NCB, Nhuch C, Fontes PR, et. al. O uso da estreptoquinase no tratamento da oclusão arterial aguda pós-cateterização da artéria femoral em crianças com menos de 10 kg. J Vasc Bras. 2007;6:42-9.
  • 12. Pinto DM, Dias Jr JO, Fonseca BLC, Moreialvar RD, Bez LG, Lopes CS. Experiência inicial com o uso de adesivo tissular contendo trombina para tratamento do pseudo-aneurisma femoral. J Vasc Bras. 2006;5:30-6.
  • 13. Escosteguy CC. Tópicos metodológicos e estatísticos em ensaios clínicos controlados randomizados. Arq Bras Cardiol. 1999;72:139-43.
  • 14. Goncalves GP, Barbosa FT, Barbosa LT, Duarte JL. Avaliação da qualidade dos ensaios clínicos aleatórios em terapia intensiva. Rev Bras Ter Intensiva. 2009;21:45-50.
  • 15. Yusuf S, Collins R, Peto R. Why do we need some large, simple randomized trials? Stat Med. 1984;3:409-22.
  • 16. Houaiss A, Villar MS, Franco FM. Dicionário eletrônico Houaiss da língua portuguesa [CD-ROM]. Versão 2.0a. Rio de Janeiro: Objetiva; 2001.
  • 17. Schulz KF, Chalmers I, Altman DG. The landscape and lexicon of blinding in randomized trials. Ann Intern Med. 2002; 136:254-59.
  • 18. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA. 1995;273:408-12.
  • 19. Ministério da Saúde (Brasil). Conselho Nacional de Saúde. Diretrizes e Normas Regulamentadoras de Pesquisa envolvendo seres humanos: Resolução 196. Brasília: Conselho Nacional de Saúde; 1996.
  • 20. Cavalcanti AB, Akamine N, Sousa JMA. Avaliação crítica da literatura. In: Knobel E. Condutas no paciente grave. 3Ş ed. São Paulo: Atheneu; 2006. p. 2635-47.
  • 21. Barbosa FT, Jucá MJ. Avaliação da qualidade dos ensaios clínicos aleatórios em anestesia publicados na Revista Brasileira de Anestesiologia no período de 2005 a 2008. Rev Bras Anestesiol. 2009;59:223-33.
  • 22. Forti JK, Santos MERC, Silva JAP, Mariano RR, Gontijo R, Araújo Jr RM. Distribuição de angiologistas e cirurgiões vasculares na população brasileira: análise dos membros da SBACV - ano base 2004. J Vasc Bras. 2004;3:350-6.
  • 23. Barbosa FT. ABC da Bioestatística. Maceió: Edufal; 2009. Quiquadrado; p. 125-36.
  • 24. Diehl CA, Souza MA, Domingos LEC. O uso da estatística descritiva na pesquisa em custos: análise do XIV Congresso Brasileiro de Custos. ConTexto. 2007;7:1-24.
  • 25. Coutinho ESF, Huf G, Bloch KV. Ensaios clínicos pragmáticos: uma opção na construção de evidências em saúde. Cad Saúde Pública. 2003;19:1189-93.
  • 26. Ruiz MA. Plataforma de registro de ensaios clínicos. Rev bras hematol hemoter. 2007;29:103-8.
  • 27. Lins ES. Registro de ensaios clínicos: declaração do Comitê Internacional de Editores de Revistas Médicas. Rev Assoc Med Bras. 2004;50:352-53.
  • 28. Verhagen AP, de Vet HC, de Bie RA, et al. The Delphi list: a criteria list for quality assessment of randomized clinical trials for conducting systematic reviews developed by Delphi consensus. J Clin Epidemiol. 1998;51:1235-41.
  • Correspondência :

    João Gustavo Rocha Peixoto dos Santos
    Loteamento Bariloche, Quadra Q, nº: 215. Feitosa
    CEP: 57042-780 - Maceió(AL), Brasil
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      16 Maio 2011
    • Data do Fascículo
      Mar 2011

    Histórico

    • Recebido
      09 Maio 2010
    • Aceito
      16 Fev 2011
    Sociedade Brasileira de Angiologia e de Cirurgia Vascular (SBACV) Rua Estela, 515, bloco E, conj. 21, Vila Mariana, CEP04011-002 - São Paulo, SP, Tel.: (11) 5084.3482 / 5084.2853 - Porto Alegre - RS - Brazil
    E-mail: secretaria@sbacv.org.br