Diversidade e freqüência dos desenhos de estudos científicos e métodos estatísticos nos Arquivos Brasileiros de Oftalmologia: revisão sistemática dos Arquivos Brasileiros de Oftalmologia - 1993 a 2002

Diversity and frequency of scientific research design and statistical methods in the "Arquivos Brasileiros de Oftalmologia": a systematic review of the "Arquivos Brasileiros de Oftalmologia" - 1993-2002

ARTIGOS ORIGINAIS

Diversidade e freqüência dos desenhos de estudos científicos e métodos estatísticos nos Arquivos Brasileiros de Oftalmologia. Revisão sistemática dos Arquivos Brasileiros de Oftalmologia - 1993 a 2002

Diversity and frequency of scientific research design and statistical methods in the "Arquivos Brasileiros de Oftalmologia". A systematic review of the "Arquivos Brasileiros de Oftalmologia" - 1993-2002

Fernando Crosta^I; Maria Cristina Nishiwaki-Dantas^II; Wilmar Silvino^III; Paulo Elias Correa Dantas^IV

^IResidente do 3º ano, Departamento de Oftalmologia da Irmandade da Santa Casa de Misericórdia de São Paulo. São Paulo (SP)

^IIChefe do Setor de Córnea e Doenças Externas da Irmandade da Santa Casa de Misericórdia de São Paulo e Doutora em Oftalmologia pela Universidade Federal de São Paulo (UNIFESP). São Paulo (SP)

^IIIAssistente do Setor de Bioestatística da Irmandade da Santa Casa de São Paulo. São Paulo (SP)

^IVAssistente do Setor de Córnea e Doenças Externas da Irmandade da Santa Casa de São Paulo; Chefe do Setor de Córnea e Doenças Externas do Hospital Oftalmológico de Sorocaba e Doutor em Oftalmologia pela Universidade de São Paulo (USP). São Paulo (SP)

^{Endereço para correspondência}

RESUMO

OBJETIVOS: Verificar a freqüência de tipos de desenho de estudo, métodos estatísticos empregados e aprovação por Comitê de Ética Médica de artigos científicos publicados nos Arquivos Brasileiros de Oftalmologia no intervalo de 10 anos de publicação, com posterior análise crítica comparativa com algumas das principais publicações internacionais na área de Oftalmologia.

MÉTODOS: Realizado estudo de revisão sistemática sem metanálise, no qual se examinaram artigos científicos publicados nos Arquivos Brasileiros de Oftalmologia, no período de janeiro de 1993 a dezembro de 2002, por dois revisores que, de modo independente, classificaram as publicações quanto ao desenho de estudo, método estatístico utilizado e aprovação por Comitê de Ética Médica. Foi realizada análise estatística descritiva para categorizar os desenhos de estudo e métodos estatísticos utilizados.

RESULTADOS: Depois de aplicados os critérios de inclusão e exclusão, foram analisados 584 artigos quanto ao método estatístico empregado e 725 quanto ao desenho de estudo utilizado. Tabela de contingência (23,10%) foi o método estatístico mais apresentado, seguido de testes não paramétricos (18,19%), teste t de Student (12,65%), medidas de tendência central (10,60%) e análise de variância (9,81%). Dos 584 artigos analisados, 291 (49,82%) não apresentavam tratamento estatístico. Série de casos observacionais (26,48%) foi o desenho de estudo mais utilizado, seguido de série de casos intervencionais (18,48%), descrição de caso observacional (13,37%), estudo clínico não aleatório (8,96%) e estudo experimental (8,55%).

CONCLUSÃO: Verificamos maior freqüência de estudos observacionais, a falta do emprego de método estatístico, em quase metade dos artigos analisados e o aumento de aprovações, por Comitê de Ética Médica, a partir de sua obrigatoriedade, em 1996.

Descritores: Oftalmologia; Métodos epidemiológicos; Projetos de pesquisa; Estatística/tendências; Publicações periódicas/estatística & dados numéricos

ABSTRACT

PURPOSE: To verify the frequency of study design, applied statistical analysis and approval by institutional review offices (Ethics Committee) of articles published in the "Arquivos Brasileiros de Oftalmologia" during a 10-year interval, with later comparative and critical analysis by some of the main international journals in the field of Ophthalmology.

METHODS: Systematic review without metanalysis was performed. Scientific papers published in the "Arquivos Brasileiros de Oftalmologia" between January 1993 and December 2002 were reviewed by two independent reviewers and classified according to the applied study design, statistical analysis and approval by the institutional review offices. To categorize those variables, a descriptive statistical analysis was used.

RESULTS: After applying inclusion and exclusion criteria, 584 articles for evaluation of statistical analysis and, 725 articles for evaluation of study design were reviewed. Contingency table (23.10%) was the most frequently applied statistical method, followed by non-parametric tests (18.19%), Student's t test (12.65%), central tendency measures (10.60%) and analysis of variance (9.81%). Of 584 reviewed articles, 291 (49.82%) presented no statistical analysis. Observational case series (26.48%) was the most frequently used type of study design, followed by interventional case series (18.48%), observational case description (13.37%), non-random clinical study (8.96%) and experimental study (8.55%).

CONCLUSION: We found a higher frequency of observational clinical studies, lack of statistical analysis in almost half of the published papers. Increase in studies with approval by institutional review Ethics Committee was noted since it became mandatory in 1996.

Keywords: Ophthalmology; Epidemiologic methods; Research design; Statistics/trends; Periodicals/statistics & numerical data

INTRODUÇÃO

Com a agilidade na divulgação de informações científicas e o desenvolvimento dos meios de comunicação, os médicos, em geral, e os oftalmologistas, em especial, se vêem municiados diariamente pelas mais diversas fontes de divulgação do conhecimento científico. Televisão, rádio, jornal e a rede mundial de computadores (Internet) movimentam grande massa de informações ligadas à área da ciência e da tecnologia. No entanto, entendemos que as revistas científicas representam, ainda hoje, o meio de informação mais importante, democrático e confiável, uma vez que adotam, em sua maioria, critérios específicos, seletivos e rigorosos para publicação de artigos científicos. Seus editores-chefes submetem os artigos enviados para publicação à avaliação de revisores independentes (em geral, dois) com especialidade no assunto em questão. Há, hoje em dia, exigência maior dos editores de revistas científicas em relação aos estudos submetidos para análise e publicação, em parte devido ao aumento da oferta de trabalhos encaminhados, no que diz respeito à qualificação metodológica, aprovação por comitê de ética em pesquisa, ao desenho e método estatístico aplicado para validar os estudos^(1-5).

A familiarização dos oftalmologistas com os variados tipos de desenho de estudo científico e o método estatístico indicado para sumarizar os dados obtidos e determinar o mérito e validade científica de cada artigo, torna-se fator de grande importância na assimilação e julgamento da veracidade dessas informações.

O conhecimento e o uso de métodos científicos adequados têm sido tema de alguns artigos científicos e editoriais em revistas oftalmológicas internacionais^(6-9), incluindo a publicação de um livro específico para oftalmologistas⁽¹⁰⁾, dando ênfase à necessidade do conhecimento, por parte do autor, dos tipos de desenhos de estudos e o correto emprego de métodos estatísticos para o sucesso de seu trabalho^(11-12). Reznick et al.⁽¹³⁾ enfatizaram a necessidade do ensino da estatística básica no programa de residência médica, visto que a minoria dos residentes que participaram de seu estudo mostrava familiaridade com o assunto.

Algumas publicações já versaram sobre a freqüência e distribuição dos estudos estatísticos nos artigos de diferentes revistas científicas de diversas especialidades médicas^(14-17). Juzych et al.⁽¹⁸⁾ fizeram análise semelhante nas principais revistas oftalmológicas americanas (Ophthalmology, American Journal of Ophthalmology e Archives of Ophthalmology). Após extensa pesquisa bibliográfica, não encontramos estudo semelhante relacionado à literatura brasileira.

Escolhemos para nosso estudo os artigos publicados nos Arquivos Brasileiros de Oftalmologia (ABO), visto constituir publicação ininterrupta há 66 anos, bem como ser editado pelo Conselho Brasileiro de Oftalmologia, órgão máximo de representação dos oftalmologistas brasileiros, além de seguir parâmetros de excelência internacional quanto à análise conceitual, metodológica e formal dos artigos enviados para revisão prévia à publicação, representando, assim, o veículo de divulgação da atividade científica da comunidade oftalmológica nacional de maior impacto⁽¹⁹⁾.

Baseados nas informações e afirmações prévias, objetivamos, por meio de revisão sistemática, sem metanálise:

• Verificar freqüência e tipos de desenho de estudos científicos aplicados nos artigos científicos publicados nos ABO de 1993 a 2002;

• Verificar freqüência e tipos de testes estatísticos aplicados aos estudos científicos publicados nos ABO de 1993 a 2002;

• Verificar freqüência de estudos que receberam a aprovação de Comitês de Ética nos artigos científicos publicados nos ABO de 1993 a 2002;

• Fazer análise crítica comparativa com as principais publicações internacionais na área de oftalmologia.

MÉTODOS

Artigos científicos publicados nos ABO, no período de janeiro de 1993 a dezembro de 2002, foram examinados por dois revisores (revisor 1 e revisor 2), que, de modo independente e pessoal, realizaram revisão sistemática sem metanálise, classificando as publicações quanto ao desenho de estudo e métodos estatísticos nelas empregadas em planilhas separadas. Um dos revisores (revisor 1) fez a análise de todos os estudos, enquanto outro revisor (revisor 2) analisou aleatoriamente 50% dos estudos, servindo como controle interno do estudo. Em caso de desacordo na classificação do estudo, em reunião final, após discussão ponderada, os dois revisores selecionaram a melhor opção, dentro dos parâmetros da padronização utilizada.

Para padronizar a tabulação dos métodos estatísticos usados e compará-los com outras publicações, utilizou-se a classificação proposta por Emerson e Colditz⁽¹⁴⁾ e por Hokanson et al.^(15-17), modificadas por Juzych et al.⁽¹⁸⁾. As diferentes categorias sugeridas são expostas no quadro 1. Esta classificação propõe distinção entre métodos de tendência central (média, moda e mediana) e métodos de dispersão dos dados (desvio-padrão e variância). "Métodos inespecíficos" aplicam-se aos artigos que contêm frases como "estatisticamente significante" ou valor de p, sem especificar o método estatístico empregado. "Artigos sem tratamento estatístico" referem-se a estudos que não apresentem conteúdo estatístico ou apresentem somente porcentagens, contas, gráficos e/ou histograma.

Critérios de Inclusão: Foram incluídos artigos originais publicados na íntegra pelos Arquivos Brasileiros de Oftalmologia no período de 1993 a 2002.

Critérios de Exclusão: Não foram incluídos, na avaliação dos métodos estatísticos empregados, os seguintes formatos de publicação: Cartas ao Editor, Editoriais, Descrição de caso clínico observacional ou intervencional (um a dois casos), Anais de Congressos, Revisões Temáticas, Atualizações Continuadas e Resumos de artigos publicados no exterior.

Do mesmo modo, não foram incluídos na avaliação do tipo de desenho científico aplicado ao estudo, os seguintes formatos de publicação: Cartas ao Editor, Editoriais, Anais de Congressos, Revisões Temáticas, Atualizações Continuadas e Resumos de artigos publicados no exterior.

Desse modo, um total de 1.148 artigos, publicados nos ABO entre janeiro de 1993 e dezembro de 2002, foram selecionados e revistos.

Para qualificação e quantificação do tipo de desenho científico dos estudos, foi adaptada a classificação proposta pelo corpo editorial das revistas Ophthalmology⁽³⁾ e American Journal of Ophthalmology⁽⁴⁾ (Quadro 2). A finalidade do uso dessa classificação foi padronizar a tabulação da classificação estatística e de método de estudo, para permitir comparação com estudos equivalentes.

Após a obtenção das planilhas de avaliação dos revisores independentes, os dados foram transferidos para planilha eletrônica (Microsoft^® Excel X for Mac^® Service Release 1, Microsoft Corporation, USA) para totalização de dados e geração de gráficos. A análise estatística foi feita por estatística descritiva.

Vale frisar que não foi intenção deste estudo verificar a validade e/ou a coerência da aplicação dos testes estatísticos, mas tão somente quantificá-los e categorizá-los.

RESULTADOS

Depois de aplicados os critérios de inclusão e exclusão citados anteriormente, foram analisados (de um total de 1.148) 584 artigos para classificação quanto aos métodos estatísticos e 725 para classificação quanto ao desenho de estudo. A tabela 1 mostra os resultados dos métodos estatísticos e a tabela 2 os resultados dos desenhos de estudo.

Dos 584 artigos analisados, 291 (49,82%) não apresentavam tratamento estatístico e 293 (50,17%) apresentavam tratamento estatístico (Tabela 3). Como alguns estudos apresentavam mais de um método estatístico, o número total de tratamentos estatísticos usados nos 293 estudos foi de 692.

Tabela de contingência (23,10%) foi o método estatístico mais utilizado, seguido de testes não paramétricos (18,19%), teste t de Student (12,65%), medidas de tendência central (10,60%) e análise de variância (9,81%). Esta ordem de freqüência manteve-se praticamente estável, analisando-se os biênios separadamente (Quadro 3).

O quadro 4 mostra os dez tipos de métodos estatísticos encontrados com maior freqüência em estudos anteriores de outras revistas internacionais, comparados aos resultados aqui encontrados. Nota-se que, dentre as revistas oftalmológicas estudadas por Juzych et al.⁽¹⁸⁾, as medidas de tendência central e dispersão foram as mais freqüentes, enquanto, em nosso estudo, medidas de tendência central foi a quarta mais freqüente no geral e dispersão foi a sexta.

A tabela 2 mostra a freqüência dos tipos de desenhos de estudos presentes nos 725 artigos analisados. Os cinco tipos de desenhos de estudo mais freqüentemente encontrados foram série de casos observacionais (26,48%), seguido de série de casos intervencionais (18,48%), descrição de caso observacional (13,37%), estudo clínico não aleatório (8,96%) e estudo experimental (8,55%), posições estas que também se mantiveram praticamente estáveis, quando analisados os biênios separadamente (Quadro 3).

O gráfico 1 mostra as distribuições dos artigos estudados quanto à sua aprovação por Comitê de Ética Médica separados por seus respectivos anos de publicação.

COMENTÁRIOS

Enfatizamos, mais uma vez, que não foi nossa intenção avaliar a validade e adequação dos métodos estatísticos empregados, a precisão de seus cálculos e a interpretação de seus resultados.

Ao analisarmos os resultados de nosso estudo e compará-los com o de outra publicação⁽¹⁸⁾, observamos que a distribuição dos métodos estatísticos mais freqüentemente encontrados nos ABO, nesse período, (tabelas de contingência, testes não paramétricos, teste t de Student e medidas de tendência central) difere da encontrada em revistas oftalmológicas internacionais (Quadro 4). Dentre outras possíveis razões, acreditamos ser essa diferença fruto da maior proporção de estudos clínicos descritivos (observacionais ou intervencionais) publicados nos ABO, em relação aos analíticos, com conseqüente uso de tratamento estatístico de menor nível de complexidade. A distribuição dos métodos estatísticos mostrou-se praticamente uniforme quando os resultados foram fragmentados por biênios (Quadro 3).

O número de artigos sem tratamento estatístico (49,83%) foi superior ao encontrado no estudo realizado por Juzych et al.⁽¹⁸⁾, no qual 44,8% dos estudos publicados no American Journal of Ophthalmology não apresentaram tratamento estatístico, 33,2% na Ophthalmology e 24,7% nos Archives of Ophthalmology. Salientamos que não consideramos porcentagens como tratamento estatístico válido, o que pode ter contribuído para a diferença observada.

Quanto aos desenhos de estudo, destaca-se o grande número de casos observacionais, como série e descrição de casos observacionais, que juntos somam 39,86% do total. Os estudos experimentais somaram apenas 8,55% do total, sugerindo serem os estudos clínicos os mais prevalentes na realidade científica oftalmológica brasileira. Tal observação já foi feita, em editorial, por Campos⁽²⁰⁾, referindo-se ao pequeno percentual de trabalhos experimentais apresentados, como temas livres, no Congresso Brasileiro de Oftalmologia de 1997.

Dentre os 725 artigos estudados, ressaltamos a ausência de revisões sistemáticas, tipo de estudo realizado nesta proposição. Não há, na literatura mundial pesquisada, conteúdo que verse, retrospectivamente, sobre a distribuição de desenhos de estudo, impossibilitando a comparação de nossos resultados com os de outros periódicos.

Dentre os artigos publicados, nota-se significativo e consistente aumento de aprovações por comitês de ética em pesquisa somente a partir do ano de 2000 (Gráfico 1). Tal mudança pode ser atribuída à aprovação da resolução CNS nº 196 do Código de Ética Médica, de outubro de 1996, que tornou obrigatória a apreciação, por um Comitê de Ética institucional, de qualquer pesquisa envolvendo seres humanos⁽²¹⁾. Nota-se porém, ainda um certo desconhecimento dos autores sobre a obrigatoriedade da submissão de seus trabalhos científicos aos Comitês de Ética em Pesquisa institucionais, se levarmos em consideração o número de artigos publicados.

Durante a análise dos artigos, encontramos raros estudos que expunham, corretamente, o tipo de desenho de estudo e tratamento estatístico utilizado. Consta das instruções aos autores, das principais revistas oftalmológicas internacionais e dos ABO^(2-5), que tais informações devam apresentar-se no Resumo e capítulo Material e Métodos. Porém, pudemos observar, em diversos artigos, citações em lugares inadequados, tais como, nos Resultados, nos Comentários ou apenas no Resumo. Encontramos somente um estudo completo, em 2002, que informava corretamente o desenho de estudo empregado, o método estatístico utilizado e continha cópia do informe de consentimento, inclusive com o número do protocolo de apreciação pelo Comitê de Ética.

Pudemos observar nesta revisão sistemática de 10 anos dos ABO, que os trabalhos publicados, nesse período, eram predominantemente clínicos e grande número deles (49,83%) sem tratamento estatístico. Estudos observacionais foram mais freqüentes que a soma dos estudos experimentais, clínicos aleatórios e não aleatórios, seccional cruzado, caso-controle e coorte. Claro é que estes se tornam muito mais difíceis de serem realizados que aqueles, que não exigem tempo de seguimento, experimentação com animais ou drogas, criação de novas técnicas, dentre outras dificuldades.

Também é importante lembrar que a concepção da medicina baseada em evidência tira a ênfase da prática baseada no empirismo e na intuição, para se concentrar na análise apurada de métodos, através dos quais as informações médicas foram ou serão obtidas. Daí a especial atenção ao desenho de estudo da pesquisa, sua condução e análise estatística. Cabe, portanto, à comunidade oftalmológica brasileira, a valorização dos estudos de maior nível de complexidade, a fim de elevar a qualidade e a participação de nossas publicações científicas no contexto mundial e aprimorar seus conhecimentos em métodos científicos; além de utilizar-se com maior freqüência da seção de Cartas ao Editor, apresentando críticas construtivas e sugestões aos trabalhos publicados, compelindo os autores à produção científica com critérios metodológicos mais corretos e coerentes.

Baseados em nossos achados, e como forma de facilitar o enquadramento de estudos científicos nas várias categorias de desenho e método estatístico, sugerimos ao corpo editorial dos ABO introduzir, nas instruções aos autores, uma padronização na forma da apresentação e descrição dos desenhos de estudo científicos e métodos estatísticos, tornando obrigatória a descrição do método empregado e seu tratamento estatístico (quando houver) no Resumo Estruturado (Objetivos, Desenho do Estudo, Métodos, Resultados e Conclusão), além de manter, através de sua seção de Atualização Continuada, informações relevantes e mesmo cursos, na área de metodologia científica, como forma de incentivar e educar o pesquisador iniciante e atualizar o pesquisador mais experimentado.

CONCLUSÕES

Concluímos com o presente estudo que:

1- Estudos observacionais foram mais freqüentes que a soma de estudos clínicos aleatórios e não aleatórios, experimental, caso-controle, seccional cruzado e coorte. Enfatizamos, com isso, a necessidade de publicação de artigos com desenho de estudo de maior nível de complexidade.

2- Quase 50% dos artigos analisados não tinham tratamento estatístico algum. Sugerimos melhora na cobrança de metodologia estatística para os artigos enviados à publicação.

3- Somente após o ano de 2000, houve aumento consistente do número de artigos científicos aprovados por Comitê de Ética Médica institucional.

4- A distribuição da freqüência de métodos estatísticos, encontrados nos ABO de 1993 a 2002, difere das encontradas em outras revistas internacionais.

2. Instructions for authors. Manuscript Criteria and Information. Arch Ophthalmol [serial on the Internet]; 2005;123(2); (about 2p.) [cited 2004 Aug 21]. Available from: http://archopht.ama-assn.org/ifora_current.dtl

3. Instructions for authors. Ophthalmology [serial on the Internet]. [cited 2005 Jun 18]. Available from: http://www.aaojournal.org/misc/general_information.html

4. Instructions for authors. Am J Ophthalmol. [serial on the Internet]. [cited 2004 Oct 15]. Available from: http://www.ajo.com/authorinfo

5. Instruções para autores. Arq Bras Oftalmol. [periódico na Internet]. [citado 2004 Sep 14]. Disponível em: http://www.abonet.com.br/abo/instruc.htm

6. Ederer F. Shall we count number of eyes or number of subjects? Arch Ophthalmol. 1973;89(1):1-2.

7. Katz J. Two eyes or one? The data analyst's dilemma. Ophthalmic Surg. 1988; 19(8):585-9.

8. Newcombe R, Duff GR. Eyes or patient? Traps for the unwary in the statistical analysis of ophthalmological studies. Br J Ophthalmol. 1987;71(9):645-6.

9. Ray WA, O'Day DM. Statistical analysis of multi-eye data in ophthalmic research. Invest Ophthalmol Vis Sci. 1985;26(8):1186-8.

10. Sommer A. Epidemiology and statistics for the ophthalmologist. New York, NY: Oxford University Press; 1980.

11. Ederer F. Refereeing clinical research papers for statistical content. Am J Ophthalmol. 1985;100(5):735-7.

12. Javitt JC. When does the failure to find a difference mean that there is none? Arch Ophthalmol. 1989;107(7):1034-40.

13. Reznick RK, Dawson-Saunders E, Folse JR. A rationale for the teaching of statistical to surgical residents. Surgery. 1987;101(5):611-7.

14. Emerson JD, Colditz GA. Use of statistical analysis in The New England Journal of Medicine. N Eng J Med. 1983;309(12):709-14.

15. Hokanson JA, Luttman DJ, Weiss GB. Frequency and diversity of use of statistical techniques in oncology journals. Cancer Treat Rep. 1986;70(5):589-93.

16. Hokanson JA, Stiernberg CM, McCraken MS, Quinn FB. The reporting of statistical techniques in otolaryngology journals. Arch Otolaryngol Head Neck Surg. 1987;113(1):45-50.

17. Hokanson JA, Bryant SG, Gardner R, Lutmann DJ, Guernsey BG, Bienkowski AC. Spectrum and frequency of use of statistical techniques in psychiatric journals. Am J Psychiatry. 1986;143(9):1118-25.

18. Juzych MS, Shin DH, Seyedsadr M, Siegner SW, Juzych LA. Statistical techniques in ophthalmic journals. Arch Ophthalmol. 1992;110(9):1225-9.

19. Belfort Jr. R. 60 anos dos Arquivos Brasileiros de Oftalmologia: As próximas décadas. Arq Bras Oftalmol. 1997;60(1):6-7.

20. Campos MSQ. Pesquisa básica. Arq Bras Oftalmol. 1997;60(5):453.

21. Conselho Regional de Medicina do Estado de São Paulo. Ética em pesquisa em seres humanos. In: Conselho Regional de Medicina do Estado de São Paulo. Código de ética médica e textos sobre ética, direitos e deveres dos médicos e pacientes. São Paulo: Conselho Regional de Medicina do Estado de São Paulo, 2001. p.77-101.

Recebido para publicação em 17.12.2004

Versão revisada recebida em 04.02.2005

Aprovação em 28.02.2005

Referências bibliográficas

• 1. Bicas HEA. Políticas editoriais. Arq Bras Oftalmol. 2003;66(2):119-20.

Datas de Publicação

• Publicação nesta coleção
  26 Set 2005
• Data do Fascículo
  Jun 2005

Histórico

• Revisado
  04 Fev 2005
• Recebido
  17 Dez 2004
• Aceito
  28 Fev 2005