Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue

Resumo

O mundo presenciou uma intensa e radical transformação nas relações sociais, econômicas e culturais promovida pela internet. Ela oferece oportunidades de acesso, difusão e produção de informação mundialmente. A saúde desponta como uma das principais áreas com informações de interesse para um número crescente de usuários. Muitas vezes estas informações são insatisfatórias, incorretas ou incompreensíveis. Este artigo analisa uma experiência de avaliação da qualidade da informação em sites de dengue, desenvolvida em um laboratório da Fundação Oswaldo Cruz. Ela contou com a participação de moradores de Manguinhos e de médicos da Atenção Primária de Saúde Pública, além de infectologistas e sanitaristas, na construção dos critérios e na avaliação dos sites. O artigo apresenta os principais resultados desta experiência que pode ser considerada inovadora porque seu processo e produto diferem dos propostos por agências e analistas nacionais e estrangeiros. Esta experiência pode subsidiar a constituição de um processo institucional que confira um selo de qualidade ao site que estiver em conformidade com os critérios e indicadores propostos.

Normas; Avaliação; Internet; Dengue; Participação comunitária

Abstract

The world has witnessed a powerful and radical transformation of social, economic and cultural relationships promoted by the Internet. The Internet provides opportunities for access, dissemination and production of information worldwide. Health, for example, stands out as one of the main areas with information of interest to a growing number of users. However, this information is often unsatisfactory, incorrect or incomprehensible. This paper analyzes an experiment of evaluation of information on dengue websites developed in a laboratory of the Oswaldo Cruz Foundation. It counted on the participation of a group of Manguinhos dwellers and Public Health PHC physicians, infectious disease specialists and public health physicians in the development of criteria and the evaluation of websites. This paper shows the main results of this experience, which is innovative because its paper and product differ from those proposed by national and foreign agencies and analysts. This experience supports the establishment of an institutional process that issues a quality seal to websites that comply with the suggested criteria and indicators.

Standards; Evaluation; Internet; Dengue; Community participation

Introdução

O mundo presenciou nos últimos anos uma intensa e radical transformação nas relações sociais, econômicas e culturais promovidas com o advento e a expansão da Internet¹. Esta mudança permitiu que qualquer pessoa, com o mínimo de habilidade para manipular e poder aquisitivo para comprar dispositivos eletrônicos, consiga produzir e acessar informações anteriormente restritas a determinados grupos sociais ou de difícil alcance para a maioria da população². Na Internet são incontáveis as fontes de informação e as possibilidades de interatividade entre indivíduos. Os sites de busca facilitam o acesso a estas fontes e as redes sociais constroem novos padrões de relacionamento online³. Além disso, o próprio indivíduo pode produzir informação, organizando seu próprio site, blog ou facebook. Assim, a Internet oferece novas oportunidades para o acesso, a difusão e a produção de informação no mundo todo⁴.

A saúde desponta como uma das principais áreas com informações de interesse para um número crescente de usuários sejam eles pacientes ou profissionais. Essas informações podem auxiliar na prevenção de doenças e estimular a promoção da saúde⁵. Elas permitem ainda a constituição do paciente informado: um consumidor especial de informações sobre serviços e produtos de saúde que se sente de alguma forma entendido em determinado assunto e detém condições potenciais de transformar a tradicional relação médico-paciente baseada na autoridade concentrada nas mãos do profissional⁶.

No facebook, muitos pacientes compartilham informações e experiências sobre os problemas que enfrentam⁷. Os incontáveis sites sobre temas vinculados, de alguma forma, às questões relativas à saúde-doença são produzidos por organizações públicas, privadas ou por indivíduos, sem qualquer tipo de avaliação. Muitas vezes estas informações são insuficientes, insatisfatórias, incorretas ou incompreensíveis. Por esta razão elas podem colocar em risco a saúde do cidadão. Diante deste contexto, a avaliação da qualidade da informação de saúde disponível online passou a assumir um papel relevante em várias partes do mundo⁸.

A preocupação com a avaliação da informação sobre saúde disponível na Internet tem pouco mais de quinze anos. Lopes⁹ analisou treze das principais iniciativas globais propostas por organismos internacionais, instituições privadas e não governamentais com esta finalidade. Algumas instituições, ao final da avaliação, oferecem um selo de qualidade enquanto outras fornecem instruções para provedores de informação. Há ainda quem divulgue um código de conduta que busca orientar o usuário a verificar se os sites estão em conformidade com critérios preestabelecidos. A autora destaca a Health on the Net Foundation (HON) e o Discern Questionnaire (DQ). A HON é uma instituição privada, com sede na Suíça, que certifica páginas de saúde na Internet desde 1995, oferecendo um selo de qualidade. O Discern Questionnaire foi criado em 1996 pela British Library and National Health Services (NHS). Ele oferece uma ferramenta para que os usuários façam esta avaliação. Em 1997, a Agency for Health Care Policy and Research e o Health Information Technology Institute (HITI) elaboraram o documento intitulado Criteria for the Quality of Health Information on the Internet, com finalidade semelhante a do Discern Questionnaire.

Eysenbach et al.¹⁰ publicaram os resultados de uma ampla revisão sistemática analisando 79 artigos sobre o tema que utilizaram 86 critérios diferentes para a avaliação de sites de saúde. Realizando um esforço de síntese, estes autores agruparam estes critérios em cinco: Acurácia, Técnico, Design, Abrangência e Legibilidade. A qualidade e a natureza desta investigação, a qual, associada ao fato de ter sido publicada no periódico da Associação Médica Americana, fez com que se transformasse em uma das principais referências no tema no momento da realização da presente experiência.

No Brasil, o Conselho Regional de Medicina de São Paulo (Cremesp) publicou, em 2001, uma Resolução acompanhada do “Manual princípios éticos para sites de medicina e saúde na internet”, apresentando recomendações para os usuários e gestores de sites. Em termos acadêmicos, a produção bibliográfica nacional sobre o tema pode ser considerada incipiente. Durante o mês de setembro de 2013, realizamos um levantamento bibliográfico sobre a produção brasileira em Internet e Saúde disponível na base da Scientific Electronic Library Online (SciELO). Utilizando a palavra-chave “internet”, na busca por assunto, foram encontrados 316 títulos. Destes, 112 foram identificados como abordando temas/problemas de saúde. Lendo seus resumos, encontramos 23 títulos que tratavam especificamente da questão da avaliação de qualidade da informação em sites de saúde¹¹-³³. Cada um deles avaliou a qualidade da informação de uma patologia específica ou de um comportamento ou estilo de vida associado à saúde ou à doença como o tabagismo e o aleitamento materno. Estes autores, em geral, tomam como referência os critérios das agências internacionais mencionadas acima. Eysenbach et al.¹⁰ identificaram cinco outros critérios na literatura internacional especializada. Não há, portanto, consenso em torno dos critérios e dos processos de realização desta avaliação.

O objetivo deste artigo é apresentar e analisar uma experiência de avaliação da qualidade da informação de saúde, desenvolvida no “Laboratório Internet, Saúde e Sociedade” (LaISS), vinculado ao Centro de Saúde Escola Germano Sinval de Faria da Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz. Na oportunidade, foram avaliados 20 sites de dengue.

A dengue é uma doença reemergente nos trópicos e um problema de saúde pública de importância mundial³⁴. É uma das maiores preocupações da saúde pública no mundo contemporâneo. Cerca de 2,5 bilhões de pessoas em mais de 100 países, aproximadamente 40% da população mundial, correm o risco de se infeccionar com o vírus da dengue³⁵. A dengue foi considerada uma doença negligenciada durante muitos anos. Entretanto, recentemente, tem havido grande investimento em pesquisas sobre o tema. Um dos sinais, neste sentido, pode ser percebido no programa denominado “Controle abrangente da Dengue diante das alterações climáticas” pela Comissão Europeia (EC) que ofereceu, em 2011, cerca de 18 milhões de euros para pesquisa nesta área³⁵.

A dengue vem afetando principalmente as populações residentes nas áreas urbanas dos países em desenvolvimento, onde a alta concentração demográfica e a insuficiente infraestrutura de saneamento básico produzem as condições ideais para a reprodução do mosquito³⁶. Apesar de ser uma doença de baixa letalidade, a mortalidade por dengue tem aumentado no Brasil em consequência da expansão das áreas geográficas de transmissão da doença e da introdução de novos sorotipos do vírus. A grande maioria dos óbitos é considerada evitável pela adoção oportuna de medidas terapêuticas³⁷. Assim, o acesso da população à informação de qualidade sobre a dengue é essencial tanto para reduzir a transmissão da doença, quanto para otimizar a utilização dos serviços de saúde e reduzir a mortalidade.

Por estas razões, o LaISS escolheu a dengue para esta pesquisa piloto de avaliação da qualidade da informação em sites.

Metodologia

Os critérios e os indicadores utilizados na experiência desenvolvida pelo LaISS foram construídos a partir dos resultados da revisão sistemática realizada por Eysenbach et al.¹⁰e por algumas reflexões introduzidas pela literatura nacional sobre o tema¹¹-³³. Inicialmente, apresentaremos estes resultados para então expormos aqueles adotados na experiência que será analisada neste artigo. Em seguida, descreveremos como estes critérios foram adotados na avaliação da informação em 20 sites de dengue desenvolvida pelo LaISS. Depois, explicaremos como foi realizado este processo de avaliação.

Critérios propostos na literatura

Um critério (do grego kritérion pelo latim criteriu) é um padrão que serve de base para que coisas e pessoas possam ser comparadas e julgadas. Eysenbach et al.¹⁰ encontraram 86 critérios que foram reunidos em cinco. O primeiro, denominado de Técnico, abrange a atribuição de responsabilidade e referência pela informação oferecida e a apresentação de datas de criação e atualização do site. Del Giglio et al.¹⁵, utilizando como referência o Discern Questionaire, incluiu em sua avaliação uma pergunta procurando saber se o site avaliado oferecia de forma clara as fontes de informação utilizadas.

O segundo critério encontrado por Eysenbach et al.¹⁰ visa avaliar aspectos estéticos do site como o layout, as cores e a facilidade de navegação. Ele foi nomeado pelos autores desta revisão sistemática de Design. Entre os autores nacionais, seis estudos¹²,¹⁹,²²,³¹-³³também se preocuparam com esta dimensão.

De acordo com Eysenbach et al.¹⁰, o terceiro critério envolve a Abrangência da informação oferecida. O objetivo deste critério é verificar se um site dispõe dos tópicos pertinentes ao tema de saúde-doença abordado. Geralmente, este critério não é explicitado, mas é empregado no contexto de outros critérios. Isto pode ser verificado nos exemplos de dois estudos nacionais³⁰,³².

A Acurácia é o quarto critério. Ele foi definido por Eysenbach et al.¹⁰ pelo grau de concordância entre a informação oferecida e a melhor evidência geralmente aceita pela prática médica. No nosso entender, a precisão e a atualidade são atributos essenciais para provisão de informação sobre saúde. Por isso, os sites de saúde precisam apresentar uma informação correta do ponto de vista científico. Dois autores nacionais³¹,³² também se preocuparam com essa dimensão da informação.

Na revisão sistemática realizada por Eysenbach et al.¹⁰consta, ainda, um quinto critério denominado Legibilidade. Ele visa verificar o nível de compreensão do texto disponível online. Os autores que utilizaram este critério verificaram a extensão e a complexidade das frases e palavras, utilizando fórmulas como Flesh-Kincaid Grade Level Index¹⁰. Dentre os autores nacionais, dois³¹,³² se preocuparam com este aspecto da informação.

Nenhum dos trabalhos brasileiros¹¹-³³ disponíveis na SciELO utilizou, simultaneamente, os cinco critérios sugeridos pela revisão sistemática desenvolvida por Eysenbach et al.¹⁰. O que foi feito no trabalho desenvolvido pelo LaISS.

Critérios adotados na pesquisa

A avaliação realizada pelo LaISS adotou os cinco critérios propostos pela revisão sistemática desenvolvida por Eysenbach et al.¹⁰. Os critérios - Técnico, Abrangência e Acurácia - foram adotados na íntegra, com os mesmos sentidos e significados. Design e Legibilidade foram aplicados de outra forma.

A dimensão do critério Design foi denominada Interatividade. Neste sentido, a avaliação dos sites com este critério focou na verificação de recursos que facilitassem a navegação e que possibilitassem a comunicação entre os usuários e os gestores dos sites.

Em relação ao critério Legibilidade, a experiência do LaISS não utilizou fórmulas que verificam a extensão e a complexidade das frases e palavras. Estas ferramentas têm limitações, pois não levam em consideração outros aspectos subjetivos que afetam a compreensão dos textos e das palavras¹⁰. O trabalho do LaISS incorporou este critério de uma forma diferente e inovadora: usuários avaliaram se compreenderam ou não as informações disponíveis nos sites. Relataremos como essa participação ocorreu na apresentação do processo de avaliação.

Cabe mencionar, ainda, como o critério Abrangência foi estruturado de acordo com o tema da dengue. Foi considerado abrangente o site que apresentou informações sobre prevenção, transmissão, sintoma, diagnóstico e tratamento desta doença.

Cada critério foi acompanhado de um número distinto de indicadores que abordam aspectos específicos de cada dimensão da informação. Os 63 indicadores foram concebidos em forma de pergunta (Quadro 1).

Quadro 1
Critérios e Indicadores utilizados.

	Critério	Indicador
1	Técnico	O site apresenta o RESPONSÁVEL?
2		Constam INFORMAÇÕES sobre o responsável?
3		Consta a data da CRIAÇÃO do Site?
4		Consta a data da última ATUALIZAÇÃO?
5		Há quanto tempo foi feita a última ATUALIZAÇÃO?
6		O site tem alguma PROPAGANDA comercial?
7		Tem a fonte da informação de PREVENÇÃO?
8		Tem a fonte da informação de TRANSMISSÃO?
9		Tem a fonte da informação de SINTOMAS?
10		Tem a fonte da informação de DIAGNÓSTICO?
11		Tem a fonte da informação de TRATAMENTO?
12	Interatividade	Tem E-MAIL ou FALE CONOSCO para contato na primeira página?
13		Participa de alguma REDE SOCIAL?
14		Tem como pesquisar?
15		Existe um MENU Principal?
16		A PRIMEIRA PÁGINA do site é ATRAENTE?
17	Abrangência	Tem informação sobre PREVENÇÃO?
18		Tem informação sobre TRANSMISSÃO?
19		Tem informação sobre SINTOMAS?
20		Tem informação sobre DIAGNÓSTICO?
21		Tem informação de ONDE fazer o DIAGNÓSTICO?
22		Tem informação sobre TRATAMENTO?
23		Tem informação de ONDE fazer o TRATAMENTO?
24		Tem informação sobre os EFEITOS COLATERAIS do TRATAMENTO?
25	Legibilidade	Você teve dificuldade de entender a informação sobre PREVENÇÃO?
26		Você encontrou FRASES difíceis na página de PREVENÇÃO?
27		Você encontrou PALAVRAS que não conhecia na página de PREVENÇÃO?
28		Têm IMAGENS na página de PREVENÇÃO?
29		As IMAGENS na página de PREVENÇÃO ajudam a entender o texto?
30		Você teve dificuldade de entender a informação sobre TRANSMISSÃO?
31		Você encontrou FRASES difíceis na página de TRANSMISSÃO?
32		Você encontrou PALAVRAS que não conhecia na página de TRANSMISSÃO?
33		Têm IMAGENS na página de TRANSMISSÃO?
34		As IMAGENS na página de TRANSMISSÃO ajudam a entender o texto?
35		Você teve dificuldade de entender a informação sobre SINTOMAS?
36		Você encontrou FRASES difíceis na página de SINTOMAS?
37		Você encontrou PALAVRAS que não conhecia na página de SINTOMAS?
38		Têm IMAGENS na página de SINTOMAS?
39		As IMAGENS na página de SINTOMAS ajudam a entender o texto?
40		Você teve dificuldade de entender a informação sobre DIAGNÓSTICO?
41		Você encontrou FRASES difíceis na página de DIAGNÓSTICO?
42		Você encontrou PALAVRAS que não conhecia na página de DIAGNÓSTICO?
43		Têm IMAGENS na página de DIAGNÓSTICO?
44		As IMAGENS na página de DIAGNÓSTICO ajudam a entender o texto?
45		Você teve dificuldade de entender a informação sobre TRATAMENTO?
46		Você encontrou FRASES difíceis na página de TRATAMENTO?
47		Você encontrou PALAVRAS que não conhecia na página de TRATAMENTO?
48		Têm IMAGENS na página de TRATAMENTO?
49		As IMAGENS na página de TRATAMENTO ajudam a entender o texto?
50	Acurácia	A informação sobre PREVENÇÃO está de acordo com o atual estágio do conhecimento científico?
51		A informação sobre TRANSMISSÃO está de acordo com o atual estágio do conhecimento científico?
52		A informação sobre SINTOMAS está de acordo com o atual estágio do conhecimento científico?
53		A informação sobre DIAGNÓSTICO está de acordo com o atual estágio do conhecimento científico?
54		A informação sobre TRATAMENTO está de acordo com o atual estágio do conhecimento científico?
55		Tem informação sobre a fase crítica da doença em que há o risco de desenvolvimento de formas graves?
56		Tem informação clara, além dos sintomas iniciais da dengue, dos sintomas que podem surgir no período crítico?
57		Tem informação sobre a noção de SINAIS DE ALARME como prenúncio de agravamento da Dengue?
58		O Ministério da Saúde apresenta 11 SINAIS DE ALARME da Dengue descritos abaixo. Quantos destes SINAIS DE ALARME estão presentes neste site?
59		Tem informação de que a Dengue pode ser grave e mesmo causar a morte sem que o paciente apresente hemorragia ou plaquetas muito baixas?
60		Tem informação sobre a necessidade de diferenciar Dengue de outras doenças febris potencialmente fatais em caso de retardo como: as sepses de várias origens (aparelho digestório, urinário, respiratório e em especial a meningococcemia), a malária e a leptospirose?
61		Tem orientação sobre onde procurar TRATAMENTO em função da gravidade da doença ou dos sintomas apresentados?
62		Tem informação que oriente sobre a necessidade de retornar ao serviço de saúde para reavaliação clínica entre o terceiro e sexto dia da doença (fase crítica)?
63		Tem informação sobre a necessidade de procurar uma unidade de emergência imediatamente se surgirem SINAIS DE ALARME?

O processo

Analisando os trabalhos que integram a revisão sistemática realizada por Eysenbach et al.¹⁰podemos constatar que o trabalho desenvolvido no LaISS introduziu algumas contribuições relevantes em seu processo de realização.

A primeira, a mais importante, foi convidar usuários e profissionais para realizar esta avaliação. Eysenbach et al.¹⁰ concluíram em sua revisão sistemática que nenhum dos estudos levou em consideração em sua avaliação os pontos de vista de usuários reais ou experts sobre o tema.

Na experiência do LaISS, vinte moradores das Comunidades de Manguinhos fizeram a avaliação em nome dos usuários do Sistema Único de Saúde (SUS). Esses 20 moradores foram convidados por terem participado anteriormente de uma atividade de inclusão digital no LaISS. Este laboratório possui uma sala com 10 computadores. Assim, foi possível formar dois grupos com 10 moradores que se reuniram em dias e horários diferentes: dezessete mulheres e três homens. A maioria com o primeiro grau incompleto, tendo entre 30 e 40 anos. Muitos deles não tinham habilidade ou conhecimentos básicos de informática, nem tinham intimidade com as redes sociais. Por esta razão, foi realizada uma série de atividades para sensibilizá-los sobre as estruturas e os componentes básicos de páginas WEB.

Outro desafio foi familiarizar estes colaboradores com os termos normalmente utilizados no universo da Internet como site, homepage, website, link, download, send, delete: palavras estrangeiras de difícil compreensão para uma população com precária escolaridade. Esta familiarização durou cerca de seis meses.

Eles receberam uma bolsa de estudos da Vice-Presidência de Ambiente, Atenção e Promoção da Saúde (VPAAPS) da Fundação Oswaldo Cruz (Fiocruz). Podemos, portanto, admitir que o perfil socioeconômico e o nível de escolaridade se aproximem, em linhas gerais, daquele presente na maioria dos brasileiros. O projeto contou, ainda, com o apoio do “Programa de Desenvolvimento e Inovação Tecnológica em Saúde Pública no Território de Ações Integradas em Saúde” (PDT-SP-TEIAS).

Além dos moradores, foram convidados 10 médicos para fazer a avaliação em nome dos profissionais de saúde. A ideia inicial era reunir 20 médicos. A condição de voluntário dificultou a adesão deste montante. Entre 10 os médicos participantes incluem-se cinco profissionais experientes na atenção primária que trabalham no Centro de Saúde Escola Germano Sinval Faria (CSEGSF), da Escola Nacional de Saúde Publica (ENSP) da Fiocruz; um Pesquisador do Instituto de Pesquisa Clinica Evandro Chagas (IPEC) da Fiocruz, estudioso de doenças febris e quatro recém-formados que atuam na Estratégia de Saúde da Família, em Manguinhos.

Dois médicos-consultores auxiliaram na elaboração das perguntas relacionadas especificamente com esta doença. Todos participaram como avaliadores dos sites de dengue selecionados. Ao todo foram construídos 63 indicadores pelos moradores da Comunidade de Manguinhos e com os médicos consultores.

Para realizar a avaliação, o LaISS construiu duas ferramentas online, uma para cada grupo de avaliadores. A avaliação feita por usuários teve um sentido diferente daquela realizada por médicos. Os primeiros verificaram se o conteúdo era agradável, claro e se o site era de fácil navegação. Estes aspectos foram incluídos nos indicadores do critério Legibilidade. Os médicos avaliaram a conformidade da informação com o conhecimento cientifico sobre a dengue, critério denominado de Acurácia. Ambos verificaram os critérios Técnico, Interatividade e Abrangência. O trabalho de avaliação ocorreu nos cinco primeiros meses de 2013.

Uma segunda contribuição introduzida por este trabalho, desenvolvido pelo LaISS, está relacionada com a maneira pela qual os sites avaliados foram escolhidos. Em geral, os autores colocam alguma(s) palavra(s) chave(s) em um site de busca, escolhem os sites e realizam a avaliação. Neste caso, o procedimento para seleção dos sites que foram avaliados foi um pouco diferente.

Em primeiro lugar foi realizada uma pesquisa em 40 computadores de lanhouses localizadas nas Comunidades de Manguinhos. Foram relacionados os 10 primeiros sites apresentados como resultado na primeira página do buscador Google, utilizando a palavra dengue, em cada um destes computadores. Em geral, o usuário que utiliza este buscador dificilmente passa para a segunda página em sua pesquisa. Assim, existe uma grande possibilidade destes sites serem os mais acessados por quem realizasse a mesma busca para obter informações sobre essa doença nas lanhouses destas comunidades. O resultado final da aplicação deste método possibilitou que fossem selecionados 10 sites de dengue. Entre eles constam sites governamentais como o do Ministério da Saúde, de construção coletiva como o do Wikipédia e de iniciativas privadas independentes ou vinculadas a grandes órgãos de comunicação, como o G1 da Rede Globo de Televisão. A ordem em que eles são apresentados no Quadro 2 obedece à ordem encontrada na maioria dos 40 computadores pesquisados.

Quadro 2
Sites avaliados.

	Site	Sites populares em Manguinhos Endereço
1	AJA Brasil	www.dengue.org.br
2	Wikipédia	pt.wikipedia.org/wiki/Dengue
3	Combate à dengue	www.combateadengue.com.br
4	Minha vida	www.minhavida.com.br/saude/temas/dengue
5	Dr. Drauzio Varella	drauziovarella.com.br/corpo-humano/dengue/
6	Sua pesquisa	www.suapesquisa.com/cienciastecnologia/dengue.htm
7	Brasil Escola	www.brasilescola.com/doencas/dengue.htm
8	Secretaria Estadual de Saúde do Paraná	www.combateadengue.pr.gov.br
9	G1 da Globo	g1.globo.com/luta-contra-a-dengue
10	Ministério da Saúde	portal.saude.gov.br/portal/saude/profissional/area.cfm?id_area=1525
11	Instituto Oswaldo Cruz	www.ioc.fiocruz.br/dengue/
	Site	Sites certificados com selo da HON Endereço
12	Cria Saúde	www.criasaude.com.br/N3599/doencas/dengue.html
13	Tua Saúde	www.tuasaude.com/sintomas-da-dengue-tipo-4/
14	MD Saúde	www.mdsaude.com/2009/02/dengue-sintomas.html
15	Saúde em movimento	www.saudeemmovimento.com.br/conteudos/conteudo_frame.asp?cod_noticia=460
16	ABC da Saúde	www.abcdasaude.com.br/artigo.php?101
	Site	Sites selecionados pela equipe do LaISS Endereço
17	Rede Dengue	www.fiocruz.br/rededengue/cgi/cgilua.exe/sys/start.htm?tpl=home
18	Secretaria Estadual de Saúde do Rio de Janeiro	www.riocontradengue.com.br
19	Secretaria Estadual de Saúde de Minas Gerais	denguetemqueacabar.com.br
20	Secretaria Municipal de Saúde de Recife	www.recife.pe.gov.br/especiais/dengue/

Foram incluídos ainda nesta relação os sites de dengue que possuem o selo de qualidade oferecido pela organização não governamental suíça HON. No endereço virtual desta ONG podem ser encontrados sites de saúde que foram certificados pela HON em diferentes países e que tratam de diferentes doenças ou problemas de saúde. Nele foram encontrados, no momento da realização desta pesquisa, cinco sites brasileiros sobre dengue que receberam seu selo de qualidade. Nenhum deles está entre os mais acessados nas Comunidades de Manguinhos. Nenhum deles está vinculado a órgãos governamentais, acadêmicos, grande mídia ou produção coletiva. Todos são de iniciativa privada.

Esta lista ficou completa com a inclusão de 3 sites públicos vinculados a órgãos governamentais. Assim foi constituído um grupo de 20 sites (Quadro 2).

Um terceiro aspecto inovador está associado ao princípio da transparência. Na avaliação realizada pelo LaISS consta a menção aos sites avaliados e seus respectivos endereços eletrônicos. Dos 23 artigos brasileiros que fizeram empreendimentos semelhantes, apenas cinco¹²,¹⁹,²⁸,³¹,³³mencionaram os sites que foram avaliados. A transparência também foi evidenciada nesta experiência através da forma com que os resultados foram expostos. A seguir será apresentado o resultado final que cada site obteve. Nos trabalhos nacionais, apenas dois²⁸,³¹relacionaram os endereços eletrônicos de cada site avaliado.

Uma quarta e última contribuição merece ser mencionada: o processo de construção dos resultados.

Os sessenta e três indicadores foram organizados sob a forma de sentenças interrogativas. A maioria tem como respostas possíveis “Sim” ou “Não”. Elas indicam a presença ou a ausência de determinado aspecto da informação. Com isso, cada indicador teve uma resposta ideal para que a informação fosse considerada de qualidade. Esta estratégia teve como inspiração o conceito de conformidade. Segundo definição da Associação Brasileira de Normas Técnicas (ABNT), a conformidade é a “demonstração de que os requisitos especificados relativos a um produto, processo, sistema, pessoa ou organismo são atendidos” (ABNT NBR ISO/IEC 17000:2005).

Um exemplo pode ser dado neste sentido. No critério Técnico existe a seguinte pergunta: “O site apresenta o responsável?” Esta pergunta foi elaborada com a intenção de verificar se está explícita a informação sobre a pessoa física ou jurídica, pública ou privada, que se autodenomine responsável pelo site. Frequentemente, esta informação encontra-se em links como o “Quem somos” ou “Sobre”. Ela também pode estar ao lado do símbolo de copyright (©). Há neste caso duas respostas: “Sim” e “Não”. Estará em conformidade com este indicador o site que obtiver da maioria dos avaliadores a resposta “Sim”.

Ainda sobre o processo de construção dos resultados, no trabalho realizado pelo LaISS todos os critérios tiveram igual importância. Esta visão baseia-se no seguinte argumento: Um site que ofereça informações de saúde com qualidade deve obedecer a critérios de responsabilidade em relação à informação oferecida. Ela deve ser compreensível, correta e atual. No caso da dengue, o site deve conter informações sobre prevenção, transmissão, sintomas, diagnóstico e tratamento. O site por sua vez deve ser interativo. Na iniciativa do LaISS, o número de indicadores por critério é variável (Tabela 1). Como foi resolvido este problema? A solução encontrada foi transformar os resultados em percentuais.

Tabela 1
Ranking de sites por critério de Avaliação.

Ranking	Sites	Média dos Critérios (%)
		Técnico	Interatividade	Abrangência	Acurácia	Legibilidade	Média Final(%)
1	Combate à Dengue	49,1	88,0	66,6	53,6	70,2	65,5
2	Cria Saúde	48,9	77,5	72,8	48,6	68,2	63,2
3	Secretaria Estadual de Saúde do Rio de Janeiro	41,6	89,5	66,9	65,7	46,8	62,1
4	ABC da Saúde	48,0	76,5	72,2	47,9	47,4	58,4
5	Wikipédia	61,8	44,0	71,9	38,6	53,6	54,0
6	AJA Brasil	31,4	59,5	56,3	42,9	78,4	53,7
7	Secretaria Estadual de Saúde do Paraná	62,7	54,0	64,1	38,6	45,8	53,0
8	Ministério da Saúde	37,5	76,0	57,8	62,9	28,4	52,5
9	MD Saúde	29,1	70,0	69,4	36,4	53,2	51,6
10	Minha vida	37,1	80,5	58,1	31,4	44,4	50,3
11	Dr, Drauzio Varella	23,9	59,5	58,8	43,6	33,2	43,8
12	Secretaria Estadual de Saúde de Minas Gerais	28,6	67,5	58,1	20,7	42,8	43,6
13	Saúde em movimento	29,3	65,5	60,0	16,4	41,2	42,5
14	Tua Saúde	39,8	65,5	49,1	15,0	40,6	42,0
15	Rede Dengue	48,2	61,0	36,9	24,3	29,2	39,9
16	Brasil Escola	29,8	70,0	44,4	17,9	31,8	38,8
17	G1 Globo	26,4	48,5	35,6	22,1	30,4	32,6
18	Secretaria Municipal de Saúde de Recife	23,9	25,0	50,9	23,6	33,8	31,4
19	Sua pesquisa	29,8	20,5	50,3	12,9	37,8	30,3
20	Instituto Oswaldo Cruz	36,4	24,0	23,1	11,4	16,8	22,3

Se a pergunta, mencionada anteriormente, sobre a existência ou não do responsável pelo site, tiver obtido 15 respostas “Sim” entre 30 avaliadores, nesse indicador o site avaliado terá atingido 50% de conformidade.

Nos resultados apresentados a seguir, serão mostrados os percentuais de respostas esperadas dentro de cada critério. Estes valores somados permitiram a criação de um ranking entre os sites (Tabela 1) que possibilita a identificação dos pontos fortes e fracos em cada critério.

Resultados

A Tabela 1 apresenta o resultado geral da avaliação. Com isso, tivemos a preocupação de enfatizar que a qualidade da informação em sites de saúde constitui-se em um problema que merece ser enfrentado. Por esta razão não destacamos os resultados a partir das diferentes contribuições de moradores e médicos.

Os 20 sites avaliados estão na coluna à esquerda obedecendo a posição que passaram a ocupar no ranking da avaliação realizada pelo LaISS. Esta organização dos dados por critério de avaliação utilizado facilita o trabalho do gestor do site. Ele será capaz de identificar os pontos fortes e fracos de seu site ou página. Com isso gostaríamos de chamar a atenção para esta característica do processo empreendido. Além disso, a transparência na apresentação dos resultados, por critério, é uma contribuição importante e justifica que sejam feitas novas avaliações nestes moldes.

A mesma tabela revela que nenhum dos dezoito sites de dengue avaliados pelos moradores e pelos médicos conseguiu estar 70% em conformidade com os critérios utilizados. Se este fosse o índice mínimo de conformidade aceito, nenhum site ou página receberia um selo que reconhecesse sua qualidade.

O fato de nenhum dos 20 sites avaliados ter atingido este nível de conformidade justifica a necessidade de iniciativas de avaliação de qualidade de informação online como esta.

Se o percentual aceitável para um site fosse de 60% das respostas esperadas por médicos e usuários, apenas três sites teriam atingido este índice: o site Combate a Dengue, o Cria Saúde e o site da Secretaria Estadual de Saúde do Rio de Janeiro (SESRJ). Vejamos mais detidamente cada um destes casos.

O primeiro colocado, com 65,5% de conformidade, foi o site combateadengue.com.br. Trata-se de um site que se dedica exclusivamente a dengue. Segundo consta em sua apresentação, suas informações foram produzidas com base em pesquisas em diversos sites sobre assunto, como as páginas do Ministério da Saúde, de instituições públicas e ONGs que realizam pesquisas sobre a doença. Este site afirma que se preocupa em transmitir as informações de forma clara e objetiva. Seu ponto forte é a Legibilidade, avaliada somente pelos moradores de Manguinhos, onde atingiu 70,2% de conformidade. No critério Acurácia (53,5%), avaliado somente pelos médicos, recebeu menores pontuações. Este é um aspecto que reputamos importante neste trabalho de avaliação de qualidade de informação: o site melhor posicionado no ranking final foi aquele que obteve a média mais alta somando e dividindo as notas obtidas em cada critério. Este site, por exemplo, não obteve a melhor nota em nenhum critério específico. O site combateadengue.com.br obteve médias altas em todos os critérios apesar de não ter obtido a maior nota em nenhum deles.

O segundo colocado foi a página da dengue no site do criasaude.com.br. Este site, diferindo do anterior, não se dedica exclusivamente à dengue. Nele podem ser encontradas páginas que abordam diferentes doenças, medicamentos e orientações nutricionais. Segundo consta no site, suas fontes de informação são os colaboradores, as agências de comunicação, livros médicos como o Larousse Médico e revistas médicas como a Tribune Médicale: jornal médico editado na Suíça. Consta no próprio site que ele é vinculado às empresas Swisscam Brasil e Pharmanetis Inc³⁸ da Suíça. No site desta organização estrangeira pode ser identificado seu objetivo: se colocar no lugar do internauta propondo-lhe uma experiência inesquecível e aumentar as vendas. Afirma que seus clientes são os laboratórios farmacêuticos, clínicas e farmácias. Eles se propõem a editar conteúdo na Internet, no campo da saúde, com forte valor agregado (foto, texto, animação, vídeo), em diferentes idiomas. Eles afirmam que trabalham com o conceito news as process. Por isso, dizem que postam todos os dias informações novas no site. Esta estratégia talvez explique porque esta página recebeu a nota mais alta em Abrangência (72,8%) – média obtida com a avaliação realizada por médicos e moradores de Manguinhos. Ao inserir novas informações todos os dias, as chances da cobertura ser completa são maiores. A investigação desenvolvida pelo LaISS, permitiu identificar iniciativas online como esta ligadas a interesses da indústria farmacêutica internacional.

O terceiro colocado foi o site riocontraadengue.com.br da Secretaria Estadual de Saúde do Rio de Janeiro. Este site não consta entre os identificados no levantamento realizado nas lanhouses das Comunidades de Manguinhos. Este fato, em si, parece surpreendente, pois esta pesquisa foi feita em um bairro de uma cidade deste estado. Poder-se-ia supor, portanto, que este site fosse um dos mais acessados. Esta ausência talvez se justifique pelo precário índice de Legibilidade (46,8%) – critério avaliado somente pelos moradores de Manguinhos. Por esta razão, talvez ele não conste entre as preferências dos moradores das comunidades de Manguinhos apesar de ter obtido as melhores notas em Acurácia e Interatividade. Foi identificada, portanto, uma disparidade entre os resultados apresentados na Tabela 1 e a posição no ranking de Computadores de lanhouses de Manguinhos.

A Tabela 2 foi construída para comparar estes dois resultados. Na primeira coluna à esquerda, consta a posição que cada site ou página obteve na avaliação de qualidade de informação realizada. Em seguida, consta o nome da página ou site. Na terceira coluna está apresentada a posição ocupada por cada site ou página na busca através do Google nos computadores da Comunidade de Manguinhos, seguida daqueles que receberam o selo da HON.

Tabela 2
Comparação entre os resultados.

Posição na Avaliação	Site	Posição em Manguinhos	Site com Selo HON
1	Combate à Dengue	3
2	Cria Saúde
3	Secretaria Estadual de Saúde do Rio de Janeiro
4	ABC da Saúde
5	Wikipédia	2
6	AJA Brasil	1
7	Secretaria Estadual de Saúde do Paraná	8
8	Ministério da Saúde	10
9	MD Saúde
10	Minha vida	4
11	Dr. Drauzio Varella	5
12	Secretaria Estadual de Saúde de Minas Gerais
13	Saúde em movimento
14	Tua Saúde
15	Rede Dengue
16	Brasil Escola	7
17	G1 Globo	9
18	Secretaria Municipal de Saúde de Recife
19	Sua pesquisa	6
20	Instituto Oswaldo Cruz	11

O primeiro colocado na preferência da Comunidade de Manguinhos ficou em 10^olugar na avaliação realizada. Trata-se da página de dengue do site AjaBrasil. Ele encabeçou a lista dos mais visitados em Manguinhos. Esta adesão talvez se explique na medida em que obteve o melhor índice de Legibilidade desta pesquisa (78,4% cf. Tabela 1). O fato do site mais acessado pelos moradores de Manguinhos ficar em décimo lugar justifica a necessidade de iniciativas de avaliação de qualidade de informação online como esta.

Outro aspecto merece destaque. Dos cinco sites chancelados com o selo HON apenas um ficou entre os três melhores avaliados. Trata-se do Criasaude analisado anteriormente. Vejamos mais detidamente outro site chancelado pela HON: A página da dengue do site saudeemmovimento.com.br. Ela ficou em décimo segundo lugar na avaliação realizada, apesar de ter o selo da HON. Consta em sua página, que este site vem se submetendo aos critérios desta organização desde julho de 2001. A última avaliação foi feita em julho de 2012 e sua validade expira em julho de 2014. Este selo foi conferido porque o site atendia aos oito “Princípios do Código HON”, a saber: responsabilidade pelo site; complementaridade da informação; privacidade; fonte da informação; justificativa dos benefícios da informação oferecida; transparência; interesses financeiros e política de propaganda.

Fica evidente que os critérios utilizados pela HON para oferecer um selo de qualidade são bem diferentes daqueles utilizados na iniciativa avaliada neste artigo. A HON utiliza critérios que se concentram no aspecto denominado de Técnico pela avaliação realizada. Os demais critérios não são contemplados pela agência suíça. Ela também não esclarece como esta avaliação foi realizada. Este artigo revela a diferença entre a avaliação realizada e aquela desenvolvida pela HON. Sugerimos que sejam incrementadas iniciativas como as que foram desenvolvidas pelo LaISS, que não se restrinjam aos critérios adotados pela agência HON.

Cabe um comentário para a página do site do Ministério da Saúde que trata o tema da dengue. Na avaliação realizada, esta página ficou em sétimo lugar. Esta posição talvez se justifique pelo fato desta página ter obtido o menor índice de conformidade em matéria de Legibilidade (28,4%) entre todos os 20 sites ou páginas avaliados (Tabela 1). Em relação à Acurácia, ele obteve o segundo melhor índice de conformidade (62,8%; Tabela 1). Esta pontuação não indica necessariamente que haja informação tecnicamente errada, mas que a informação disponibilizada está aquém do desejável no sentido de divulgar conceitos essenciais como aqueles relacionados com a identificação dos sinais de alarme e a compreensão de que a dengue pode ser grave e mesmo levar à morte, mesmo sem a ocorrência de hemorragia. Assim, a pontuação obtida pela página do Ministério da Saúde nesta avaliação indica que ela foi feita de maneira semelhante em todos os sites e páginas, independente de sua vinculação institucional.

Considerações finais

O trabalho realizado pelo LaISS apresenta algumas contribuições importantes que merecem ser destacadas.

Em primeiro lugar, cabe ressaltar que esta experiência construiu dois produtos – os critérios e o processo de avaliação de qualidade de informação em sites de saúde. Eles não são exatamente iguais àqueles propostos pelas avaliações dominantes como o da organização não governamental HON, dos estudos analisados por Eysenbach et al.¹⁰ e dos trabalhos desenvolvidos no Brasil. Os critérios e o processo foram apresentados e analisados neste artigo.

Em segundo lugar, destacamos o papel atribuído aos usuários e profissionais do Sistema Único de Saúde (SUS) como avaliadores da qualidade da informação. Esta experiência introduziu uma inovação incremental. Na experiência realizada pelo LaISS, cidadãos que vivem em condições de vulnerabilidade de diversas ordens, inclusive no acesso às mídias digitais, tornaram-se sujeitos do processo.

Avaliar a qualidade da informação não é um fim em si. A literatura sugere que a informação desempenha um papel importante na promoção da saúde e na prevenção de doenças¹³,¹⁴,¹⁶,²²,²⁶,²⁹,³¹. Segundo Garbin et al.⁵, a internet pode vir a ser uma grande aliada na construção de projetos de promoção da saúde, em especial no que se refere ao desenvolvimento de habilidades pessoais. Entretanto, se não for compreendida e se não estiver disposta de forma correta e atualizada, sua apropriação pelo usuário pode ser dificultada.

Com a análise desta experiência e os resultados obtidos, pretendemos colocar em debate a importância que a certificação de sites pode ter para a Prevenção de Doenças e a Promoção da Saúde⁵. A certificação através de selo de qualidade parece ser uma opção para informar tanto ao público em geral quanto aos profissionais de saúde sobre a qualidade da informação disponível em um determinado site¹⁵.

Finalmente, ressaltamos que os resultados deste projeto guardam todas as condições de participar de forma crítica e criativa do debate internacional sobre os critérios de avaliação de sites de saúde.

Referências

• ¹
  Lévy P. Cybercultura São Paulo: Editora 34; 1999.
• ²
  Lemos A, Lévy P. O futuro da internet: Em direção a uma ciberdemocracia planetária São Paulo: Paulus; 2010.
• ³
  Recuero R. Redes sociais na internet 2^a ed. Porto Alegre: Sulina; 2011.
• ⁴
  Castiel LR, Vasconcelos-Silva PR. Precariedades do Excesso: Informação e Comunicação em Saúde Coletiva Rio de Janeiro: Fiocruz; 2006.
• ⁵
  Garbin HBR, Guilam MCR, Pereira Neto AF. Internet na promoção da saúde: um instrumento para o desenvolvimento de habilidades pessoais e sociais. Physis 2012; 22(1):347-363.
• ⁶
  Garbin HB, Pereira Neto A, Guilam MC. A internet, o paciente expert e a prática médica: uma análise bibliográfica. Interface (Botucatu) 2008; 12(26):579-588.
• ⁷
  Pereira Neto A, Barbosa L, Silva A, Dantas, M. O paciente informado e os saberes médicos: um estudo de etnografia virtual em comunidades de doentes no Facebook. Hist. cienc. saude-Manguinhos 2015; 22 (Supl.):1653-1671.
• ⁸
  Mendonça AP, Pereira Neto A. Critérios de avaliação da qualidade da informação em sites de saúde: uma proposta. Reciis 2015; 9(1):1-15.
• ⁹
  Lopes IL. Iniciativas internacionais para o controle da qualidade da informação em Saúde na Web. Reciis 2012; 6(2):2-12.
• ¹⁰
  Eysenbach G, Powell J, Kuss O, Sá E. Empirical studies assessing the quality of health information for consumers on the World Wide Web: a systematic review. JAMA 2002; 287(20):2691-2700.
• ¹¹
  Barbosa AL, Martins EN. Avaliação da informação dos pacientes sobre miopsias e fotopsias através da Internet. Arq Bras Oftalmol 2007; 70(5):839-843.
• ¹²
  Carlini BH, Ronzani TM, Martins LF, Gomide HP, Souza ICW. Demand for and availability of online support to stop smoking. Rev Saude Publica 2012; 46(6):1066-1081.
• ¹³
  Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H, Abreu CN. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiq Clin 2012; 39(3):106-110.
• ¹⁴
  Cubas MR, Felchner PCZ. Análise das fontes de informação sobre os autoexames da mama disponíveis na Internet. Cien Saude Colet 2012; 17(4):965-970.
• ¹⁵
  Del Giglio A, Abdala B, Ogawa C, Amado D, Carter D, Gomieiro F, Salama F, Shiroma M, Del Giglio A. Qualidade da informação da internet disponível para pacientes em páginas em português. Rev Assoc Med Bras 2012; 58(6):645-649.
• ¹⁶
  Gondim APS, Falcão CB. Avaliação das farmácias virtuais brasileiras. Rev Saude Publica 2007; 41(2):297-300.
• ¹⁷
  Gondim APS, Weyne DP, Ferreira BSP. Qualidade das informações de saúde e medicamentos nos sítios brasileiros. Einstein 2012; 10(3):335-341.
• ¹⁸
  Guardiola-Wanden-Berghe R, Sanz-Valero J, Wanden-Berghe C. Quality assessment of the Website for Eating Disorders: a systematic review of a pending challenge. Cien Saude Colet 2012; 17(9):2489-2497.
• ¹⁹
  Leite F, Correia A. Avaliação da qualidade dos sítios da internet com informação de cárie na criança em língua Portuguesa. Rev Odonto Cienc 2011; 26(2):116-120.
• ²⁰
  Lins TH, Marin HF. Avaliação de website sobre assistência de enfermagem na sala de recuperação pós-anestésica. Acta Paul Enferm 2012; 25(1):109-115.
• ²¹
  Lopes IL. Novos paradigmas para avaliação da qualidade da informação em saúde recuperada na Web. Ci Inf 2004; 33(1):81-90.
• ²²
  Moretti FA, Heymann RE, Marvulle V, Pollak DF, Riera R. Avaliação do nível de conhecimento sobre fibromialgia entre usuários da internet. Rev Bras Reumatol 2011; 51(1):13-19.
• ²³
  Moretti FA, Oliveira VE, Silva EMK. Acesso a informações de saúde na internet: uma questão de saúde pública? Rev Assoc Med Bras 2012; 58(6):650-658.
• ²⁴
  Prado OZ, Meyer SB. Avaliação da relação terapêutica na terapia assíncrona via internet. Psicol Estud 2006; 11(2):247-257.
• ²⁵
  Santos V, Portal MM, Ferigolo M, Dantas DCM, Barros HMT, Trindade CS. Sites sobre drogas de abuso: recursos para avaliação. Trab Educ Saúde 2010; 8(3):575-585.
• ²⁶
  Silva LVER, Mello Junior JF, Mion O. Avaliação das informações sobre rinite alérgica em sites brasileiros na rede mundial de computadores (Internet). Rev Bras Otorrinolaringol 2005; 71(5):590-597.
• ²⁷
  Silva RQ, Gubert MB. Qualidade das informações sobre aleitamento materno e alimentação complementar em sites brasileiros de profissionais de saúde disponíveis na internet. Rev Bras Saúde Matern Infant 2010; 10(3):331-340.
• ²⁸
  Silveira PCM, Costa AES, Lima CC. Gagueira na web: qualidade da informação. Rev CEFAC 2012; 14(3):430-437.
• ²⁹
  Souza CLN, Luz ZP, Rabello A. Análise da informação sobre a leishmaniose visceral disponível em portais brasileiros da rede mundial de computadores: internet. Rev Soc Bras Med Trop 2008; 41(4):352-357.
• ³⁰
  Cronemberger EV, Portocarrero ML, Donato AR, Cunha MS, Barreto TF, Meneses JVL. O uso da internet como fonte de informação sobre cirurgia plástica na Bahia, Brasil. Rev. Bras. Cir. Plást 2012; 27(4):531-535.
• ³¹
  Pithon M, Santos E. Information available on the internet about pain after orthognathic surgery: A careful review. Dental Press J. Orthod 2014; 19(6):86-92.
• ³²
  Mori S, Whitaker IY, Marin HF. Avaliação do website educacional em Primeiros Socorros. Rev. esc. enferm. USP 2013; 47(4):950-957.
• ³³
  Sousa P, Fonseca H, Gaspar P, Gaspar F. Usability of an internet-based platform (Next.Step) for adolescent weight management. J Pediatr 2015; 91(1):68-74.
• ³⁴
  World Health Organization (WHO). Dengue: Guidelines for Diagnosis, Treatment, Prevention and Control: New Edition Geneva: WHO; 2009.
• ³⁵
  Jaenisch T; IDAMS, Sakuntabhai A; DENFREE, Wilder-Smith A; DengueTools. Dengue Research Funded by the European Commission-Scientific Strategies of Three European Dengue Research Consortia. PLoS Negl Trop Dis 2013; 7(12):e2320.
• ³⁶
  Guzman A, Istúriz RE. Update on the global spread of dengue. Int J Antimicrob Agents 2010; 36 (Supl. 1):S40-42.
• ³⁷
  Nogueira RM, Eppinghaus AL. Dengue virus type 4 arrives in the state of Rio de Janeiro: a challenge for epidemiological surveillance and control. Mem Inst Oswaldo Cruz 2011; 106(3):255-256.
• ³⁸
  Pharmanetis Sàrl [Internet]. Pharmanetis Sàrl (GmbH); c2010. [cited 2014 Feb 3]. Available from: http://www.pharmanetis.com/
  » http://www.pharmanetis.com/

Datas de Publicação

• Publicação nesta coleção
  Jun 2017

Histórico

• Recebido
  19 Fev 2016
• Revisado
  14 Jun 2016
• Aceito
  16 Jun 2016