Acessibilidade / Reportar erro

Concordância entre dois instrumentos para avaliação do letramento em saúde* * Estudo financiado com recursos da Fundação de Amparo à Pesquisa do Estado da Bahia (Fapesb) - Processos nº 4452/2018 e nº 5111/2019 - e do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)/Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) - Processos nº 156099/2017 e nº 147970/2018.

Concordancia entre dos instrumentos para evaluación de la alfabetización en salud

Resumo

Objetivo

Determinar a concordância entre os instrumentos de mensuração short test of functional health literacy in adults (S-TOFHLA) e short assessment of health literacy for Portuguese-speaking adults (SAHLPA-18) como estratégia para estimar a validade concorrente.

Métodos

Estudo transversal, com usuários do Sistema Único de Saúde. Para testar a validade concorrente, aplicou-se abordagem de concordância com teste de Kappa ponderado para dados qualitativos.

Resultados

Participaram 372 indivíduos, dos quais 66% e 62% não apresentaram nível de letramento adequado, segundo o SAHLPA-18 e o S-TOFHLA, respectivamente. Observou-se correlação forte entre os instrumentos (p<0,001; r=0,60); e a concordância de acertos encontrada, 65,3% (Kappa=0,35; p<0,001), foi considerada fraca.

Conclusão

Os instrumentos SAHLPA-18 e S-TOFHLA apresentam constructos diferentes e fraca concordância. É indicado o uso de diferentes instrumentos em pesquisas de mensuração do nível de letramento; e desenvolvimento de instrumentos específicos às condições de saúde que permitam obter resultado próximo ao real contexto dos indivíduos.

Palavras-chave:
Letramento em Saúde; Saúde Pública; Reprodutibilidade dos Testes; Autocuidado; Doenças não Transmissíveis; Educação em Saúde

Resumen

Objetivo

Determinar la concordancia entre instrumentos de medición psicométrica short test of functional health literacy in adults (S-TOFHLA) y short assessment of health literacy for portuguese-speaking adults (SAHLPA-18) como estrategia para estimar la validez concurrente.

Métodos

estudio transversal realizado con usuarios del Sistema Único de Salud. Para testear la validez concurrente se aplicó un enfoque de concordancia con una prueba ponderada de Kappa para datos cualitativos.

Resultados

participaron 372 individuos. Se encontró que 66% y 62% de estos no tenía un nivel adecuado de letramiento según SAHLPA-18 y S-TOFHLA, respectivamente. Hubo una fuerte correlación entre los instrumentos (p<0.001; r=0.60), sin embargo 65.3% de concordancia, se consideró débil (Kappa=0.35; p<0.001).

Conclusión

Los instrumentos SAHLPA-18 y S-TOFHLA tienen diferentes construcciones y escasa concordancia. En la investigación se indica el uso de diferentes instrumentos para medir el nivel de letramiento y el desarrollo de instrumentos específicos a las condiciones de salud que permitan obtener resultados cercanos al contexto real de los individuos.

Palabras clave:
Alfabetización en Salud; Salud Pública; Reproducibilidad de los Resultados; Autocuidado; Enfermedades no Transmisibles; Educación en Salud

Abstract

Objetivo

To determine agreement between the Short Test of Functional Health Literacy in Adults (S-TOFHLA) and the Short Assessment of Health Literacy for Portuguese-speaking Adults (SAHLPA-18) measurement instruments as a strategy for estimating concurrent validity.

Methods

This was a cross-sectional study conducted with users of the Brazilian National Health System. An agreement approach using a weighted Kappa test for qualitative data was applied in order to test for concurrent validity.

Results

372 individuals participated. It was found that 66% and 62% of them did not have an adequate level of literacy according to SAHLPA-18 and S-TOFHLA, respectively. There was strong correlation between the instruments (p<0.001; r=0.60), although the 65.3% agreement of correct answers found was considered weak (Kappa=0.35; p<0.001).

Conclusion

The SAHLPA-18 and S-TOFHLA instruments have different constructs and poor agreement. Use of different instruments is indicated in research intended to measure level of literacy, as is the development of instruments specific to health conditions that allow results close to the real context of individuals to be obtained.

Keywords:
Health Literacy; Public Health; Reproducibility of Results; Self Care; Noncommunicable Diseases; Health Education

Introdução

Na prática clínica dos profissionais de saúde, é constante o fornecimento de documentos e informações que exigem dos usuários dos serviços habilidades numéricas, de comunicação e de leitura, para melhor manejo do autocuidado em saúde. Barreiras socioeducacionais, que interferem no uso simultâneo dessas habilidades, são frequentes e limitam a autonomia de pessoas, destacando-se o limitado letramento em saúde.11. Marques SRL, Lemos SMA. Health literacy assessment instruments: literature review. Audiol Commun Res [Internet]. 2017 Jul [cited 2020 Aug 16];22:e1757. Available from: https://doi.org/10.1590/2317-6431-2016-1757
https://doi.org/10.1590/2317-6431-2016-1...
,22. Maragno CAD, Mengue SS, Moraes CG, Rebelo MVD, Guimarães AMM, Pizzol TSD. Test of health literacy for Portuguese-speaking adults. Rev Bras Epidemiol [Internet]. 2019 Apr [cited 2020 Aug 10];22:e190025. Available from: https://doi.org/10.1590/1980-549720190025
https://doi.org/10.1590/1980-54972019002...

O letramento em saúde é definido como o conjunto de habilidades cognitivas e sociais que determinam a capacidade do indivíduo de obter, processar e compreender as informações de saúde, de forma a utilizá-las em sua vida cotidiana.33. Sampaio HAC, Carioca AAF, Sabry MOD, Santos PM, Coelho MAM, Passamai MPB. Letramento em saúde de diabéticos tipo 2: fatores associados e controle glicêmico. Ciênc Saúde Coletiva [Internet]. 2015 mar [citado 2020 ago 03];20(3):865-74. Disponível em: https://doi.org/10.1590/1413-81232015203.12392014
https://doi.org/10.1590/1413-81232015203...
Apesar de educação e saúde serem conceitos discutidos por vezes isoladamente, observa-se interdependência desses dois direitos básicos do cidadão, nessa definição de letramento em saúde.44. Salci MA, Maceno P, Rozza SG, Silva DMGV, Boehs AE, Heidemann ITSB. Health education and its theoretical perspectives: a few reflections. Texto contexto - enferm [Internet]. 2013 Jan-Mar [cited 2020 Jul 22];22(1):224-30. Available from: https://doi.org/10.1590/S0104-07072013000100027
https://doi.org/10.1590/S0104-0707201300...

O letramento inadequado é um problema de Saúde Pública, negligenciado embora impacte negativamente no desfecho clínico dos indivíduos.55. Rababah JA, Al-Hammouri MM, Drew BL, Aldalaykeh M. Health literacy: exploring disparities among college students. BMC Public Health [Internet]. 2019 Oct [cited 2020 Dec 7];19(1):1401. Available from: https://doi.org/10.1186/s12889-019-7781-2
https://doi.org/10.1186/s12889-019-7781-...

6. Yue MG, Feng Z. Medication literacy in a cohort of Chinese patients discharged with essential hypertension. Front Public Health [Internet]. 2020 Jan [cited 2020 Ago 5];7:385. Available from: https://doi.org/10.3389/fpubh.2019.00385
https://doi.org/10.3389/fpubh.2019.00385...
-77. Levin-Zamir D, Baron-Epel OB, Cohen V, Elhayany A. The association of health literacy with health behavior, socioeconomic indicators, and self-assessed health from a national adult survey in Israel. J Health Commun [Internet]. 2016 [cited 2020 Dec 7];21(Supl 2):61-8. Available from: https://doi.org/10.1080/10810730.2016.1207115
https://doi.org/10.1080/10810730.2016.12...
Além de o letramento ser um condicionante para o autocuidado e efetividade terapêutica, recomenda-se ao profissional de saúde estratificar, no contexto clínico, as pessoas que necessitarão de maior apoio instrucional, de maneira a prover cuidado equânime.88. Lopes JM. Modelos de atenção primária e assistência fisioterapêutica. In: Lopes JM, Guedes MBOG, editores. Fisioterapia na atenção primária à saúde: manual de práticas baseado em evidência. Rio de Janeiro: Atheneu; 2019.

Estimar algo que não é tangível, como o conhecimento ou letramento, exige ferramentas psicométricas, a serem selecionadas e aplicadas em cada situação. Foram criados alguns instrumentos na tentativa de melhor mensurar o nível de letramento em saúde dos indivíduos, e assim traçar estratégias de intervenção. Os mais descritos na literatura são o rapid estimate of adult literacy in medicine (REALM) e o test of functional health literacy in adults (TOFHLA).

O TOFHLA, publicado pela primeira vez no ano de 1995,99. Parker RM, Baker DW, Williams MV, Nurss JR. The test of functional health literacy in adults: a new instrument for measuring patients' literacy skills. J Gen Intern Med [Internet]. 1995 Oct [cited 2020 Dec 8];10(10):537-41. Available from: https://doi.org/10.1007/bf02640361
https://doi.org/10.1007/bf02640361...
foi traduzido e adaptado transculturalmente, por vários países. Tendo em vista o longo tempo de aplicação, foi desenvolvida uma versão mais curta do TOPHLA: o short test of functional health literacy in adults (S-TOFHLA).1010. Baker DW, Williams MV, Parker RM, Gazmararian JA, Nurss J. Development of a brief test to measure functional health literacy. Patient Educ Couns [Internet]. 1999 Sep [cited 2020 Dec 8];38(1):33-42. Available from: https://doi.org/10.1016/s0738-3991(98)00116-5
https://doi.org/10.1016/s0738-3991(98)00...
O REALM, desenvolvido na década de 1990,1111. Murphy PW, Davis TC, Long SW, Jackson RH, Decker BC. Rapid estimate of adult literacy in medicine (REALM): a quick reading test for patients. J Reading [Internet]. 1993 Oct [cited 2020 Dec 8];37(2):124-30. Available from: https://www.jstor.org/stable/40033408
https://www.jstor.org/stable/40033408...
consiste em um questionário que avalia a capacidade de reconhecimento, leitura e pronúncia. O questionário short assessment of health literacy for Spanish-speaking adults (SAHLSA) foi desenvolvido inspirado no REALM.1212. Lee SYD, Bender DE, Ruiz RE, Cho YI. Development of an easy-to-use Spanish health literacy test. Health Serv Res [Internet]. 2006 Aug [cited 2020 Dec 8];41(4 Pt 1):1392-412. Available from: https://doi.org/10.1111/j.1475-6773.2006.00532.x
https://doi.org/10.1111/j.1475-6773.2006...
A partir do SAHLSA-50, surgiu a versão adaptada para a língua portuguesa, o short assessment of health literacy for Portuguese-speaking adults (SAHLPA-18).1313. Housten AJ, Hoover DS, Correa-Fernández V, Strong LL, Heppenr WL, Vinci C, et al. Associations of acculturation with English-and Spanish-language health literacy among bilingual latino adults. Health Lit Res Pract [Internet]. 2019 Apr [cited 2020 Aug 15];3(2):e81-9. Available from: https://doi.org/10.3928/24748307-20190219-01
https://doi.org/10.3928/24748307-2019021...
,1414. Apolinario D, Braga RCOP, Magaldi RM, Busse AL, Campora F, Brucki S, et al. Short assessment of health literacy for Portuguese-speaking adults. Rev Saúde Pública [Internet]. 2012 Jul [cited 2020 Dec 8];46(4):702-11. Available from: https://doi.org/10.1590/S0034-89102012005000047
https://doi.org/10.1590/S0034-8910201200...

A existência desses diversos instrumentos e a ausência de um instrumento ‘padrão ouro’ dificulta a comparação entre os estudos nos diversos países e alerta, ademais, para a necessidade de criação de novas ferramentas de avaliação do letramento em saúde.1515. Altin SV, Finke I, Kautz-Freimuth S, Stock S. The evolution of health literacy assessment tools: a systematic review. BMC Public Health [Internet]. 2014 Nov [cited 2020 Dec 8];14:1207. Available from: https://dx.doi.org/10.1186%2F1471-2458-14-1207
https://dx.doi.org/10.1186%2F1471-2458-1...
,1616. Nguyen TH, Park H, Han H-R, Chan KS, Paasche-Orlow M, Haun J, et al. State of the science of health literacy measures: validity implications for minority populations. Patient Educ Couns [Internet]. 2015 Jul [cited 2020 Dec 8];98(12):1492-512. Avaialable from: https://doi.org/10.1016/j.pec.2015.07.013
https://doi.org/10.1016/j.pec.2015.07.01...

No Brasil, são poucos os estudos de adaptação cultural dos instrumentos de avaliação do letramento. Saber quão parecidas ou diferentes são as classificações dos instrumentos psicométricos do letramento em saúde, entre diversas subpopulações com condições sociais e de saúde distintas, ajudaria os profissionais da assistência a empregá-los mais adequadamente. O SAHLPA-18 é um instrumento de fácil aplicação e poderia ser usado mais frequentemente, como teste de triagem na prática clínica.

O objetivo deste estudo foi determinar a concordância entre os instrumentos de mensuração psicométrica S-TOFHLA e SAHLPA-18, como estratégia para estimar a validade concorrente.

Métodos

Trata-se de estudo de concordância entre instrumentos, com desenho transversal, realizado no município de Paulo Afonso, estado da Bahia, no período de agosto de 2017 a março de 2020.

Paulo Afonso situa-se na região Nordeste do Brasil, no sertão baiano. Em 2019, o município contava uma população de 117.782 habitantes, salário médio mensal dos trabalhadores formais de 2,2 salários mínimos e 43,6% da população com rendimento per capita de até 0,5 salário mínimo. O município apresenta uma taxa de escolarização de 6 a 14 anos de idade de 96,4% e rede de serviços de saúde estruturada, com todos os níveis de atenção.1717. Instituto Brasileiro de Geografia e Estatística - IBGE. Panorama das cidades brasileiras: Paulo Afonso/Bahia [Internet]. Rio de Janeiro: Instituto Brasileiro de Geografia e Estatística; 2020 [citado 2020 ago 21]. Disponível em: https://cidades.ibge.gov.br/brasil/ba/paulo-afonso/panorama
https://cidades.ibge.gov.br/brasil/ba/pa...

Foram elegíveis para o estudo usuários de 22 unidades básicas de saúde (UBS), incluindo zona urbana e rural, um ambulatório municipal de especialidades médicas e um centro de terapia renal substitutiva. A coleta de dados foi realizada semanalmente, nesses estabelecimentos de saúde, ao longo do período da pesquisa.

Os indivíduos pesquisados foram selecionados a partir dos seguintes critérios: ter idade igual ou acima de 18 anos; ser alfabetizado; e ser usuário cadastrado da Atenção Básica em Saúde do município. Os critérios de exclusão foram a declaração autorreferida do uso de drogas que afetam a cognição, e a ausência de um mínimo de acuidade visual ou audição adequada para realização dos testes ou a presença de manifestações de distúrbios neurológicos ou cognitivos, verificados por meio de perguntas simples de atenção, localização e temporalidade realizadas pelos pesquisadores.

A amostragem foi não probabilística, do tipo a esmo. O recrutamento ocorreu antes da consulta, priorizando os últimos indivíduos da fila de espera, de modo a otimizar o tempo e favorecer maior adesão à pesquisa. Não foi feito o registro de perdas e recusas.

O dimensionamento amostral mínimo para estimar concordância boa ou superior (índice de Kappa >0,6) e reduzir possíveis erros do tipo II foi de 110 participantes. Levou-se em consideração a concordância absoluta igual para o letramento adequado e inadequado, assim como para as discordâncias, sendo essa nove vezes menor.

As variáveis pesquisadas foram:

  1. sexo (masculino; feminino);

  2. faixa etária (em anos: até 30; 30 a 59; 60 e mais);

  3. escolaridade (ensino fundamental, ensino médio ou ensino superior, completo ou incompleto); e

  4. classificação econômica do entrevistado (segundo o Critério de Classificação Econômica Brasil 2019, da Associação Brasileira de Empresas de Pesquisa [ABEP]: A; B1; B2; C1; C2; D-E).1818. Associação Brasileira de Empresas de Pesquisa - ABEP. Critério de classificação econômica Brasil: critério Brasil [Internet]. São Paulo: Associação Brasileira de Empresas de Pesquisa; 2019 [citado 2020 ago 22]. Disponível em: http://www.abep.org/criterio-brasil
    http://www.abep.org/criterio-brasil...

A entrevista foi realizada pelos pesquisadores, após treinamento prévio adequado sobre as especificidades de cada teste, e executada em sala reservada exclusivamente para este fim. Foram realizadas entrevistas com a aplicação de questionários. O nível de letramento em saúde foi avaliado pelos testes SAHLPA-18 e S-TOFHLA.

O primeiro instrumento utilizado foi o SAHLPA-18, validado a partir do SAHLSA.1414. Apolinario D, Braga RCOP, Magaldi RM, Busse AL, Campora F, Brucki S, et al. Short assessment of health literacy for Portuguese-speaking adults. Rev Saúde Pública [Internet]. 2012 Jul [cited 2020 Dec 8];46(4):702-11. Available from: https://doi.org/10.1590/S0034-89102012005000047
https://doi.org/10.1590/S0034-8910201200...
Foram confeccionados 18 cartões contendo termos médicos distintos, para avaliar as habilidades de pronúncia e compreensão de termos médicos populares. Em sua aplicação, solicitava-se ao entrevistado ler em voz alta o termo em destaque do cartão, para que o entrevistador avaliasse sua pronúncia. Em seguida, o entrevistado deveria associar o termo lido a uma das opções de resposta. Trata-se de um questionário que pode ser aplicado em cerca de três minutos, por profissionais treinados. Cada acerto recebia 1 ponto, e o letramento foi considerado adequado quando o indivíduo apresentava número de acertos igual ou superior a 15 pontos.1414. Apolinario D, Braga RCOP, Magaldi RM, Busse AL, Campora F, Brucki S, et al. Short assessment of health literacy for Portuguese-speaking adults. Rev Saúde Pública [Internet]. 2012 Jul [cited 2020 Dec 8];46(4):702-11. Available from: https://doi.org/10.1590/S0034-89102012005000047
https://doi.org/10.1590/S0034-8910201200...

Em seguida, foi aplicado o S-TOFHLA. Traduzido e adaptado a partir da versão original,1919. Carthery-Goulart MT, Anghinah R, Areza-Fegyveres R, Bahia VS, Brucki SMD, Damin A, et al. Performance of a Brazilian population on the test of functional health literacy in adults. Rev Saúde Pública [Internet]. 2009 May [cited 2020 Dec 8];43(4):631-8. Available from: https://doi.org/10.1590/S0034-89102009005000031
https://doi.org/10.1590/S0034-8910200900...
esse instrumento apresentava um tempo previsto de realização de 12 minutos, por profissional treinado; seu questionário exibia 36 itens de múltipla escolha, para compreensão em leitura, com valor de 2 pontos para cada acerto. Na avaliação de habilidade numérica, foram apresentados quatro cartões que exigiam a interpretação correta de situações cotidianas em saúde, cada um deles valendo 7 pontos. Conforme a pontuação identificada, o nível de letramento em saúde do indivíduo foi assim classificado: para a pontuação de 0 a 53, inadequado; de 54 a 66, limítrofe; e de 67 a 100 pontos, adequado.22. Maragno CAD, Mengue SS, Moraes CG, Rebelo MVD, Guimarães AMM, Pizzol TSD. Test of health literacy for Portuguese-speaking adults. Rev Bras Epidemiol [Internet]. 2019 Apr [cited 2020 Aug 10];22:e190025. Available from: https://doi.org/10.1590/1980-549720190025
https://doi.org/10.1590/1980-54972019002...

Os dados foram analisados descritivamente, na forma de frequência absoluta e relativa, para as classificações de letramento em saúde. O teste de correlação de Pearson foi calculado para verificar a relação entre as pontuações segundo o instrumento.

Foi calculada a estatística Kappa ponderada, para analisar a validade concorrente entre os instrumentos de aferição do letramento, considerando-se: Kappa <0,40 como concordância fraca; de 0,41 a 0,60, concordância regular; de 0,61 a 0,80, boa; e Kappa ≥0,81, concordância excelente.202. Maragno CAD, Mengue SS, Moraes CG, Rebelo MVD, Guimarães AMM, Pizzol TSD. Test of health literacy for Portuguese-speaking adults. Rev Bras Epidemiol [Internet]. 2019 Apr [cited 2020 Aug 10];22:e190025. Available from: https://doi.org/10.1590/1980-549720190025
https://doi.org/10.1590/1980-54972019002...
A análise de concordância foi aplicada tanto para a amostra geral como para a estratificada, esta por subpopulações específicas de doenças crônicas e, também, por sexo, idade e classificação econômica, visando minimizar vieses de seleção e de características intervenientes. Nisso consiste o tipo de abordagem multivariada desta análise, possível de revelar interações entre esses preditores. No caso de ocorrência dessas inferências, ela será apenas enfatizada, haja vista o efeito principal estar presente.

Aplicou-se o teste do qui-quadrado, para estimar a probabilidade associada à hipótese nula, e a medida de concordância Kappa. Foi adotado nível de significância de 5%.

Para a execução do estudo, foi solicitada a autorização da Secretaria Municipal de Saúde de Paulo Afonso e do Comitê de Ética em Pesquisa da Universidade Federal do Vale do São Francisco (CEP/UFVASF), concedida mediante Parecer nº 2.228.427, emitido em 19 de agosto de 2017. Todos os participantes foram convidados a assinar o Termo de Consentimento Livre e Esclarecido após a explicação dos objetivos do estudo.

Apenas os pesquisadores diretamente envolvidos com as entrevistas tiveram acesso aos dados e assinaram termo assumindo o compromisso de manter confidencialidade e sigilo sobre todas as informações coletadas.

Resultados

Foram incluídos 372 indivíduos, divididos em quatro grupos distintos (Figura 1). O tempo médio de diagnóstico dos indivíduos do grupo com hipertensão foi de 11,9 ± 7,6 anos, com doença renal, 5,6 ± 5,9 anos, e do grupo com diabetes, 10,3 ± 8,6 anos (dados não apresentados em tabela).

Figura 1
Distribuição dos participantes do estudo (n=372), Paulo Afonso, Bahia, 2020

A amostra foi composta, predominantemente, por indivíduos do sexo feminino (72,8%), e a idade média foi de 49,2 anos (desvio-padrão: 15,6). Apenas 26,9% dos idosos apresentam nível de letramento adequado pelo SAHLPA-18 e 7,5% pelo S-TOFHLA. Os indivíduos de classificação econômica D e E apresentaram piores resultados para o nível de letramento, em ambos os instrumentos. Em relação à escolaridade, 39,2% dos entrevistados não concluíram o ensino fundamental, resultado este refletido no letramento: 13% daqueles com menor escolaridade apresentaram nível adequado pelo SALHPA-18, e apenas 11% pelo S-TOFHLA. Em contrapartida, 88,9% dos indivíduos com ensino superior obtiveram êxito no SALHPA-18 e 77,8% no S-TOFHLA (Tabela 1).

Tabela 1
Características sociodemográficas, clínicas e nível de letramento em saúde dos participantes do estudo (n=372), Paulo Afonso, Bahia, 2020

Observou-se concentração de indivíduos com baixa escolaridade nos grupos de classificação econômica até o estrato C, e, em contrapartida, presença de alta escolaridade nos grupos classificados como A e B (p<0,001). Pessoas com baixa escolaridade foram comuns nos grupos com doença renal e diabetes (p=0,010), e não foram observadas diferenças estatísticas nos grupos com hipertensão ou sem diagnóstico para doenças crônicas.

Nominalmente, 66% dos indivíduos apresentaram nível de letramento em saúde inadequado pelo SAHLPA-18 e 62% não apresentaram letramento adequado pelo S-TOHLA; destes, 11% apresentaram letramento limítrofe, e 51%, letramento inadequado.

Observou-se correlação positiva estatisticamente forte entre o SAHLPA-18 e o S-TOFHLA (p<0,001; r=0,60) (Figura 2). Os instrumentos apresentaram concordância de acertos de 65,3% na identificação de letramento adequado e inadequado: concordância fraca (Kappa=0,35; p<0,001), conforme demonstrado na Tabela 2.

Figura 2
Correlação entre os instrumentos short assessment of health literacy for Portuguese-speaking adults (SAHLPA-18) e short test of functional health literacy in adults (S-TOFHLA) (n=372), Paulo Afonso, Bahia, 2020

A concordância de acertos na classificação como adequado ou inadequado, entre indivíduos com hipertensão, foi de 65,6%, e com diabetes, de 73,5%, considerada concordância regular: respectivamente, Kappa=0,40 e Kappa=0,45; p<0,001. Entretanto, os participantes com doença renal e aqueles sem doença prévia apresentaram, respectivamente, alinhamentos de 67,4% (Kappa=0,27) e 52,9% (Kappa=0,21), considerada concordância fraca (Tabela 2).

Tabela 2
Análise de concordância entre short assessment of health literacy for Portuguese-speaking adults (SAHLPA-18) e short test of functional health literacy in adults (S-TOFHLA) em indivíduos sem doença prévia, com hipertensão arterial, doença renal crônica ou diabetes (n=372), Paulo Afonso, Bahia, 2020

Ao se estratificar a análise pelas condicionantes sociais ‘sexo’, ‘idade’ e ‘classificação econômica’, constatou-se a interação entre elas e sua influência no nível de concordância entre os instrumentos (Tabela 3). Dessa forma, as inferências levaram em consideração apenas esse aspecto da análise.

Nos participantes sem doença prévia, observou-se concordância excelente nos homens de 31 a 59 anos de classificação econômica A e B (Kappa=1,00), e concordância regular naqueles de classificação C, D e E (Kappa=0,50). Nos indivíduos com doença renal, ainda na mesma faixa etária e sexo, também se observou concordância excelente na classificação A e B (Kappa=1,00) e regular na classificação C, D e E (Kappa=0,48) (Tabela 3).

Tabela 3
Concordância entre short assessment of health literacy for Portuguese-speaking adults (SAHLPA-18) e short test of functional health literacy in adults (S-TOFHLA) estratificado por sexo, faixa etária e classificação econômica em pacientes sem doença prévia, com hipertensão arterial, doença renal crônica ou diabetes (n=372), Paulo Afonso, Bahia, 2020

Quanto aos hipertensos da classificação A e B, entre as mulheres, apresentou-se concordância regular na faixa etária de 31 a 59 anos (Kappa=0,59) e concordância boa (Kappa=0,66) naquelas acima de 60 anos; nos homens hipertensos de mesma classificação econômica (A e B), a concordância foi regular apenas na idade acima de 60 anos (Kappa=0,58). Na classificação C, D e E, apenas entre as mulheres de 31 a 59 anos houve concordância regular (Kappa=0,31).

No grupo de indivíduos com diabetes, na classificação A e B, houve concordância boa nas mulheres de modo geral (Kappa=0,70). Na classificação C, D e E, a concordância foi regular nos homens (Kappa=0,57) e nas mulheres (Kappa=0,40) de 31 a 59 anos; nos participantes acima de 60 anos, da mesma classe econômica (C, D e E), os instrumentos apresentaram concordância excelente nos homens (Kappa=1,00) e fraca nas mulheres (Kappa=0,14) (Tabela 3).

Discussão

A concordância entre o SAHLPA-18 e o S-TOFHLA é fraca na análise realizada com o total da amostra, e heterogênea quando na estratificação por subgrupos sociodemográficos e condição de saúde.

O processo de amostragem adotado foi não probabilístico, além do que, a quantidade de indivíduos que se negaram a participar ou foram excluídos da pesquisa não foi referida, limitando a representatividade da amostra consultada. A ausência de planejamento amostral para os subgrupos de condições de saúde, por sua vez, restringe o poder para minimizar possível erro falso-negativo.

Os instrumentos de medição do letramento em saúde buscam avaliar o efeito de diversas variáveis que contribuem para o desenvolvimento e uso de habilidades no contexto assistencial. O grande limitante dessa tarefa consiste na inexistência de instrumento capaz de avaliar o letramento funcional e interativo em saúde, seja no âmbito individual, seja no contexto de grupos ou populações específicas.2121. Haun JN, Valerio MA, McCormack LA, Sorensen K, Paasche-Orlow MK. Health literacy measurement: an inventory and descriptive summary of 51 instruments. J Health Commun [Internet]. 2014 [cited 2020 Dec 8];19 Supl 2:302-33. Available from: https://doi.org/10.1080/10810730.2014.936571
https://doi.org/10.1080/10810730.2014.93...
,2222. Guzys D, Kenny A, Dickson-Swift V, Threlkeld G. A critical review of population health literacy assessment. BMC Public Health [Internet]. 2015 Mar [cited 2020 Dec 8];15(1):215. Available from: https://doi.org/10.1186/s12889-015-1551-6
https://doi.org/10.1186/s12889-015-1551-...

Os instrumentos SAHLPA-18 e S-TOFHLA apresentaram correlação positiva, estatisticamente significativa, neste estudo. Técnicas estatísticas de correlação indicam apenas se a variação dos valores de uma variável acompanha a variação dos valores de outra. Pode-se entender o r como o grau de proximidade dos pares de pontos X e Y (a pontuação do indivíduo nos dois instrumentos de letramento) a uma reta qualquer, não necessariamente à reta de 45º; portanto, a correlação linear evidenciada não significa, em si, a concordância entre os instrumentos. Para a análise de concordância, além de correlação, deve haver coincidência entre os valores. Quando aplicadas ao conjunto de dados, as medidas de concordância, geralmente, se apresentam menores que os coeficientes de correlação.2323. Miot HA. Agreement analysis in clinical and experimental trials. J Vasc Bras [Internet]. 2016 Apr-Jun [cited 2020 Aug 5];15(2):89-92. Available from: https://doi.org/10.1590/1677-5449.004216
https://doi.org/10.1590/1677-5449.004216...

Constatou-se concordância fraca entre os dois instrumentos utilizados. Este resultado, provavelmente, deve-se ao fato de os questionários analisados medirem constructos diferentes do letramento em saúde; o SAHLPA tem enfoque no reconhecimento de palavras e pronúncia, enquanto o TOFHLA procura avaliar a habilidade numérica e a compreensão da leitura do indivíduo sobre informações em saúde.2222. Guzys D, Kenny A, Dickson-Swift V, Threlkeld G. A critical review of population health literacy assessment. BMC Public Health [Internet]. 2015 Mar [cited 2020 Dec 8];15(1):215. Available from: https://doi.org/10.1186/s12889-015-1551-6
https://doi.org/10.1186/s12889-015-1551-...

A idade avançada é fator relevante para o nível de letramento em saúde, dado que, ao longo do processo de envelhecimento, podem ocorrer alterações cognitivas que interferem no grau de entendimento da pessoa.77. Levin-Zamir D, Baron-Epel OB, Cohen V, Elhayany A. The association of health literacy with health behavior, socioeconomic indicators, and self-assessed health from a national adult survey in Israel. J Health Commun [Internet]. 2016 [cited 2020 Dec 7];21(Supl 2):61-8. Available from: https://doi.org/10.1080/10810730.2016.1207115
https://doi.org/10.1080/10810730.2016.12...
O fato foi constatado neste estudo, em que baixa proporção dos idosos apresentou nível de letramento adequado, bem como interferiu na concordância entre os instrumentos utilizados.

O nível de escolaridade, isoladamente, é ferramenta imprecisa para avaliar o letramento em saúde: ele quantifica o tempo em anos de estudo na educação formal, sem considerar o real aprendizado do indivíduo.2424. Veiga FNA, Oliveira Martins-Reis V, Santos JN. A influência positiva do letramento na percepção da saúde e dos atendimentos em saúde recebidos pela população adulta e idosa. NBC [Internet]. 2017 jun [citado 2020 15 ago];7(13). Disponível em: https://www.metodista.br/revistas/revistas-izabela/index.php/bio/article/view/1535/887
https://www.metodista.br/revistas/revist...
A pessoa pode dominar habilidades de escrita e de leitura sem conseguir utilizá-las na prática diária, por exemplo, para compreender uma prescrição médica, bula, cartaz informativo ou resultados de exames.2525. Levy H, Janke A. Health literacy and access to care. J Health Commun [Internet]. 2016 [cited 2020 Dec 8];21 Suppl 1:43-50. Available from: https://doi.org/10.1080/10810730.2015.1131776
https://doi.org/10.1080/10810730.2015.11...
Constatou-se que apenas uma ínfima proporção dos participantes com ensino fundamental incompleto apresentaram níveis de letramento adequado, pelos instrumentos SAHLPA-18 e S-TOFHLA. Maiores níveis de escolaridade tampouco garantiram bom desempenho nos dois instrumentos.

Ter escolaridade elevada não implica, necessariamente, letramento em saúde adequado.2626. World Health Organization, Kickbusch I, Pelikan JM, Apfel F, Tsouros AD, Editors. Health literacy: the solid facts [Internet]. Genebra: World Health Organization; 2013 [cited 2020 Aug 20]. Available from: https://www.euro.who.int/__data/assets/pdf_file/0008/190655/e96854.pdf?ua=1
https://www.euro.who.int/__data/assets/p...
Para os indivíduos com doença renal, observa-se que os instrumentos examinados não mostram melhor concordância nos indivíduos mais ricos, dotados de melhor nível educacional, tal como ser perito em procedimentos aeroviários ou educação infantil não garante que o indivíduo detenha conhecimentos mínimos sobre o autocuidado, apenas torna sua aprendizagem mais fácil.

A tendência de se encontrar melhor nível de letramento nas classificações econômicas mais altas seria atribuída ao fato de pessoas com maior renda apresentarem maiores oportunidades de estudo e desenvolvimento intelectual. O indicador de alfabetismo funcional mostra que a proporção de analfabetos e pessoas com nível rudimentar de alfabetismo diminui significativamente, com o aumento da renda.2727. Todorovic N, Jovic-Vranes A, Djikanovic B, Pilipovic-Broceta N, Vasiljevic N, Racic M. Health literacy: current status and challenges in the work of family doctors in Bosnia and Herzegovina. Int J Environ Res Public Health [Internet]. 2019 Apr [cited 2020 Dec 8];16(8):1324. Available from: https://dx.doi.org/10.3390%2Fijerph16081324
https://dx.doi.org/10.3390%2Fijerph16081...
,2828. Instituto Paulo Montenegro, Lima A, Catelli Jr R. Indicador de alfabetismo funcional Brasil 2018: resultados preliminares [Internet]. [S.l.]: Instituto Paulo Montenegro; 2018 [citado 2020 ago 16]. Disponível em: https://acaoeducativa.org.br/wp-content/uploads/2018/08/Inaf2018_Relatório-Resultados-Preliminares_v08Ago2018.pdf
https://acaoeducativa.org.br/wp-content/...

Apesar da existência desses determinantes individuais, a vasta amplitude dessa temática não permite atribuir o limitado letramento em saúde tão somente à competência individual.2929. Hersh L, Salzman B, Snyderman D. Health literacy in primary care practice. Am Fam Physician [Internet]. 2015 Jul [cited 2020 Dec 8];92(2):118-24. Available from: https://www.aafp.org/afp/2015/0715/p118.html
https://www.aafp.org/afp/2015/0715/p118....
Por vezes, os sistemas de saúde são sobrecarregados, fazendo com que, invariavelmente, o tempo das consultas seja reduzido, não permitindo que as informações prestadas ao usuário sejam transmitidas da maneira adequada. Ademais, profissionais de saúde costumam utilizar termos complexos e tecnicistas, de difícil entendimento para a população, principalmente quando não se preocupam em adaptar esse vocabulário à condição socioeducacional de cada pessoa atendida. Diante desses fatores, conclui-se que a atenção à saúde envolve responsabilidade compartilhada, por exemplo, entre um médico e quem o consulta.2727. Todorovic N, Jovic-Vranes A, Djikanovic B, Pilipovic-Broceta N, Vasiljevic N, Racic M. Health literacy: current status and challenges in the work of family doctors in Bosnia and Herzegovina. Int J Environ Res Public Health [Internet]. 2019 Apr [cited 2020 Dec 8];16(8):1324. Available from: https://dx.doi.org/10.3390%2Fijerph16081324
https://dx.doi.org/10.3390%2Fijerph16081...

No Brasil, a maioria dos trabalhos sobre letramento em saúde é recente e evidencia a necessidade de explorar melhor os instrumentos utilizados, no contexto da realidade sociocultural do país.3030. Rocha PC, Lemos SMA. Conceptual aspects and factors associated with functional health literacy: a literary review. Rev CEFAC [Internet]. 2016 Jan-Feb [cited 2020 Aug 11];18(1):214-24. Available from: https://doi.org/10.1590/1982-021620161819615
https://doi.org/10.1590/1982-02162016181...
Além da adequação do instrumento à população, é imprescindível a certeza de que os resultados obtidos são fiéis ao objetivo de mensuração proposto, e podem ser utilizados na comparação a outros estudos populacionais ou no direcionamento de condutas e políticas públicas.

Averiguou-se concordância fraca entre o SAHLPA-18 e o S-TOFHLA na mensuração do nível de letramento em saúde. Por conseguinte, é indicado o uso de mais de um instrumento de mensuração nas pesquisas de avaliação do nível global de letramento em saúde. Para a prática clínica e uso nos serviços, é indicado o desenvolvimento e validação de instrumentos específicos, adequados às condições de saúde presentes, que permitam obter resultados mais próximos ao contexto dos indivíduos.

Referências

  • 1
    Marques SRL, Lemos SMA. Health literacy assessment instruments: literature review. Audiol Commun Res [Internet]. 2017 Jul [cited 2020 Aug 16];22:e1757. Available from: https://doi.org/10.1590/2317-6431-2016-1757
    » https://doi.org/10.1590/2317-6431-2016-1757
  • 2
    Maragno CAD, Mengue SS, Moraes CG, Rebelo MVD, Guimarães AMM, Pizzol TSD. Test of health literacy for Portuguese-speaking adults. Rev Bras Epidemiol [Internet]. 2019 Apr [cited 2020 Aug 10];22:e190025. Available from: https://doi.org/10.1590/1980-549720190025
    » https://doi.org/10.1590/1980-549720190025
  • 3
    Sampaio HAC, Carioca AAF, Sabry MOD, Santos PM, Coelho MAM, Passamai MPB. Letramento em saúde de diabéticos tipo 2: fatores associados e controle glicêmico. Ciênc Saúde Coletiva [Internet]. 2015 mar [citado 2020 ago 03];20(3):865-74. Disponível em: https://doi.org/10.1590/1413-81232015203.12392014
    » https://doi.org/10.1590/1413-81232015203.12392014
  • 4
    Salci MA, Maceno P, Rozza SG, Silva DMGV, Boehs AE, Heidemann ITSB. Health education and its theoretical perspectives: a few reflections. Texto contexto - enferm [Internet]. 2013 Jan-Mar [cited 2020 Jul 22];22(1):224-30. Available from: https://doi.org/10.1590/S0104-07072013000100027
    » https://doi.org/10.1590/S0104-07072013000100027
  • 5
    Rababah JA, Al-Hammouri MM, Drew BL, Aldalaykeh M. Health literacy: exploring disparities among college students. BMC Public Health [Internet]. 2019 Oct [cited 2020 Dec 7];19(1):1401. Available from: https://doi.org/10.1186/s12889-019-7781-2
    » https://doi.org/10.1186/s12889-019-7781-2
  • 6
    Yue MG, Feng Z. Medication literacy in a cohort of Chinese patients discharged with essential hypertension. Front Public Health [Internet]. 2020 Jan [cited 2020 Ago 5];7:385. Available from: https://doi.org/10.3389/fpubh.2019.00385
    » https://doi.org/10.3389/fpubh.2019.00385
  • 7
    Levin-Zamir D, Baron-Epel OB, Cohen V, Elhayany A. The association of health literacy with health behavior, socioeconomic indicators, and self-assessed health from a national adult survey in Israel. J Health Commun [Internet]. 2016 [cited 2020 Dec 7];21(Supl 2):61-8. Available from: https://doi.org/10.1080/10810730.2016.1207115
    » https://doi.org/10.1080/10810730.2016.1207115
  • 8
    Lopes JM. Modelos de atenção primária e assistência fisioterapêutica. In: Lopes JM, Guedes MBOG, editores. Fisioterapia na atenção primária à saúde: manual de práticas baseado em evidência. Rio de Janeiro: Atheneu; 2019.
  • 9
    Parker RM, Baker DW, Williams MV, Nurss JR. The test of functional health literacy in adults: a new instrument for measuring patients' literacy skills. J Gen Intern Med [Internet]. 1995 Oct [cited 2020 Dec 8];10(10):537-41. Available from: https://doi.org/10.1007/bf02640361
    » https://doi.org/10.1007/bf02640361
  • 10
    Baker DW, Williams MV, Parker RM, Gazmararian JA, Nurss J. Development of a brief test to measure functional health literacy. Patient Educ Couns [Internet]. 1999 Sep [cited 2020 Dec 8];38(1):33-42. Available from: https://doi.org/10.1016/s0738-3991(98)00116-5
    » https://doi.org/10.1016/s0738-3991(98)00116-5
  • 11
    Murphy PW, Davis TC, Long SW, Jackson RH, Decker BC. Rapid estimate of adult literacy in medicine (REALM): a quick reading test for patients. J Reading [Internet]. 1993 Oct [cited 2020 Dec 8];37(2):124-30. Available from: https://www.jstor.org/stable/40033408
    » https://www.jstor.org/stable/40033408
  • 12
    Lee SYD, Bender DE, Ruiz RE, Cho YI. Development of an easy-to-use Spanish health literacy test. Health Serv Res [Internet]. 2006 Aug [cited 2020 Dec 8];41(4 Pt 1):1392-412. Available from: https://doi.org/10.1111/j.1475-6773.2006.00532.x
    » https://doi.org/10.1111/j.1475-6773.2006.00532.x
  • 13
    Housten AJ, Hoover DS, Correa-Fernández V, Strong LL, Heppenr WL, Vinci C, et al. Associations of acculturation with English-and Spanish-language health literacy among bilingual latino adults. Health Lit Res Pract [Internet]. 2019 Apr [cited 2020 Aug 15];3(2):e81-9. Available from: https://doi.org/10.3928/24748307-20190219-01
    » https://doi.org/10.3928/24748307-20190219-01
  • 14
    Apolinario D, Braga RCOP, Magaldi RM, Busse AL, Campora F, Brucki S, et al. Short assessment of health literacy for Portuguese-speaking adults. Rev Saúde Pública [Internet]. 2012 Jul [cited 2020 Dec 8];46(4):702-11. Available from: https://doi.org/10.1590/S0034-89102012005000047
    » https://doi.org/10.1590/S0034-89102012005000047
  • 15
    Altin SV, Finke I, Kautz-Freimuth S, Stock S. The evolution of health literacy assessment tools: a systematic review. BMC Public Health [Internet]. 2014 Nov [cited 2020 Dec 8];14:1207. Available from: https://dx.doi.org/10.1186%2F1471-2458-14-1207
    » https://dx.doi.org/10.1186%2F1471-2458-14-1207
  • 16
    Nguyen TH, Park H, Han H-R, Chan KS, Paasche-Orlow M, Haun J, et al. State of the science of health literacy measures: validity implications for minority populations. Patient Educ Couns [Internet]. 2015 Jul [cited 2020 Dec 8];98(12):1492-512. Avaialable from: https://doi.org/10.1016/j.pec.2015.07.013
    » https://doi.org/10.1016/j.pec.2015.07.013
  • 17
    Instituto Brasileiro de Geografia e Estatística - IBGE. Panorama das cidades brasileiras: Paulo Afonso/Bahia [Internet]. Rio de Janeiro: Instituto Brasileiro de Geografia e Estatística; 2020 [citado 2020 ago 21]. Disponível em: https://cidades.ibge.gov.br/brasil/ba/paulo-afonso/panorama
    » https://cidades.ibge.gov.br/brasil/ba/paulo-afonso/panorama
  • 18
    Associação Brasileira de Empresas de Pesquisa - ABEP. Critério de classificação econômica Brasil: critério Brasil [Internet]. São Paulo: Associação Brasileira de Empresas de Pesquisa; 2019 [citado 2020 ago 22]. Disponível em: http://www.abep.org/criterio-brasil
    » http://www.abep.org/criterio-brasil
  • 19
    Carthery-Goulart MT, Anghinah R, Areza-Fegyveres R, Bahia VS, Brucki SMD, Damin A, et al. Performance of a Brazilian population on the test of functional health literacy in adults. Rev Saúde Pública [Internet]. 2009 May [cited 2020 Dec 8];43(4):631-8. Available from: https://doi.org/10.1590/S0034-89102009005000031
    » https://doi.org/10.1590/S0034-89102009005000031
  • 20
    McHugh ML. Interrater reliability: the kappa statistic. Biochem Med [Internet]. 2012 Oct [cited 2020 Dec 8];22(3):276-82. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3900052/
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3900052/
  • 21
    Haun JN, Valerio MA, McCormack LA, Sorensen K, Paasche-Orlow MK. Health literacy measurement: an inventory and descriptive summary of 51 instruments. J Health Commun [Internet]. 2014 [cited 2020 Dec 8];19 Supl 2:302-33. Available from: https://doi.org/10.1080/10810730.2014.936571
    » https://doi.org/10.1080/10810730.2014.936571
  • 22
    Guzys D, Kenny A, Dickson-Swift V, Threlkeld G. A critical review of population health literacy assessment. BMC Public Health [Internet]. 2015 Mar [cited 2020 Dec 8];15(1):215. Available from: https://doi.org/10.1186/s12889-015-1551-6
    » https://doi.org/10.1186/s12889-015-1551-6
  • 23
    Miot HA. Agreement analysis in clinical and experimental trials. J Vasc Bras [Internet]. 2016 Apr-Jun [cited 2020 Aug 5];15(2):89-92. Available from: https://doi.org/10.1590/1677-5449.004216
    » https://doi.org/10.1590/1677-5449.004216
  • 24
    Veiga FNA, Oliveira Martins-Reis V, Santos JN. A influência positiva do letramento na percepção da saúde e dos atendimentos em saúde recebidos pela população adulta e idosa. NBC [Internet]. 2017 jun [citado 2020 15 ago];7(13). Disponível em: https://www.metodista.br/revistas/revistas-izabela/index.php/bio/article/view/1535/887
    » https://www.metodista.br/revistas/revistas-izabela/index.php/bio/article/view/1535/887
  • 25
    Levy H, Janke A. Health literacy and access to care. J Health Commun [Internet]. 2016 [cited 2020 Dec 8];21 Suppl 1:43-50. Available from: https://doi.org/10.1080/10810730.2015.1131776
    » https://doi.org/10.1080/10810730.2015.1131776
  • 26
    World Health Organization, Kickbusch I, Pelikan JM, Apfel F, Tsouros AD, Editors. Health literacy: the solid facts [Internet]. Genebra: World Health Organization; 2013 [cited 2020 Aug 20]. Available from: https://www.euro.who.int/__data/assets/pdf_file/0008/190655/e96854.pdf?ua=1
    » https://www.euro.who.int/__data/assets/pdf_file/0008/190655/e96854.pdf?ua=1
  • 27
    Todorovic N, Jovic-Vranes A, Djikanovic B, Pilipovic-Broceta N, Vasiljevic N, Racic M. Health literacy: current status and challenges in the work of family doctors in Bosnia and Herzegovina. Int J Environ Res Public Health [Internet]. 2019 Apr [cited 2020 Dec 8];16(8):1324. Available from: https://dx.doi.org/10.3390%2Fijerph16081324
    » https://dx.doi.org/10.3390%2Fijerph16081324
  • 28
    Instituto Paulo Montenegro, Lima A, Catelli Jr R. Indicador de alfabetismo funcional Brasil 2018: resultados preliminares [Internet]. [S.l.]: Instituto Paulo Montenegro; 2018 [citado 2020 ago 16]. Disponível em: https://acaoeducativa.org.br/wp-content/uploads/2018/08/Inaf2018_Relatório-Resultados-Preliminares_v08Ago2018.pdf
    » https://acaoeducativa.org.br/wp-content/uploads/2018/08/Inaf2018_Relatório-Resultados-Preliminares_v08Ago2018.pdf
  • 29
    Hersh L, Salzman B, Snyderman D. Health literacy in primary care practice. Am Fam Physician [Internet]. 2015 Jul [cited 2020 Dec 8];92(2):118-24. Available from: https://www.aafp.org/afp/2015/0715/p118.html
    » https://www.aafp.org/afp/2015/0715/p118.html
  • 30
    Rocha PC, Lemos SMA. Conceptual aspects and factors associated with functional health literacy: a literary review. Rev CEFAC [Internet]. 2016 Jan-Feb [cited 2020 Aug 11];18(1):214-24. Available from: https://doi.org/10.1590/1982-021620161819615
    » https://doi.org/10.1590/1982-021620161819615
  • *
    Estudo financiado com recursos da Fundação de Amparo à Pesquisa do Estado da Bahia (Fapesb) - Processos nº 4452/2018 e nº 5111/2019 - e do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)/Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) - Processos nº 156099/2017 e nº 147970/2018.

Editado por

Editora associada

Taís Freire Galvão - 0000-0003-2072-4834

Editora geral

Leila Posenato Garcia - 0000-0003-1146-2641

Datas de Publicação

  • Publicação nesta coleção
    07 Maio 2021
  • Data do Fascículo
    2021

Histórico

  • Recebido
    27 Jul 2020
  • Aceito
    24 Out 2020
Secretaria de Vigilância em Saúde e Ambiente - Ministério da Saúde do Brasil SRTVN Quadra 701, Via W5 Norte, Lote D, Edifício P0700, CEP: 70719-040, +55 (61) 3315-3464 - Brasília - DF - Brazil
E-mail: revista.saude@saude.gov.br