RESUMO
Objetivo:
verificar as evidências de validade de uma cartilha educativa acerca dos cuidados com acessos vasculares para hemodiálise.
Método:
estudo metodológico estruturado em três vertentes: validação de conteúdo por juízes especialistas com base no cálculo do Índice de Validade de Conteúdo; avaliação de aparência por juízes de design; e aplicação piloto, realizada com a população-alvo, composta por 30 pacientes de uma clínica de nefrologia em Picos, Piauí, Brasil. A coleta de dados ocorreu de dezembro de 2020 a abril de 2021, com análise descritiva e inferencial dos achados.
Resultados:
a versão final da cartilha contou com 32 páginas, cujo Índice de Validade de Conteúdo geral mostrou-se em 0,88, evidenciando sua validade de conteúdo e sinalizando clareza na linguagem, relevância teórica e pertinência prática da tecnologia educacional. Os juízes de design avaliaram a cartilha como adequada ou superior. A média do índice de concordância total do público-alvo foi de 0,99.
Conclusão:
a cartilha educativa demonstrou evidências de validade satisfatórias, baseadas no conteúdo e na aparência, com potencial de utilização na prática clínica.
DESCRITORES:
Diálise renal; Tecnologia educacional; Enfermagem; Estudos de validação
ABSTRACT
Objective:
to verify the validation evidence of an educational booklet focused on the care of patients with vascular accesses for hemodialysis.
Method:
the methodological study was structured into three different aspects: content validity by expert judges based on calculation of the Content Validity Index; face evaluation by design expert judges; and pilot implementation, carried out with the target population, consisting of 30 patients in a nephrology clinic from Picos, Piauí, Brazil. Data collection took place from December 2020 to April 2021, and included a descriptive and inferential analysis of the findings.
Results:
the final version of the booklet had 32 pages, and its overall Content Validity Index was 0.88, thus proving its content validity and indicating clarity of the language, theoretical relevance and practical pertinence of the educational technology. The design expert judges rated the booklet as adequate or as with superior quality. The mean of the overall agreement rate by the target audience was 0.99.
Conclusion:
the educational booklet presented satisfactory validation evidence, based on its face and content, with good potential for use in the clinical practice.
DESCRIPTORS:
Renal dialysis; Educational technology; Nursing; Validation studies
RESUMEN
Objetivo:
verificar las evidencias de validez de un folleto educativo acerca de las precauciones con accesos vasculares para hemodiálisis.
Método:
estudio metodológico estructurado en tres vertientes: validación de contenido a cargo de jueces especialistas sobre la base de calcular el Índice de Validez de Contenido; evaluación del aspecto estético a cargo de jueces especializados en diseño; y aplicación piloto realizada con la población objetivo, compuesta por 30 pacientes de una clínica de Nefrología de Picos, Piauí, Brasil. La recolección de datos tuvo lugar entre diciembre de 2020 y abril de 2021, con análisis descriptivo e inferencial de los hallazgos.
Resultados:
la versión final del folleto tuvo 32 páginas, con un Índice de Validez de Contenido general de 0,88, evidenciando su validez en términos de contenido e indicando claridad en el lenguaje, relevancia teórica y pertinencia práctica de la tecnología educativa. Los jueces especializados en diseño calificaron al folleto al menos como adecuado. El valor medio del índice de concordancia total en la población objetivo fue 0,99.
Conclusión:
el folleto educativo demostró evidencias de validez satisfactorias, basadas en su contenido y apariencia, con potencial para ser usado en la práctica clínica.
DESCRIPTORES:
Diálisis renal; Tecnología educativa; Enfermería; Estudios de validación
INTRODUÇÃO
A Doença Renal Crônica (DRC) afeta 10% da população mundial, e em pessoas com mais de 60 anos a prevalência é maior que 20% e está aumentando progressivamente11. Chevalier RL. Evolution, kidney development, and chronic kidney disease. Semin Cell Dev Biol [Internet]. 2019 [cited 2022 Aug 12];91:119-31. Available from:https://doi.org/10.1016/j.semcdb.2018.05.024
https://doi.org/10.1016/j.semcdb.2018.05...
. No Brasil, percebe-se a dimensão da DRC à medida que a prevalência estimada, em 2018, foi de 640 milhões de pessoas e o número estimado de novos casos foi de 42.546, com um aumento absoluto de 58%22. Neves PDMM, Sesso RCC, Thomé FS, Lugon JR, Nascimento MM. Censo Brasileiro de Diálise: análise de dados da década 2009-2018. Braz J Bras Nefrol [Internet]. 2020 [cited 2022 Aug 20];42(2):191-200. Available from: https://doi.org/10.1590/2175-8239-JBN-2019-0234
https://doi.org/10.1590/2175-8239-JBN-20...
.
O perfil epidemiológico da população brasileira aponta que, em 2016, 122.825 portadores de DRC estavam em Terapia Renal Substitutiva (TRS), e em 2018 esse número aumentou para 133.464. Com relação aos custos causados pela doença, estima-se que o país gasta 1,4 bilhão de reais por ano em diálise e transplantes22. Neves PDMM, Sesso RCC, Thomé FS, Lugon JR, Nascimento MM. Censo Brasileiro de Diálise: análise de dados da década 2009-2018. Braz J Bras Nefrol [Internet]. 2020 [cited 2022 Aug 20];42(2):191-200. Available from: https://doi.org/10.1590/2175-8239-JBN-2019-0234
https://doi.org/10.1590/2175-8239-JBN-20...
-33. Aguiar LK, Prado RR, Gazzinelli A, Malta DC. Fatores associados à doença renal crônica: Inquérito epidemiológico da Pesquisa Nacional de Saúde. Rev Bras Epidemiol [Internet]. 2020 [cited 2023 Jan 15];23:e200044. Available from: https://doi.org/10.1590/1980-549720200044
https://doi.org/10.1590/1980-54972020004...
.
A hemodiálise (HD) é a TRS mais utilizada no tratamento da DRC e requer a utilização de um acesso vascular pérvio, sendo a Fístula Arteriovenosa (FAV) e o Cateter Venoso Central (CVC) os mais utilizados. Para a manutenção dos acessos vasculares e, consequentemente, a qualidade no tratamento e redução de custos para o sistema público de saúde, cuidados devem ser desempenhados em conjunto tanto pela equipe que presta assistência quanto pelos pacientes, para evitar complicações durante o tratamento44. Murea M, Geary R, Davis RP, Moossavi S. Vascular access for hemodialysis: A perpetual challenge. Semin Dial [Internet]. 2019 [cited 2022 Aug 12];32(6):527-34. Available from: http://doi.org/10.1111/sdi.12828
http://doi.org/10.1111/sdi.12828...
.
As complicações relacionadas ao acesso vascular são as principais causas de internamentos de pacientes com DRC que realizam HD, e as limitações causadas pelo acesso vascular afetam sua qualidade de vida55. Lawson JH, Niklason LE, Roy-Chaudhury P. Challenges and novel therapies for vascular access in haemodialysis. Nat Rev Nephrol [Internet]. 2020 [cited 2022 Nov 5];16:586-602. Available from: https://doi.org/10.1038/s41581-020-0333-2
https://doi.org/10.1038/s41581-020-0333-...
, portanto, percebe-se a necessidade de promover o ensino do autocuidado, subsidiando os pacientes a desenvolverem habilidades para realizar ações relacionadas à manutenção do acesso vascular.
A equipe de enfermagem que atua nos serviços de nefrologia conduz o tratamento do paciente de forma direta e diária, devendo realizar rotineiramente capacitações e orientações aos pacientes, identificando as reais necessidades e dificuldades diante do tratamento e orientando estratégias para a realização do autocuidado66. Freitas LR, Pennafort VPS, Mendonça AEO, Pinto FJM, Aguiar LL, Studart RMB. Cartilha para o paciente em diálise renal: Cuidados com cateteres venosos centrais e fístula arteriovenosa. Rev Bras Enferm [Internet]. 2019 [cited 2022 Aug 12];72(4):947-53. Available from: https://doi.org/10.1590/0034-7167-2018-0131
https://doi.org/10.1590/0034-7167-2018-0...
.
Para realizar as práticas educativas com os pacientes em tratamento hemodialítico é fundamental que o enfermeiro utilize metodologias dialógicas para promover o conhecimento necessário ao paciente, fornecendo informações acerca do processo saúde-doença e como reconhecer sinais de alerta para a tomada de decisões adequadas para preservar o acesso vascular. Com isto, capacita sujeitos críticos e autônomos durante seu tratamento77. Clementino DC, Souza AMQ, Barros DCC, Carvalho DMA, Santos CR, Fraga SN. Pacientes em hemodiálise: importância do autocuidado com a fístula arteriovenosa. Rev Enferm UFPE on line [Internet]. 2018 [cited 2022 Aug 12];12(7):1841-52. Available from: https://doi.org/10.5205/1981-8963-v12i7a234970p1841-1852-2018
https://doi.org/10.5205/1981-8963-v12i7a...
-88. Lavich CRP, Terra MG, Arnemann CT, Mello AL, Raddatz M. Educação em saúde e educação permanente: Ações que integram o processo educativo da enfermagem. Rev Baiana Enferm [Internet]. 2018 [cited 2022 Sep 15];32:e24719. Available from: https://periodicos.ufba.br/index.php/enfermagem/article/view/24719
https://periodicos.ufba.br/index.php/enf...
.
Neste sentido, o crescente uso de materiais instrutivos na educação em saúde tem sido uma importante ferramenta na intervenção terapêutica e no processo de ensino-aprendizagem99. Sena JF, Silva IP, Lucena SKP, Oliveira ACS, Costa IKF. Validation of educational material for the care of people with intestinal stoma. Rev Latino-Am Nursing [Internet]. 2020 [cited 2022 Sep 15];28:e3269. Available from: http://doi.org/10.1590/1518-8345.3179.3269
http://doi.org/10.1590/1518-8345.3179.32...
. As cartilhas são exemplos de tecnologias educativas efetivas, pois permitem ao leitor revisitar o material em ocasiões posteriores, como em domicílio, sendo um instrumento facilitador para sanar dúvidas e reforçar orientações verbais que podem ser esquecidas. Dessa forma, melhoram a compreensão e a assimilação do assunto abordado, influenciando diretamente no aprendizado do público-alvo66. Freitas LR, Pennafort VPS, Mendonça AEO, Pinto FJM, Aguiar LL, Studart RMB. Cartilha para o paciente em diálise renal: Cuidados com cateteres venosos centrais e fístula arteriovenosa. Rev Bras Enferm [Internet]. 2019 [cited 2022 Aug 12];72(4):947-53. Available from: https://doi.org/10.1590/0034-7167-2018-0131
https://doi.org/10.1590/0034-7167-2018-0...
.
O processo de construção e validação de cartilhas educativas deve disseminar conhecimentos de base científica, seguindo rigorosamente as etapas metodológicas preestabelecidas para então se tornarem ferramentas inovadoras no processo de educação em saúde no que se refere à promoção do conhecimento e autonomia do paciente em HD. Desta forma, objetivou-se verificar as evidências de validade de uma cartilha educativa acerca dos cuidados com acessos vasculares para hemodiálise.
MÉTODO
Estudo de desenvolvimento de tecnologia educativa com fundamentação em estudos metodológicos que focalizam as tecnologias educacionais aplicáveis em saúde e os percursos para sua construção e validação66. Freitas LR, Pennafort VPS, Mendonça AEO, Pinto FJM, Aguiar LL, Studart RMB. Cartilha para o paciente em diálise renal: Cuidados com cateteres venosos centrais e fístula arteriovenosa. Rev Bras Enferm [Internet]. 2019 [cited 2022 Aug 12];72(4):947-53. Available from: https://doi.org/10.1590/0034-7167-2018-0131
https://doi.org/10.1590/0034-7167-2018-0...
,99. Sena JF, Silva IP, Lucena SKP, Oliveira ACS, Costa IKF. Validation of educational material for the care of people with intestinal stoma. Rev Latino-Am Nursing [Internet]. 2020 [cited 2022 Sep 15];28:e3269. Available from: http://doi.org/10.1590/1518-8345.3179.3269
http://doi.org/10.1590/1518-8345.3179.32...
-1212. Mello N da C, Góes FGB, Pereira-Ávila FMV, Moraes JRMM de, Silva LF da, Silva M da A. Construction and validation of an educational booklet for mobile devices on breastfeeding. Texto Contexto Enferm [Internet]. 2020 [cited 2023 Sep 17];29:e20180492. Available from: https://doi.org/10.1590/1980-265X-TCE-2018-0492
https://doi.org/10.1590/1980-265X-TCE-20...
.
O estudo foi desenvolvido em duas fases: produção e validação da cartilha educativa, as quais incluem as seguintes etapas: elaboração do conteúdo da cartilha, a validação do conteúdo por meio de um instrumento do tipo Escala Likert e, posteriormente, a validação da aparência por especialistas em design, e a aplicação piloto com pacientes de uma clínica de nefrologia no município de Picos, Piauí, Brasil.
O conteúdo da cartilha foi elaborado com base nos resultados de uma revisão integrativa de literatura elaborada e publicada pelos autores1313. Rocha GA, Oliveira AKL, Oliveira FGL, Rodrigues VES, Moura AGS, Sousa EB, et al. Cuidados com o acesso vascular para hemodiálise: revisão integrativa. Rev Cuidarte [Internet]. 2020 [cited 2021 Sep 15];12(3):e2090. Available from: https://doi.org/10.15649/cuidarte.2090
https://doi.org/10.15649/cuidarte.2090...
. O conteúdo versa sobre cuidados específicos com os acessos vasculares utilizados para hemodiálise, como por exemplo, a FAV (lavagem do membro antes da hemodiálise, evitar pegar peso com o braço, não dormir sobre o membro, fazer movimentos de compressão com objeto maleável para maturação do acesso, verificar diariamente a presença do frêmito) e o cateter de duplo lúmen (preservar o curativo do cateter feito no serviço de saúde).
A validação do conteúdo junto aos juízes especialistas ocorreu no período de dezembro de 2020 a janeiro de 2021, de forma virtual, por meio de correio eletrônico. Enviou-se a carta convite contendo o objetivo do estudo e a importância da validação da cartilha, assim como o link de acesso a um formulário eletrônico dividido em três sessões: Termo de Consentimento Livre e Esclarecido (TCLE); primeira versão digital da cartilha; e o instrumento para avaliação, com perguntas referentes ao perfil pessoal e formação profissional, seguido das perguntas relacionadas à cartilha, bem como espaço para comentários e/ou sugestões.
Participaram do estudo juízes de conteúdo com experiência nas temáticas: doença renal crônica, hemodiálise, validação de tecnologias educativas e/ou assistência à pessoa com doença renal crônica em tratamento hemodialítico, e juízes de design, com graduação em design gráfico, direção de arte e técnico em audiovisual.
Esses profissionais foram recrutados utilizando-se a amostragem bola de neve, a qual é recorrente em estudos com população de difícil identificação1414. Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: Avaliação de evidências para a prática de enfermagem. 7th ed. Porto Alegre: Artmed; 2011. O primeiro especialista de conteúdo foi selecionado por meio de consulta à Plataforma Lattes, adicionando-se os termos-chave “hemodiálise”, “tecnologias educativas” e “doença renal crônica”, e os demais especialistas foram subdivididos em juízes docentes/pesquisadores e técnicos/assistenciais, de acordo com sua experiência, atuação e área de interesse1010. Moura JRA, Silva KCB, Rocha AESH, Santos SD, Amorim TRS, Silva ARV. Construction and validation of a booklet to prevent overweight in adolescentes. Acta Paul Enferm [Internet]. 2019 [cited 2022 Aug 12];32(4):365-373. Available from: https://doi.org/10.1590/1982-0194201900051
https://doi.org/10.1590/1982-01942019000...
,1515. Santiago JCS, Moreira TMM. Booklet content validation on excess weight for adults with hypertension. Rev Bras Enferm [Internet]. 2019 [cited 2022 Sep 15];72(1):102-8. Available from: https://doi.org/10.1590/0034-7167-2018-0105
https://doi.org/10.1590/0034-7167-2018-0...
.
Para a validação da aparência foram selecionados profissionais que atenderam a pelo menos um dos seguintes critérios de elegibilidade: ser designer gráfico por formação, possuir atuação prática em sua área ou vertente semelhante (arte, design ou comunicação) há pelo menos um ano e ter participado da avaliação de outros estudos de validação de aparência de materiais.
Em relação ao quantitativo de juízes especialistas, neste estudo foi adotada a fórmula que considera a proporção final dos sujeitos no tocante a determinada variável dicotômica e a diferença máxima aceitável dessa proporção1616. Arango HG. Bioestatística teórica e computacional. 3rd ed. Rio de Janeiro: Guanabara Koogan; 2009. O cálculo foi definido por n=(1,96² *0,85 *0,15)/0,15², obtendo-se assim uma amostra de 22 juízes, mas, para evitar empate, optou-se por trabalhar com 21 juízes, sendo nove docentes/pesquisadores e sete técnicos/enfermeiros assistenciais, totalizando 16 juízes especialistas de conteúdo, e cinco juízes de aparência1717. Vianna HM. Testes em educação. 5th ed. São Paulo: IBRASA; 1982.
Para a validação da cartilha pelos juízes de conteúdo (docentes/pesquisadores e técnicos/assistenciais) foi utilizado um instrumento com os seguintes itens: objetivos; estrutura e apresentação; e relevância. A pontuação adotada para as respostas dos especialistas variou de 1 a 4 pontos, de acordo com a avaliação que melhor representasse o grau de concordância em cada critério avaliado: 1- Inadequado; 2- Parcialmente adequado; 3- Adequado; 4- Totalmente adequado; NA- Não se aplica.
Já para a validação pelos juízes de aparência foi utilizado instrumento adaptado do questionário americano Suitability Assessment of Materials (SAM)1818. Doak CC, Doak LG, Root JH. Teaching patients with low literacy skills. 2nd ed. Philadelphia: J.B. Lippincott; 1996. A pontuação adotada para as respostas variou de 0 a 2, sendo 0- Inadequado; 1-Parcialmente adequado; e 2- Adequado, de acordo com o grau de concordância em cada critério avaliado: conteúdo, estilo de escrita, aparência, motivação e adequação cultural do material educativo.
A avaliação pelo público-alvo ocorreu no período de fevereiro a abril de 2021. Foi utilizada amostragem não probabilística, intencional, e seguiu-se a recomendação de 30 participantes1919. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & Quick DASH Outcome Measures [Internet]. Ontario: Institute for Work & Health; 2007 [cited 2021 Oct 22]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
https://dash.iwh.on.ca/sites/dash/files/...
. A coleta foi realizada no domicílio, permitindo um maior tempo para leitura e análise do material educativo. Devido à crise sanitária ocasionada pela pandemia de COVID-19, os pesquisadores utilizaram equipamentos de proteção individual para a própria segurança e dos participantes durante a coleta de dados.
Para a avaliação da cartilha pelo público-alvo utilizou-se um instrumento adaptado1515. Santiago JCS, Moreira TMM. Booklet content validation on excess weight for adults with hypertension. Rev Bras Enferm [Internet]. 2019 [cited 2022 Sep 15];72(1):102-8. Available from: https://doi.org/10.1590/0034-7167-2018-0105
https://doi.org/10.1590/0034-7167-2018-0...
,1919. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & Quick DASH Outcome Measures [Internet]. Ontario: Institute for Work & Health; 2007 [cited 2021 Oct 22]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
https://dash.iwh.on.ca/sites/dash/files/...
composto por: a) variáveis sociodemográficas e características clínicas relacionadas à DRC; b) itens como organização, estilo de escrita, aparência e motivação. Os participantes marcavam um “X” nas opções de respostas possíveis para cada pergunta: respostas positivas (sim/ fáceis de entender/ claro/ interessantes/ simples); respostas imparciais (em partes/ não sei/ outro); e respostas negativas (não/ difíceis de entender/ confuso/ desinteressante/ complicadas). E na terceira parte foi disponibilizado um espaço para que os participantes pudessem emitir suas opiniões pessoais sobre a cartilha.
O grau de concordância entre os juízes de conteúdo foi calculado pelo Índice de Validade de Conteúdo (IVC), sendo considerados válidos os itens com IVC maior ou igual a 0,701414. Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: Avaliação de evidências para a prática de enfermagem. 7th ed. Porto Alegre: Artmed; 2011,2020. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saúde Coletiva [Internet]. 2011 [cited 2022 Nov 15];7(16):3061-8. Available from: https://doi.org/10.1590/S1413-81232011000800006
https://doi.org/10.1590/S1413-8123201100...
. Para o cálculo do IVC elaborou-se uma planilha eletrônica no software Microsoft Excel®, na qual foram realizadas as análises quanto à concordância entre os juízes.
Para validação da cartilha pelos juízes de design foi calculada a porcentagem de escores obtidos no instrumento SAM. A interpretação do percentual de estimativa do SAM é expressa por: 70-100% (Material superior); 40-69% (Material adequado) ou 0-39% (Material inadequado)1818. Doak CC, Doak LG, Root JH. Teaching patients with low literacy skills. 2nd ed. Philadelphia: J.B. Lippincott; 1996.
A análise pelo público-alvo foi realizada considerando um nível mínimo de concordância de 75% nas respostas positivas entre os participantes1111. Lima ACMACC, Bezerra KC, Sousa DMN, Rocha JF, Oriá MOB. Development and validation of a booklet for prevention of vertical HIV transmission. Acta Paul Enferm [Internet]. 2017 [cited 2022 Dec 1];30(2):181-9. Available from: https://doi.org/10.1590/1982-0194201700028
https://doi.org/10.1590/1982-01942017000...
.
O estudo obteve aprovação do Comitê de Ética em Pesquisa da Universidade Federal do Piauí, e atendeu os requisitos das normas éticas nacionais de pesquisa com seres humanos
RESULTADOS
Participaram da validação de conteúdo da cartilha 16 juízes, sendo nove docentes/pesquisadores e sete técnicos/assistenciais. Os juízes com atuação na docência/pesquisa eram predominantemente do sexo feminino (77,78%), todos enfermeiros, com média de 11 (±5,53) anos de formação. No tocante à titulação, 55,5% possuíam doutorado, e 88,89% apresentavam produções científicas voltadas às tecnologias educativas ou à validação de instrumentos.
Acerca da caracterização dos juízes técnicos com atuação na assistência de enfermagem, 57,1% eram do sexo feminino com média de 7 (±2,79) anos de formação. Sobre a titulação predominaram os especialistas, e 85,7% apresentaram publicações científicas abordando a doença renal crônica, sendo 42,86% acerca de hemodiálise e/ou tecnologias educativas.
Os representantes do público-alvo eram 30 pessoas, a maioria do sexo masculino, entre 60 e 80 anos, com renda de um salário-mínimo, casados e com ensino fundamental incompleto. A maioria realizava o tratamento entre um e cinco anos e possuía como acesso vascular a FAV.
Na etapa de validação do conteúdo foi analisada a valoração atribuída às afirmativas, em seguida realizada a análise total de cada bloco e a análise global do instrumento. Na Tabela 1 observa-se que a valoração da maioria das respostas obteve IVC maior que 0,7 (70%) para todos os itens, indicando a concordância entre as respostas dos juízes. Quanto à avaliação por blocos, verifica-se que estes foram considerados adequados em 93% para os objetivos, 88% para estrutura e apresentação, e 87% para a relevância. Em relação à avaliação global da tecnologia obteve-se 88% de respostas julgando-a adequada. Assim, considerando esses achados, o conteúdo proposto foi considerado validado pelos juízes especialistas, com IVC global igual a 0,88.
Os itens que obtiveram pontuação menor estavam no Bloco 2 “estrutura e apresentação”, referentes aos tópicos: “as ilustrações são expressivas e suficientes”, e “o tamanho do título e dos tópicos está adequado”. Mediante os comentários e as sugestões dos juízes, houve remodelamento no layout e traços das ilustrações, tornando-as mais rebuscadas. Quanto ao tamanho da fonte, utilizou-se títulos com dois pontos maiores que o texto.
Acerca da validação da aparência, os juízes de design consideraram a cartilha como superior, como se observa na Tabela 2 .
Escores da avaliação dos especialistas de design de acordo com o instrumento SAM. Picos, PI, Brasil, 2021. (n=5)
Com o conteúdo da cartilha revisado e validado, deu-se seguimento à aplicação piloto com o público-alvo. A partir dos dados obtidos, verificou-se na Tabela 3 que não houve respostas negativas nos itens avaliados pelos pacientes. Dentre os 13 itens avaliados, 11 obtiveram 100% de concordância positiva e apenas dois itens tiveram respostas imparciais, no entanto, esses participantes não fizeram sugestões ou comentários sobre esses aspectos. A média do índice de concordância total foi de 0,99.
Após a validação de conteúdo e aparência, a versão da cartilha foi finalizada com 32 páginas, intitulada: Cuidados com acessos vasculares para hemodiálise: o que você precisa saber?, em formato livreto, com folha A4 dobrada ao meio, impressa em papel couchê, com capa, apresentação, ficha catalográfica, sumário, e os itens: O que é hemodiálise e para que serve?; Acessos vasculares para hemodiálise; Vamos conhecer mais sobre os tipos de acessos vasculares para hemodiálise?; Cuidados com fístula arteriovenosa e prótese no serviço de saúde; Atenção! O braço do acesso vascular não deve ser utilizado nas seguintes situações!; Cuidados com cateter no serviço de saúde; Cuidados com fístula arteriovenosa e prótese no domicílio; Cuidados com cateter no domicílio; Vamos relembrar alguns cuidados para o bom funcionamento dos acessos vasculares para hemodiálise?; Vamos aprender um pouco sobre os sinais de infecção?; Sinais de alerta; Vamos praticar?; Encontre os 7 erros!; Referências; Anotações. No link1 1 https://drive.google.com/file/d/1ye9MCHkltOVIDM4wxUJlOQ5xIBei_Z5i/view?usp=sharing tem-se a versão elaborada da cartilha.
DISCUSSÃO
O IVC geral da cartilha totalizou 0,88, apresentando resultados semelhantes a outros estudos que obtiveram pontuações maiores que 0,802121. Rodrigues LN, Santos AS, Gomes PPS, Silva WCP, Chaves EM. Construction and validation of an educational booklet on care for children with gastrostomy. Rev Bras Enferm [Internet]. 2020 [cited 2022 Aug 12];73(3):e20190108. Available from: http://doi.org/10.1590/0034-7167-2019-0108
http://doi.org/10.1590/0034-7167-2019-01...
-2222. Cunha MBS, Frota KC, Ponte KMA, Felix TA. Construction and validation of an educational booklet to provide care for snakebite victims. Rev Gaúcha Enferm [Internet]. 2020 [cited 2023 Mar 15];41:e20190467. Available from: https://doi.org/10.1590/1983-1447.2020.20190467
https://doi.org/10.1590/1983-1447.2020.2...
. Outro estudo que validou uma cartilha obteve IVC de 0,70, e ao constatar que alguns aspectos não atingiram o índice de concordância esperado foram necessárias diversas reformulações de linguagem e aparência2323. Wild CFW, Nietsche E, Salbego C, Teixeira E, Favero NB. Validation of educational booklet: An educational technology in dengue prevention. Rev Bras Enferm [Internet]. 2019 [cited 2023 Mar 15];72:1318-25. Available from: http://doi.org/10.1590/0034-7167-2018-0771
http://doi.org/10.1590/0034-7167-2018-07...
.
As etapas de validação junto aos especialistas e com o público-alvo são complementares e interdependentes. Durante a avaliação dos juízes é possível corrigir incoerências, preencher lacunas e aprimorar o material educativo. Admitir a inclusão de saberes dos profissionais que avaliam criticamente a cartilha é uma estratégia essencial para culminar em um material que corresponda às necessidades reais do público a quem se destina. Nesse sentido, é recorrente em estudos metodológicos a necessidade de realizar adequações nos materiais validados, mediante ajuste de informações, exclusão de termos técnicos ou confusos e reformulação de ilustrações2424. Moura JR, Silva KC, Rocha AE, Santos SD, Amorim TR, Silva AR. Construção e validação de cartilha para prevenção do excesso ponderal em adolescentes. Acta Paul Enferm [Internet]. 2019 [cited 2022 Aug 12];32(4):365-73. Available from: https://doi.org/10.1590/1982-0194201900051
https://doi.org/10.1590/1982-01942019000...
.
Na cartilha validada neste estudo as principais reformulações apontadas pelos especialistas foram referentes ao tamanho da letra utilizada e acerca das ilustrações, itens em que a pontuação do IVC foi mais baixa. Neste sentido, com base em um guia que propõe orientações e contribuições do design da informação para elaboração de materiais educativos impressos no âmbito da saúde, foram incorporadas modificações, como por exemplo, a padronização da letra e o atendimento à ideia de unidade visual e ligação dos elementos na mesma página. Isto torna o material visualmente limpo e organiza seus elementos, com ilustrações que exprimem ideias semelhantes próximas, facilitando o entendimento do leitor2525. Freitas RF, Waechter HN, Coutinho SG, Gubert FA. Validação de aspectos semânticos em diretrizes para elaboração de Materiais Educativos Impressos para Promoção da Saúde: contribuição do Design da Informação. InfoDesign [Internet]. 2020 [cited 2023 Aug 19];17(1):152-69. Available from: https://doi.org/10.51358/id.v17i1.759
https://doi.org/10.51358/id.v17i1.759...
.
É importante salientar que o conteúdo da cartilha foi validado por enfermeiros, o que contribuiu para a proposição de um material educativo adequado tanto para fornecer elucidações ao público-alvo quanto para ser uma ferramenta de apoio aos profissionais de enfermagem durante as ações de educação em saúde66. Freitas LR, Pennafort VPS, Mendonça AEO, Pinto FJM, Aguiar LL, Studart RMB. Cartilha para o paciente em diálise renal: Cuidados com cateteres venosos centrais e fístula arteriovenosa. Rev Bras Enferm [Internet]. 2019 [cited 2022 Aug 12];72(4):947-53. Available from: https://doi.org/10.1590/0034-7167-2018-0131
https://doi.org/10.1590/0034-7167-2018-0...
.
As contribuições dos juízes de design/marketing também foram de grande valia, como por exemplo, a transformação do estilo flat das ilustrações, caracterizado por traços mais simplificados e minimalistas, para uma conformação visual mais rebuscada e atrativa. Assim, todo o conteúdo de design gráfico da cartilha foi reformulado. O uso do negrito e o destaque de palavras-chave também foram padronizados.
A importância de desenvolver um material educativo voltado aos pacientes que realizam hemodiálise e necessitam desenvolver cuidados com os acessos vasculares demonstra-se pelo fato de que muitos deles possuem baixa compreensão acerca da cronicidade da própria patologia e sobre quais cuidados são requeridos, negligenciando o autocuidado2626. Poorgholami F, Abdollahifard S, Zamani M, Kargar Jahromi M, Badiyepeyma Jahromi Z. The effect of stress management training on hope in hemodialysis patients. Glob J Health Sci [Internet]. 2016 [cited 2022 Aug 12];8(7):165-71. Available from: http://doi.org/10.5539/gjhs.v8n7p165
http://doi.org/10.5539/gjhs.v8n7p165...
.
Corrobora tal perspectiva um estudo multicêntrico chinês, que avaliou o autocuidado de pacientes em hemodiálise com a FAV e concluiu que o nível foi considerado baixo e moderado, sugerindo que seja melhorado através de orientações específicas dadas por enfermeiros2727. Yang MM, Zhao HH, Ding XQ, Zhu GH, Yang ZH, Ding L, et al. Self care behavior of hemodialysis patients with arteriovenous fistula in China: A multicenter, cross sectional study. Ther Apher Dial [Internet]. 2018 [cited 2023 Feb 15];23(2):167-72. Available from: https://doi.org/10.1111/1744-9987.12770
https://doi.org/10.1111/1744-9987.12770...
. Assim, é vigente a necessidade de implementar estratégias eficazes de orientação ao paciente em seu tratamento, estimulando a adesão dos cuidados com o acesso vascular hemodialítico.
Para mensurar se uma tecnologia educacional alcançou os objetivos de atender às necessidades do público-alvo, a opinião dos indivíduos faz-se substancial e repercute em uma avaliação satisfatória ou inconsistente. Neste sentido, a avaliação da presente cartilha pelos sujeitos demonstrou concordância acima do percentual mínimo estabelecido, com avaliação positiva do material quanto à organização, estilo de escrita, aparência e motivação. Esse resultado foi semelhante a outro estudo em que foi desenvolvida e validada uma cartilha educacional para promover estilos de vida saudáveis em pessoas com HIV, e o público-alvo considerou a linguagem e as ilustrações adequadas2828. Fontenele MSM, Cunha GH, Lopes MVO, Siqueira LR, Lima MAC, Moreira LA. Development and evaluation of a booklet to promote healthy lifestyle in people with HIV. Rev Bras Enferm [Internet]. 2021 [cited 2023 Mar 15];74(Suppl 5):e20200113. Available from: https://doi.org/10.1590/0034-7167-2020-0113
https://doi.org/10.1590/0034-7167-2020-0...
.
Os materiais educativos devem contemplar as características dos pacientes, tais como estar adequados ao nível sociocultural, conter informações pertinentes e abordadas de forma criativa e atrativa ao leitor2929. Cardoso RSS, Sá SPC, Domingos AM, Sabóia VM, Maia TN, Padilha JMFO, et al. Educational technology: A facilitating instrument for the elderly care. Rev Bras Enferm [Internet]. 2018 [cited 2021 Oct 21];71(Suppl 2):786-92. Available from: http://doi.org/10.1590/0034-7167-2017-0129
http://doi.org/10.1590/0034-7167-2017-01...
. Importância dada em representar o cotidiano dos indivíduos, pois quando há relação de confiança e proximidade com sua realidade, é despertado o interesse em aderir às proposições educativas e, consequentemente, tornar-se mais propensos a adotar novos comportamentos3030. Grudniewicz A, Bhattacharyya O, McKibbon KA, Straus SE. Redesigning printed educational materials for primary care physicians: design improvements increase usability. Implement Sci [Internet]. 2015 [cited 2022 Aug 20];10:156. Available from: http://doi.org/10.1186/s13012-015-0339-5
http://doi.org/10.1186/s13012-015-0339-5...
.
Considera-se que a média geral de avaliação da presente cartilha pelo público-alvo tenha alcançado a alta concordância (média do índice de concordância total de 0,99), pois foi desenvolvida pensando-se em uma sequência lógica de conteúdos, apresentados em linguagem acessível. Foram evitados termos técnicos para explicar os conceitos com o uso de textos e ilustrações complementares, organizados de forma a atrair o interesse e atenção do leitor. Ressalta-se que para os pesquisadores atingirem essa compreensão de como o material deveria ser finalizado, a etapa de validação com especialistas feita previamente serviu como importante direcionamento. Dessa forma, destaca-se a importância de concluir as etapas de validação interna e externa, ambas sendo sequenciais, complementares e interdependentes no preenchimento de lacunas, pois essa medida, posteriormente, favorece o aceite do público.
A presente cartilha educativa assume, portanto, importância no suporte educacional aos pacientes em terapia hemodialítica, pois aborda de maneira holística e objetiva os aspectos que vão desde a explicação do que é hemodiálise e para que serve, os tipos de acessos vasculares, até os cuidados com os acessos no serviço de saúde e em domicílio, bem como situações em que o membro do acesso vascular não deve ser utilizado para prevenir complicações, sinais de infecção e sinais de alerta. A abordagem de ensino segue com uma linguagem acessível, toda ilustrada e com tópicos que remetem a itens anteriores, de forma a recapitular e memorizar o que já foi explicado, assim como jogos de fixação adequados ao público-alvo adulto. Assim, pode ser difundida em formato impresso ou em Formato Portátil de Documento (PDF).
O estudo apresenta como limitação a não realização da validação clínica da tecnologia educacional, a qual será realizada a posteriori. Ademais, cita-se como dificuldade o alto custo de replicar o material impresso em grandes volumes e disponibilizar para pacientes que não poderão ter acesso ao recurso de forma on-line.
Destarte, este estudo contribui para o avanço na área da saúde e enfermagem, pois trata-se de um estudo metodológico com a produção de conhecimentos de enfermagem com criatividade e rigor científico. Traz inovação no contexto dos cuidados de enfermagem ao paciente com DRC com novas formas de pensar e gerenciar o cuidado educativo, o que proporciona um ambiente inovador para o ensino-aprendizagem, favorecendo a adesão do paciente ao tratamento, com autonomia e aumento da qualidade de vida.
CONCLUSÃO
A cartilha educativa denominada “Cuidados com acessos vasculares para hemodiálise: o que você precisa saber?”, demonstrou evidências de validade satisfatórias, baseadas no conteúdo e na aparência.
Constitui-se em uma tecnologia educativa com potencial de utilização na prática clínica. Pode ser utilizada pela equipe de enfermagem com foco na educação em saúde do paciente em diálise e de seus familiares, visando à promoção do autocuidado e, consequentemente, à diminuição das complicações decorrentes do manejo incorreto dos acessos vasculares.
REFERENCES
- 1. Chevalier RL. Evolution, kidney development, and chronic kidney disease. Semin Cell Dev Biol [Internet]. 2019 [cited 2022 Aug 12];91:119-31. Available from:https://doi.org/10.1016/j.semcdb.2018.05.024
» https://doi.org/10.1016/j.semcdb.2018.05.024 - 2. Neves PDMM, Sesso RCC, Thomé FS, Lugon JR, Nascimento MM. Censo Brasileiro de Diálise: análise de dados da década 2009-2018. Braz J Bras Nefrol [Internet]. 2020 [cited 2022 Aug 20];42(2):191-200. Available from: https://doi.org/10.1590/2175-8239-JBN-2019-0234
» https://doi.org/10.1590/2175-8239-JBN-2019-0234 - 3. Aguiar LK, Prado RR, Gazzinelli A, Malta DC. Fatores associados à doença renal crônica: Inquérito epidemiológico da Pesquisa Nacional de Saúde. Rev Bras Epidemiol [Internet]. 2020 [cited 2023 Jan 15];23:e200044. Available from: https://doi.org/10.1590/1980-549720200044
» https://doi.org/10.1590/1980-549720200044 - 4. Murea M, Geary R, Davis RP, Moossavi S. Vascular access for hemodialysis: A perpetual challenge. Semin Dial [Internet]. 2019 [cited 2022 Aug 12];32(6):527-34. Available from: http://doi.org/10.1111/sdi.12828
» http://doi.org/10.1111/sdi.12828 - 5. Lawson JH, Niklason LE, Roy-Chaudhury P. Challenges and novel therapies for vascular access in haemodialysis. Nat Rev Nephrol [Internet]. 2020 [cited 2022 Nov 5];16:586-602. Available from: https://doi.org/10.1038/s41581-020-0333-2
» https://doi.org/10.1038/s41581-020-0333-2 - 6. Freitas LR, Pennafort VPS, Mendonça AEO, Pinto FJM, Aguiar LL, Studart RMB. Cartilha para o paciente em diálise renal: Cuidados com cateteres venosos centrais e fístula arteriovenosa. Rev Bras Enferm [Internet]. 2019 [cited 2022 Aug 12];72(4):947-53. Available from: https://doi.org/10.1590/0034-7167-2018-0131
» https://doi.org/10.1590/0034-7167-2018-0131 - 7. Clementino DC, Souza AMQ, Barros DCC, Carvalho DMA, Santos CR, Fraga SN. Pacientes em hemodiálise: importância do autocuidado com a fístula arteriovenosa. Rev Enferm UFPE on line [Internet]. 2018 [cited 2022 Aug 12];12(7):1841-52. Available from: https://doi.org/10.5205/1981-8963-v12i7a234970p1841-1852-2018
» https://doi.org/10.5205/1981-8963-v12i7a234970p1841-1852-2018 - 8. Lavich CRP, Terra MG, Arnemann CT, Mello AL, Raddatz M. Educação em saúde e educação permanente: Ações que integram o processo educativo da enfermagem. Rev Baiana Enferm [Internet]. 2018 [cited 2022 Sep 15];32:e24719. Available from: https://periodicos.ufba.br/index.php/enfermagem/article/view/24719
» https://periodicos.ufba.br/index.php/enfermagem/article/view/24719 - 9. Sena JF, Silva IP, Lucena SKP, Oliveira ACS, Costa IKF. Validation of educational material for the care of people with intestinal stoma. Rev Latino-Am Nursing [Internet]. 2020 [cited 2022 Sep 15];28:e3269. Available from: http://doi.org/10.1590/1518-8345.3179.3269
» http://doi.org/10.1590/1518-8345.3179.3269 - 10. Moura JRA, Silva KCB, Rocha AESH, Santos SD, Amorim TRS, Silva ARV. Construction and validation of a booklet to prevent overweight in adolescentes. Acta Paul Enferm [Internet]. 2019 [cited 2022 Aug 12];32(4):365-373. Available from: https://doi.org/10.1590/1982-0194201900051
» https://doi.org/10.1590/1982-0194201900051 - 11. Lima ACMACC, Bezerra KC, Sousa DMN, Rocha JF, Oriá MOB. Development and validation of a booklet for prevention of vertical HIV transmission. Acta Paul Enferm [Internet]. 2017 [cited 2022 Dec 1];30(2):181-9. Available from: https://doi.org/10.1590/1982-0194201700028
» https://doi.org/10.1590/1982-0194201700028 - 12. Mello N da C, Góes FGB, Pereira-Ávila FMV, Moraes JRMM de, Silva LF da, Silva M da A. Construction and validation of an educational booklet for mobile devices on breastfeeding. Texto Contexto Enferm [Internet]. 2020 [cited 2023 Sep 17];29:e20180492. Available from: https://doi.org/10.1590/1980-265X-TCE-2018-0492
» https://doi.org/10.1590/1980-265X-TCE-2018-0492 - 13. Rocha GA, Oliveira AKL, Oliveira FGL, Rodrigues VES, Moura AGS, Sousa EB, et al. Cuidados com o acesso vascular para hemodiálise: revisão integrativa. Rev Cuidarte [Internet]. 2020 [cited 2021 Sep 15];12(3):e2090. Available from: https://doi.org/10.15649/cuidarte.2090
» https://doi.org/10.15649/cuidarte.2090 - 14. Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: Avaliação de evidências para a prática de enfermagem. 7th ed. Porto Alegre: Artmed; 2011
- 15. Santiago JCS, Moreira TMM. Booklet content validation on excess weight for adults with hypertension. Rev Bras Enferm [Internet]. 2019 [cited 2022 Sep 15];72(1):102-8. Available from: https://doi.org/10.1590/0034-7167-2018-0105
» https://doi.org/10.1590/0034-7167-2018-0105 - 16. Arango HG. Bioestatística teórica e computacional. 3rd ed. Rio de Janeiro: Guanabara Koogan; 2009
- 17. Vianna HM. Testes em educação. 5th ed. São Paulo: IBRASA; 1982
- 18. Doak CC, Doak LG, Root JH. Teaching patients with low literacy skills. 2nd ed. Philadelphia: J.B. Lippincott; 1996
- 19. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & Quick DASH Outcome Measures [Internet]. Ontario: Institute for Work & Health; 2007 [cited 2021 Oct 22]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
» https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf - 20. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saúde Coletiva [Internet]. 2011 [cited 2022 Nov 15];7(16):3061-8. Available from: https://doi.org/10.1590/S1413-81232011000800006
» https://doi.org/10.1590/S1413-81232011000800006 - 21. Rodrigues LN, Santos AS, Gomes PPS, Silva WCP, Chaves EM. Construction and validation of an educational booklet on care for children with gastrostomy. Rev Bras Enferm [Internet]. 2020 [cited 2022 Aug 12];73(3):e20190108. Available from: http://doi.org/10.1590/0034-7167-2019-0108
» http://doi.org/10.1590/0034-7167-2019-0108 - 22. Cunha MBS, Frota KC, Ponte KMA, Felix TA. Construction and validation of an educational booklet to provide care for snakebite victims. Rev Gaúcha Enferm [Internet]. 2020 [cited 2023 Mar 15];41:e20190467. Available from: https://doi.org/10.1590/1983-1447.2020.20190467
» https://doi.org/10.1590/1983-1447.2020.20190467 - 23. Wild CFW, Nietsche E, Salbego C, Teixeira E, Favero NB. Validation of educational booklet: An educational technology in dengue prevention. Rev Bras Enferm [Internet]. 2019 [cited 2023 Mar 15];72:1318-25. Available from: http://doi.org/10.1590/0034-7167-2018-0771
» http://doi.org/10.1590/0034-7167-2018-0771 - 24. Moura JR, Silva KC, Rocha AE, Santos SD, Amorim TR, Silva AR. Construção e validação de cartilha para prevenção do excesso ponderal em adolescentes. Acta Paul Enferm [Internet]. 2019 [cited 2022 Aug 12];32(4):365-73. Available from: https://doi.org/10.1590/1982-0194201900051
» https://doi.org/10.1590/1982-0194201900051 - 25. Freitas RF, Waechter HN, Coutinho SG, Gubert FA. Validação de aspectos semânticos em diretrizes para elaboração de Materiais Educativos Impressos para Promoção da Saúde: contribuição do Design da Informação. InfoDesign [Internet]. 2020 [cited 2023 Aug 19];17(1):152-69. Available from: https://doi.org/10.51358/id.v17i1.759
» https://doi.org/10.51358/id.v17i1.759 - 26. Poorgholami F, Abdollahifard S, Zamani M, Kargar Jahromi M, Badiyepeyma Jahromi Z. The effect of stress management training on hope in hemodialysis patients. Glob J Health Sci [Internet]. 2016 [cited 2022 Aug 12];8(7):165-71. Available from: http://doi.org/10.5539/gjhs.v8n7p165
» http://doi.org/10.5539/gjhs.v8n7p165 - 27. Yang MM, Zhao HH, Ding XQ, Zhu GH, Yang ZH, Ding L, et al. Self care behavior of hemodialysis patients with arteriovenous fistula in China: A multicenter, cross sectional study. Ther Apher Dial [Internet]. 2018 [cited 2023 Feb 15];23(2):167-72. Available from: https://doi.org/10.1111/1744-9987.12770
» https://doi.org/10.1111/1744-9987.12770 - 28. Fontenele MSM, Cunha GH, Lopes MVO, Siqueira LR, Lima MAC, Moreira LA. Development and evaluation of a booklet to promote healthy lifestyle in people with HIV. Rev Bras Enferm [Internet]. 2021 [cited 2023 Mar 15];74(Suppl 5):e20200113. Available from: https://doi.org/10.1590/0034-7167-2020-0113
» https://doi.org/10.1590/0034-7167-2020-0113 - 29. Cardoso RSS, Sá SPC, Domingos AM, Sabóia VM, Maia TN, Padilha JMFO, et al. Educational technology: A facilitating instrument for the elderly care. Rev Bras Enferm [Internet]. 2018 [cited 2021 Oct 21];71(Suppl 2):786-92. Available from: http://doi.org/10.1590/0034-7167-2017-0129
» http://doi.org/10.1590/0034-7167-2017-0129 - 30. Grudniewicz A, Bhattacharyya O, McKibbon KA, Straus SE. Redesigning printed educational materials for primary care physicians: design improvements increase usability. Implement Sci [Internet]. 2015 [cited 2022 Aug 20];10:156. Available from: http://doi.org/10.1186/s13012-015-0339-5
» http://doi.org/10.1186/s13012-015-0339-5
-
1
https://drive.google.com/file/d/1ye9MCHkltOVIDM4wxUJlOQ5xIBei_Z5i/view?usp=sharing
NOTAS
-
ORIGEM DO ARTIGO
Extraído do Projeto de Pesquisa - Construção e validação de uma tecnologia educativa acerca dos cuidados com acessos vasculares para terapia hemodialítica, desenvolvido na Universidade Federal do Piauí - Campus Senador Helvídio Nunes de Barros - Departamento de Enfermagem/Curso de Enfermagem, apresentado em 2022. -
FINANCIAMENTO
Projeto financiado pela Fundação de Amparo à Pesquisa do Estado do Piauí (FAPEPI) (Nº do processo: 5198.UNI253.56796.10052018). -
APROVAÇÃO DE COMITÊ DE ÉTICA EM PESQUISA
Aprovado no Comitê de Ética em Pesquisa da Universidade Federal do Piauí (UFPI), Campus Senador Helvídio Nunes de Barros, parecer n. 2.668.544, Certificado de Apresentação para Apreciação Ética 89268518.1.0000.8057.
Editado por
EDITORES
Datas de Publicação
-
Publicação nesta coleção
18 Dez 2023 -
Data do Fascículo
2023
Histórico
-
Recebido
22 Ago 2023 -
Aceito
02 Out 2023