Elaboração e validação do Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias

RESUMO

Objetivo:

elaborar e validar o Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias.

Métodos:

estudo metodológico, desenvolvido em três etapas: estruturação do instrumento por meio de pesquisa documental e da expertise dos pesquisadores; validação do instrumento com painel de 11 enfermeiros juízes especialistas; e composição final do instrumento.

Resultados:

o instrumento, após a validação por especialistas, foi composto por 30 itens, divididos entre os domínios conteúdo (26 itens) e aparência (quatro itens). No processo de validação do instrumento inicial, 11 itens sofreram modificação e sete foram retirados, pois apresentaram percentual de concordância inferior a 0,80. O instrumento apresentou ótima consistência interna, com valores superiores a 0,90 em seus critérios psicométricos.

Conclusões:

o instrumento produzido e validado voltado à avaliação de modelos metodológicos de pesquisa para o desenvolvimento tecnológico apresentou boa confiabilidade, podendo contribuir no rigor metodológico das pesquisas de desenvolvimento tecnológico em enfermagem.

Descritores:
Psicometria; Inquéritos e Questionários; Pesquisa Metodológica em Enfermagem; Desenvolvimento Tecnológico; Enfermagem

ABSTRACT

Objective:

to elaborate and validate the Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias.

Methods:

a methodological study, developed in three stages: instrument structuring through documentary research and researchers’ expertise; instrument validity with a panel of 11 expert judge nurses; and instrument final composition.

Results:

the instrument, after validity by experts, consisted of 30 items, divided into the content (26 items) and appearance (four items) domains. In the initial instrument validity process, 11 items were modified and seven were withdrawn, as they had a percentage of agreement below 0.80. The instrument showed excellent internal consistency, with values greater than 0.90 in its psychometric criteria.

Conclusion:

the instrument produced and validated aimed at assessing research methodological models for technological development showed good reliability, and may contribute to the methodological rigor of technological development research in nursing.

Descriptors:
Psychometrics; Surveys and Questionnaires; Nursing Methodology Research; Technological Development; Nursing

RESUMEN

Objetivo:

elaborar y validar el Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias.

Métodos:

estudio metodológico, desarrollado en tres etapas: estructuración de instrumentos a través de la investigación documental y la pericia de los investigadores; validación del instrumento con un panel de 11 enfermeros jueces expertos; y composición final del instrumento.

Resultados:

el instrumento, después de la validación por especialistas, constó de 30 ítems, divididos en los dominios contenido (26 ítems) y apariencia (cuatro ítems). En el proceso de validación del instrumento inicial, se modificaron 11 ítems y se retiraron siete, por tener un porcentaje de concordancia inferior a 0,80. El instrumento mostró una excelente consistencia interna, con valores superiores a 0,90 en sus criterios psicométricos.

Conclusión:

el instrumento producido y validado para evaluar modelos metodológicos de investigación para el desarrollo tecnológico mostró buena confiabilidad, y puede contribuir al rigor metodológico de la investigación en desarrollo tecnológico en enfermería.

Descriptores:
Psicometría; Encuestas y Cuestionarios; Investigación Metodológica en Enfermería; Desarrollo Tecnológico; Enfermería

INTRODUÇÃO

A enfermagem tem, ao longo dos anos, demonstrado inúmeros esforços para atender às necessidades de saúde dos seus clientes em diferentes contextos sociais, de modo a se envolver, cada vez mais, nas relações de cuidado. Para acompanhar a evolução da sociedade em tempos de globalização e promover transformações nas práticas de cuidado, gestão e ensino, dedica-se ao desenvolvimento tecnológico(¹).

A produção de tecnologia implica a organização de um conjunto de conhecimentos científicos e prático-cotidianos que, quando sistematizados, auxiliam no “processo de concepção, elaboração, planejamento, execução/operacionalização e manutenção de produtos e processos tecnológicos produzidos, validados e avaliados pelo ser humano, com finalidades práticas específicas”(2:52). Esse contexto de produção tecnológica necessita estar envolto por um sistema dinâmico de relações (pessoa-pessoa, pessoa-universo), permitindo um processo criativo sob perspectivas dialógica, crítica, reflexiva, ética, social e transformadora, individual e coletiva(³).

Desenvolver tecnologias no âmbito da enfermagem compreende construir, validar e avaliar produtos e processos emergentes a partir da apreensão da práxis do homem, com vistas à solução de problemas práticos. Caracteriza-se na relação teoria e prática e na interpretação e aplicação de proposições inovadoras capazes de contribuir com a transformação social(³-⁴).

Para o alcance de ferramentas válidas, usuais e efetivas às necessidades emergentes do processo de trabalho da enfermagem, pesquisadores buscam inovar seus estudos utilizando modelos e métodos de pesquisa construídos com foco no objeto de investigação. Esses métodos compreendem estruturas sistemáticas para o planejamento lógico e ordenado da investigação científica, permitindo instrumentalizar pesquisadores em como responder ao objeto de pesquisa(⁵). Quanto aos modelos metodológicos, constituem representações ou abstrações do que se quer fazer, norteando a instanciação e a sequência do que fazer(⁶). Contudo, a criação empírica de etapas metodológicas distanciadas de modelos ou métodos de pesquisas já validados e/ou testados pode trazer às investigações vieses importantes, comprometendo os resultados, bem como a qualidade das evidências científicas.

Assim, torna-se importante inserir nos meios acadêmicos instrumentos que auxiliem na validade interna do conteúdo e aparência de modelos e métodos de pesquisa com foco no desenvolvimento metodológico, permitindo maior confiabilidade e validade investigativa. Dessa forma, evitam-se adaptações metodológicas banalizadoras e se otimiza o tempo dos pesquisadores na condução das pesquisas.

Sob esse problema, tornam-se emergentes modelos metodológicos autocriados para determinada pesquisa que estejam ancorados na utilização de instrumentos confiáveis, fidedignos e válidos. A partir dessa prerrogativa, permite reduzir a possibilidade de vieses de pesquisa, tal como julgamentos subjetivos e inferências equivocadas(⁷). Para tanto, reconhecer a qualidade dos instrumentos garante a legitimidade e a credibilidade dos resultados da pesquisa. Assim, a criação de um instrumento específico para avaliar a estrutura metodológica aplicada à construção de tecnologias em saúde é uma lacuna no conhecimento em saúde, especialmente na enfermagem, que demonstra cotidianamente a evolução teórico-prática na produção tecnológica.

Considerando esse pressuposto, propõe-se, neste estudo, elaborar uma ferramenta que possibilite a pesquisadores analisar o desenho metodológico aplicado às pesquisas, com o objetivo de desenvolver tecnologias, auxiliando em sua validade interna. É crescente o número de trabalhos disponíveis nos meios acadêmicos de enfermagem e saúde propondo a construção, validação e/ou avaliação de tecnologias. Esses têm utilizados variados modelos de pesquisa, buscando, muitas vezes, referenciais de outras áreas(⁸-⁹) para subsidiá-los. Contudo, observa-se como lacuna do conhecimento produzido pela enfermagem a produção de tecnologias, ignorando a realidade concreta de um cenário/população, valendo-se apenas de elementos disponíveis na literatura. Também, notam-se desenhos metodológicos ado-tados revelando tendências teóricas, operacionais e analíticas(⁴).

Sob essa tensão entre atender o avanço da ciência, desenvolver tecnologias considerando a práxis do público-alvo e oferecer maior confiabilidade aos desenhos de pesquisa adotados, a presente pesquisa questionou: quais itens são necessários para compor um instrumento para avaliação de modelos metodológicos construídos para o desenvolvimento de tecnologias?

Observa-se na literatura científica ausência de instrumento capaz de auxiliar pesquisadores na validação do conteúdo e aparência de modelos metodológicos elaborados para a condução de suas pesquisas. Com esse pensar, torna-se viável a construção e validação de uma ferramenta capaz de subsidiar a qualidade metodológica dos estudos de desenvolvimento de tecnologias.

OBJETIVO

Elaborar e validar o Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias (IAMDT).

MÉTODOS

Aspectos éticos

A pesquisa está vinculada ao projeto matricial intitulado “Modelo Práxico para o Desenvolvimento de Tecnologias em Enfermagem: construção e validação na enfermagem”. O estudo atendeu às prerrogativas éticas envolvendo pesquisas com seres humanos, obtendo aprovação pelo Comitê de Ética em Pesquisa em 2021. Os juízes especialistas participantes foram esclarecidos quanto aos objetivos da investigação e à natureza da coleta de dados. Aqueles que concordaram com a participação assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). Foram garantidos o anonimato e a confidencialidade de todos, sendo informada a possibilidade de desistência, sem qualquer prejuízo.

Desenho, período e local do estudo

Trata-se de uma pesquisa metodológica com foco na elaboração e validação do conteúdo de um instrumento de medida para modelos metodológicos voltados ao desenvolvimento de tecnologias. Os resultados estão organizados com base nos preceitos do Guidelines for Reporting Reliability and Agreement Studies (GRRAS).

A produção foi guiada pelas seguintes etapas: (1) estruturação dos itens; (2) validação do conteúdo do instrumento; (3) composição final do instrumento.

O instrumento foi construído e validado entre fevereiro e maio de 2022. A etapa dois foi realizada de modo remoto através das ferramentas Google Forms, WhatsApp e e-mail, para estabelecer contato com os juízes especialistas.

População; critérios de inclusão e exclusão

Onze juízes especialistas participaram da validação do conteúdo do IAMDT, atendendo aos seguintes critérios de inclusão: ser doutor(a) em enfermagem; ter desenvolvido pesquisa sobre desenvolvimento de tecnologias e/ou instrumentos de medida; ter orientado pesquisas com foco nestas áreas. Assim, integraram seis juízes com expertise no desenvolvimento de tecnologias e cinco da área de instrumentos de medida. A busca ocorreu por meio de consulta aos currículos disponíveis na Plataforma Lattes da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), publicações em periódicos ou por indicação de especialistas.

Protocolo do estudo

A elaboração do instrumento foi conduzida por meio de três etapas.

Etapa 1 - Estruturação dos itens do instrumento

Essa etapa foi conduzida por meio de pesquisa documental(¹⁰) no Catálogo de Teses e Dissertações da CAPES, com vistas a mapear teses e dissertações de enfermagem com enfoque no desenvolvimento tecnológico. As buscas ocorreram no portal, utilizando-se os termos “Enfermagem” AND “Tecnologia” e apli-cando-se os filtros “mestrado (dissertação)”, “doutorado (tese)” e “enfermagem” como área do conhecimento, não sendo estabelecido recorte temporal. O processo foi realizado em fevereiro de 2020.

O estudo teve a seguinte indagação: qual a sistemática metodológica para o desenvolvimento participativo de tecnologias em enfermagem empregada em teses e dissertações brasileiras?

Os critérios para a inclusão dos estudos nesta etapa foram teses e dissertações produzidas por enfermeiros em Programas de Pós-Graduação Acadêmico e Profissional, propondo o desenvolvimento tecnológico (construção, validação e/ou avaliação) a partir de demandas emergentes do contexto de estudo, ou seja, propostas advindas/pensadas/elaboradas a partir da práxis do público-alvo. Assim, foram incluídas aquelas nas quais as tecnologias foram produzidas sobre princípios participativos. Consideraram-se como critérios de exclusão dissertações e teses com resumos incompletos, com relatório completo não disponível e trabalhos que não apresentaram detalhadamente a etapa de construção da tecnologia. A fim de assegurar a qualidade deste momento e evitar vieses, a busca e a seleção dos estudos foram realizadas por dois revisores independentes. A avaliação de inclusão ou não do estudo foi feita com base na leitura dos títulos e resumos. Para alguns casos, foi necessário acessar o relatório na íntegra. Havendo discordância entre os revisores, ocorreu a participação de um terceiro revisor.

A amostra inicial foi composta por 1.729 publicações. Após a leitura dos títulos e resumos, a amostra foi reduzida para 410 estudos. Após leitura do relatório na íntegra, 337 não responderam à questão de pesquisa. Por fim, foram selecionados 73 relatórios.

A extração dos dados se deu com auxílio do software Atlas.ti 9, considerando variáveis descritivas dos estudos e complemen-tando-as com dados como autoria, ano de publicação, Programa de Pós-Graduação de origem, tipo de produção tecnológica, delineamento do estudo, amostra, técnica(s) de coleta de dados e análise dos dados, fases do desenvolvimento tecnológico e sua justificativa, tipo de produção tecnológica, cenário de aplicação/ utilização da tecnologia, objetivo da produção tecnológica.

De posse dessas informações, um grupo composto por quatro enfermeiros, sendo dois com expertise no desenvolvimento tecnológico e dois em instrumentos, analisou cada elemento, com vistas a construir itens que representassem o processo de construção tecnológica. Esses pesquisadores estão vinculados a grupos de pesquisa da instituição de ensino proponente, sendo selecionados de modo intencional. Assim, o grupo construiu 40 itens em consenso.

Etapa 2 - Validação do conteúdo do instrumento

Após a criação dos itens e domínios para o IAMDT, realizou-se, na etapa seguinte, a validade do conteúdo, com a finalidade de verificar com os juízes se o instrumento proposto apresentava estrutura pertinente para avaliar modelos de pesquisa capazes de subsidiar a construção de tecnologias.

Para essa etapa, foi organizado um painel de 11 especialistas expertos no desenvolvimento de tecnologias em enfermagem e instrumentos de medida em saúde. Os critérios de escolha foram ser doutor(a), ter experiência na produção ou orientação de tecnologias ou instrumentos de medida, realização de pesquisa nesta área, produção acadêmica na área. Essas informações foram consultadas mediante acesso ao Currículo Lattes dos pesquisadores.

Para realizar a validação, enviaram-se cartas convite aos especialistas, apresentando os objetivos da pesquisa e explicando que a participação no estudo ocorreria por meio do preenchimento de um questionário de caracterização, seguido dos itens propostos para validação de conteúdo do IAMDT.

Mediante o aceite, cada juiz recebeu um questionário para a análise do instrumento, sendo disponibilizado em formulário eletrônico do Google docs. A avaliação dos itens considerou os seguintes critérios psicométricos: objetividade (expressar desejabilidade ou preferência); simplicidade (expressar uma única ideia); clareza (ser inteligível até para o estrato mais baixo da população); relevância (ser consistente com o atributo a que se pretende medir); precisão (ser distinto dos demais itens); modalidade (não utilizar expressões extremadas); tipicidade (utilizar expressões típicas ao atributo); e credibilidade (não parecer ridículo, despropositado ou infantil)(¹¹). Também, abaixo de cada item, disponibilizou-se espaço para os especialistas realizarem sugestões ou parafrasearem o item, conforme os ajustes necessários, e ainda se considerou a possibilidade de exclusão ou permanência de itens por parte dos juízes. Para a análise do conteúdo do IAMDT, as respostas seguiram o tipo de escala Likert, com quatro níveis: 1 (inadequado); 2 (pouco adequado); 3 (adequado); e 4 (totalmente adequado).

Etapa 3 - Composição final do instrumento

Após a etapa de validação de conteúdo, foram realizadas as alterações dos itens de acordo com as sugestões dos juízes e a versão atualizada do instrumento foi apresentado. A versão final foi composta por 30 itens, alocados em dois domínios (Conteúdo e Aparência).

Análise dos resultados e estatística

Para a análise e organização, os dados quantitativos foram digitados, mediante dupla digitação independente, em uma planilha do Microsoft Excel 2013, e, após conferência das inconsistências, foram submetidos a análises estatísticas utilizando o software Statistical Package for the Social Sciences (SPSS), versão 21. Os itens foram descritos através de frequências absolutas e relativas. Aplicou-se o Índice de Validade de Conteúdo (IVC) por meio da soma das respostas que pontuaram três ou quatro (adequado e totalmente adequado, respectivamente) na escala Likert, avaliando o grau de concordância entre os juízes especialistas.

Na validação de conteúdo, verificou-se o IVC de cada item do instrumento, avaliando o grau de concordância entre os avaliadores, sendo considerados validados aqueles nos quais o IVC foi igual ou superior a 0,80(¹²). Os com porcentagem menor foram reformulados com base nas sugestões dos juízes. Essas foram analisadas por dois pesquisadores, objetivando evitar equívocos e/ou inferências. As sugestões contribuíram para a manutenção, modificação, unificações ou exclusão de itens. A avaliação da confiabilidade do instrumento foi realizada por meio do coeficiente de alfa de Cronbach(¹³).

A condução do estudo seguiu as prerrogativas da lista de verificação GRRAS, a qual auxilia na confiabilidade da apresentação dos resultados de estudos de concordância.

RESULTADOS

O estudo documental possibilitou definir o conteúdo teórico/conceitual e operacional adotado para o desenvolvimento de tecnologias em enfermagem, permitindo a criação de dois domínios de avaliação para o IAMDT, o conteúdo e a aparência de um determinado modelo metodológico.

Para a validação do conteúdo do IAMDT, foram convidados 29 juízes, sendo o instrumento submetido à amostra de 19 juízes com interesse manifesto na avaliação. A taxa de retorno do instrumento foi de 57%, correspondendo a 11 participantes.

Todos eles eram enfermeiros e, desses, nove (82%) do sexo feminino e dois (18%) do masculino, com idades entre 29 e 50 anos. O tempo de formação oscilou entre cinco e mais de 25 anos. Quanto à ocupação profissional atual, verificou-se que todos os juízes (100%) desenvolviam atividades na docência de ensino superior, um (9,1%) deles mantendo paralelamente atividades assistenciais e um (9,1%) cargo de gestão em saúde. Todos possuíam doutorado como maior titulação, e nove (82%) atuavam em instituições públicas e dois (18%) em instituições privadas.

O IAMDT foi construído, inicialmente, com 40 itens, distribuídos em dois domínios: 34 itens para o domínio conteúdo e seis no domínio aparência. De acordo com os dados apresentados na Tabela 1, todos os critérios apresentaram o IVC > 0,80.

Tabela 1
Índices de Validade de Conteúdo do Instrumento e confiabilidade do Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias com base nos critérios psicométricos, Santa Maria, Rio Grande do Sul, Brasil, 2023

Critérios psicométricos	IVC	Alfa de Cronbach
Objetividade	0,88	0,96
Simplicidade	0,90	0,96
Clareza	0,85	0,96
Relevância	0,90	0,96
Precisão	0,85	0,95
Modalidade	0,87	0,92
Tipicidade	0,88	0,92
Credibilidade	0,89	0,95

Quanto à confiabilidade da versão final do IAMDT, sua consistência interna por meio do coeficiente alfa de Cronbach obteve valores superiores a 0,92 nos oito critérios psicométricos do instrumento, demonstrando consistência interna elevada.

Na validação de conteúdo, os especialistas solicitaram a exclusão dos itens 10, 19, 33, 39 e 40, em que os IVCs variaram de 0,56 a 0,83. Os itens 1, 3, 6, 7, 8 e 24 sofreram modificações para maior clareza, apresentando IVC entre 0,88 e 1,00. Já os itens 12, 13, 14, 15, 29 e 30 foram agrupados nos demais itens, a fim de minimizar ambiguidades, redundância ou repetições, atendendo às sugestões dos especialistas (Quadro 1).

Quadro 1
Alterações realizadas nos itens do Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias, Santa Maria, Rio Grande do Sul, Brasil, 2023

Itens	Antes da avaliação dos juízes	IVC	Após avaliação dos juízes
1	O título do modelo/método representa seus objetivos?	0,96	O título representa seus objetivos?
3	Os conceitos representam os pressupostos do modelo/método?	0,90	Os conceitos expressam e representam os pressupostos do modelo/ método?
6	O nome de cada etapa/fase corresponde ao seu conteúdo?	1,00	O nome de cada etapa/fase está de acordo com o conteúdo apresentado?
7	Apresenta operacionalidade para a execução das suas etapas/ fases?	0,88	Apresenta os passos operacionais bem descritos para a execução de suas etapas/fases?
8	As fases/etapas se (inter)relacionam na busca da resolução do fenômeno?	0,99	As fases/etapas se (inter)relacionam na busca da representação do fenômeno?
10	Proporciona reflexões a respeito do tema?	0,79	Item retirado. Comentários: “Penso que não seja relevante estar no instrumento”; “Acho este item muito vago”.
13	Incentiva a inserção do pesquisador no cenário da pesquisa?	0,78	Incentiva a participação ativa do(s) pesquisador(es) com o contexto da pesquisa?
14	Incentiva a participatividade do pesquisador com o cenário da pesquisa?	0,63
15	Descreve a inserção ativa do pesquisador no campo de coleta?	0,75
19	Contribui para o desenvolvimento de consciências (prática/ práxis)?	0,74	Item retirado. Comentário: “Não ficou claro o que desejam com este item aqui”.
24	Incentiva a produção de conhecimento científico?	0,93	Item retirado. Comentários: “acho que está semelhante ao item 11, ela pode substitui-lo.”; “Similar à pergunta 11”.
29	A linguagem é interativa, permitindo envolvimento participativo do(s)pesquisador(es)?	0,82	Sua linguagem interativa permite envolvimento participativo entre pesquisador(es) e pesquisado(s)? Comentários: “Penso que poderia agrupar pesquisador e pesquisados, simplificando o item, tendo em vista que é necessário o envolvimento participativo de ambos”; “Penso que já há perguntas sobre a interação dos envolvidos”.
12	Apresenta linguagem adequada ao público-alvo?	1,00
30	A linguagem é interativa, permitindo envolvimento participativo dos pesquisados?	0,82
33	Facilita a obtenção de novos conhecimentos?	0,83	Item retirado. Comentários: “Penso que não é necessário. O importante é saber se gera um novo conhecimento”; “Achei semelhante aos itens 11, 24, 25”.
39	A proposta se caracteriza como um método de pesquisa?	0,56	Itens retirados.
40	A proposta se caracteriza como um modelo metodológico para pesquisas?	0,72

Após o processo de validação do conteúdo, o IAMDT foi produzido em sua versão final contendo 26 itens no domínio 1 (Validação do Conteúdo) e quatro itens no domínio 2 (Validação da Aparência) (Quadro 2).

Quadro 2
Versão final validada do Instrumento para Avaliação de Modelos metodológicos voltados ao Desenvolvimento de Tecnologias, Santa Maria, Rio Grande do Sul, Brasil, 2023

1 Discordo totalmente

2 Discordo

3 Discordo parcialmente

4 Concordo

5 Concordo totalmente

Assinale com um X a questão que melhor representa sua resposta	1	2	3	4	5
DOMÍNIO 1 - VALIDAÇÃO DO CONTEÚDO
1. O título do modelo representa seus objetivos?
2. O referencial teórico utilizado é pertinente e se aplica a proposta?
3. Os conceitos expressam e representam os pressupostos do modelo?
4. O modelo apresenta sistematicamente suas etapas/fases?
5. O modelo apresenta clareza na descrição das etapas/fases?
6. O nome de cada etapa/fase do modelo está de acordo com o conteúdo apresentado?
7. O modelo apresenta os passos operacionais bem descritos para a execução de suas etapas/fases?
8. As fases/etapas do modelo se (inter)relacionam na busca da representação do fenômeno?
9. O modelo é adequado para interpretar a realidade prática?
10. O modelo contribui para a construção do conhecimento na área?
11. O modelo incentiva a participação ativa do(s) pesquisador(es) com o contexto da pesquisa?
12. O modelo permite a (inter)relação pesquisador-pesquisado-contexto?
13. O modelo auxilia o pesquisador na construção de hipóteses?
14. O modelo fornece suporte metodológico e representacional ao desenvolvimento tecnológico?
15. Sugere técnicas para estabelecer a comunicação e a cooperação para interpretar a realidade, levantar e priorizar os problemas e formular hipóteses?
16. Incentiva a participação coletiva para a busca de soluções?
17. A(s) técnicas de aproximação ao cenário da pesquisa incentivam uma ação participativa entre os envolvidos?
18. Estabelece parceiros para a criação tecnológica, quanto a sua área de atuação e objetivos?
19. O modelo representa o caminho para produção do saber técnico-científico?
20. Apresenta sequência lógica das ideias, suas etapas/fases?
21. As informações do modelo são claras, objetivas e representativas a proposta?
22. O modelo incentiva a compreensão da realidade para poder contribuir na sua transformação?
23. Sua linguagem interativa permite envolvimento participativo entre pesquisador(es) e pesquisado(s)?
24. A linguagem do modelo está adequada para pesquisadores?
25. Fornece elementos para o pesquisador realizar análises e sínteses sobre o objeto?
26. Permite a descoberta, descrição, explicação, reprodução e controle de fenômenos, para o desenvolvimento de novos produtos e processos?
Sugestões:
DOMÍNIO 2 - VALIDAÇÃO DA APARÊNCIA
27. As ilustrações do modelo (se houver) são claras e compreensíveis?
28. As ilustrações do modelo (se houver) representam o conteúdo e operacionalidade das fases/etapas?
29. As formas das ilustrações (se houver) estão adequadas a proposta?
30. A disposição das figuras está coerente com o texto?
Sugestões:

O escore total deve ser calculado pelo somatório das pontuações dos itens, sendo o mínimo de 30 e o máximo de 150 pontos. Quanto ao escore por domínio, no domínio 1 (Conteúdo), a pontuação mínima é de 26 e máxima de 130 pontos. Considerando o domínio 2 (Aparência), o escore varia de quatro a 20 pontos. Destaca-se que, quanto maior a pontuação, mais adequado está o modelo.

DISCUSSÃO

A elaboração e a validação do IAMDT apresentam elementos importantes para auxiliar pesquisadores na manutenção da validade interna de suas pesquisas com foco no desenvolvimento tecnológico. O instrumento tem potencial inovador e contribui com a construção do conhecimento em enfermagem, conforme propõem marcadores teóricos e operacionais que poderão garantir a qualidade metodológica de estudos voltados à criação de ferramentas tecnológicas em enfermagem.

Atualmente, percebe-se um elevado quantitativo de publicações sobre tecnologias, nas quais os pesquisadores constroem empiricamente sua estrutura metodológica com vistas a responder ao objeto investigativo. Essa prática pode expor o estudo a viés, os quais podem impactar na usabilidade da tecnologia para a saúde.

A avaliação da qualidade de um estudo(¹⁴) pode variar quanto à sua validade interna ou externa, contudo a garantia desse quesito refletirá na confiabilidade e fidedignidades dos resultados da pesquisa. No cenário da construção tecnológica, buscar estratégias priorizando a qualidade metodológica se torna fator emergente, com vistas à apresentação de evidências confiáveis.

Na literatura(¹⁵), encontram-se inúmeras ferramentas válidas e confiáveis que contribuem para a qualidade das pesquisas, fornecendo um alto nível de rigor científico para o desenvolvimento tecnológico. Como exemplo disso, a literatura internacional aponta importantes estudos para subsidiar a produção tecnológica, tal como a Patient Education Materials Assessment Tool (PEMAT)(¹⁶), utilizada como instrumento sistemático para avaliar e comparar a compreensibilidade e a capacidade de ação de materiais voltados ao processo educativo de pacientes em diferentes contextos. Outro instrumento é o Suitability Assessment of Materials (SAM)(¹⁷), ferramenta já validada para o português(¹⁸), que representa um método sistemático para avaliar objetivamente a adequação de materiais de informação em saúde para pacientes.

Na literatura brasileira, evidenciamos até o momento duas importantes ferramentas voltadas à qualificação de estudos de produção tecnológica(¹⁹-²⁰). O Instrumento de Validação de Conteúdo Educativo em Saúde (IVCES)(¹⁹) foi construído para atender à necessidade de avaliação do conteúdo educativo de produtos em saúde, apresentando confiabilidade por meio do coeficiente de correlação intraclasse > 0,8. O outro Instrumento utilizado está voltado para Validar Aparência de Tecnologia Educacional em Saúde (IVATES)(²⁰), sendo avaliado com IVC geral do instrumento igual a 0,93. Quanto ao IAMDT, na visão geral do instrumento, 83% dos itens foram avaliados como excelentes, apresentando IVC > 0,80. Logo, é possível inferir que a ferramenta é válida para nortear o desenho de pesquisas em construção tecnológica. Considerando os itens do domínio conteúdo, o IVC da maioria dos itens (n=22) foi ≥ 0,80. Os itens sobre apresentação sistemática das etapas, nominação de cada etapa e linguagem interativa para estimular o envolvimento participativo entre pesquisador e pesquisado obtiveram IVC igual a 1. Esses resultados apontam para a necessidade de modelos metodológicos de pesquisa com nomenclaturas claras e coerentes, bem como com linguagem adequada e assertiva para os atores envolvidos se interrelacionarem de modo participativo, efetivo e construtivo.

A relação pesquisador-pesquisado está ligada a diálogos com base na causação, de modo a refletirem juntos sobre determinado fato/ objeto de investigação, com vistas a pensar uma solução/intervenção capaz de modificar dada realidade. A intenção real de linguagem interativa com foco causal deve ser clara e precisa para a produção dos dados de pesquisa subsidiar interpretações e análises robustas, propondo resultados para necessidades práticas cotidianas(²¹).

Outro propósito do IAMDT está ligado à avaliação da participação do público na condução da pesquisa em desenvolvimento tecnológico. O envolvimento da população de estudo no processo de criação de ferramentas em saúde tem cada vez mais destaque(²²). Por meio dessa iniciativa, torna-se possível incorporar experiências individuais ou coletivas dos atores sociais nas atividades e estruturas de uma pesquisa(²³). Essa integração é considerada a principal característica das pesquisas participativas, proporcionando voz às pessoas para decidirem o que é melhor para si mesmos(²³-²⁴). No IAMDT, cinco itens do domínio de validação do conteúdo estão ligados à avaliação da interação participativa entre pesquisador, cenário de pesquisa e público-alvo. Os itens 9, 16 e 22 apresentaram IVC ≥ 0,93, não necessitando de reformulações. Quanto ao item 11, seu IVC foi de 0,63, sendo modificado, a pedido dos especialistas a partir de sugestões (Quadro 1), e mantido no instrumento.

A teoria aplicada ao desenvolvimento tecnológico é outro elemento avaliativo no IAMDT. Estudo(²⁵) voltado à implementação de tecnologias descreve que a garantia de resultados eficazes de produtos e processos na prática em saúde está no desenvolvimento, testagem e refinamento de teorias de como sua entrega poderá ser otimizada nos diferentes contextos onde é aplicada. A teoria pode se referir às hipóteses propostas e/ou explicações de como se espera que as informações latentes de um cenário de pesquisa e atores locais interajam entre si para propor ou subsidiar a produção de tecnologias capazes de provocar mudanças nos cenários práticos aos quais se destinam. No IAMDT, os itens 2 (0,97), 3 (0,90), 13 (0,98) e 15 (0,87), diretamente ligados à necessidade de modelos estruturados com bases teóricas fortes, obtiveram índices de validade satisfatórios. No entanto, os itens 13 e 15 foram aglutinados juntamente com o 14, no intuito de contemplar a objetividade do instrumento.

Acerca do domínio de validação da aparência em modelos metodológicos para desenvolver tecnologias, os IVCs variaram entre 0,84 e 0,96 (item 28 e 27 respectivamente). A validade de aparência(²⁰) visa analisar a abordagem estética atribuída a ferramentas contendo linhas, formas, cores e movimentação imagética. As imagens incorporadas na produção tecnológica devem estar harmonicamente interrelacionadas com o conteúdo da ferramenta proposta. Autores(²⁰,²⁶) fomentam que a validade aparente contribui para o aprimoramento de imagens e layout de determinado produto, facilitando a compreensão do conteúdo da tecnologia proposta. As ilustrações têm potencial de chamamento e convencimento do leitor, podendo prender sua atenção, estimular sentimentos e nortear o leitor sobre os caminhos propostos no estudo, bem como apresentar mensagens ou síntese de conhecimentos.

Os resultados obtidos pela validação com os especialistas foram importantes para qualificar o instrumento, auxiliando pesquisadores no aprimoramento de modelos metodológicos estruturados sob um roteiro metodológico que garantirá maior confiabilidade ao estudo. Ademais, conforme o IAMDT for utilizado e avaliado em pesquisas, poderá ser modificado, a fim de atender a diferentes necessidades de pesquisa no contexto tecnológico em enfermagem e saúde. Da mesma forma, será possível ampliar os testes psicométricos deste instrumento.

Limitações do estudo

Como limitação do estudo, destaca-se a realização de apenas uma rodada de avaliação do instrumento, sugerindo a necessidade de retorno do mesmo para revisão de sua estrutura. Outra limitação está na inexistência de instrumentos com mesmo escopo, os quais permitiriam a realização de estudo comparativo, ou mesmo a comparação de resultados.

Contribuições para as áreas da enfermagem e saúde

O trabalho apresenta contribuições para a área da enfermagem no que tange à realização de pesquisas focadas na construção de tecnologias, pois o instrumento desenvolvido é pertinente e pode contribuir como ferramenta capaz de nortear pesquisadores no desenvolvimento tecnológico participativo. O instrumento contribuirá como checklist norteador, contendo um passo a passo metodológico para a construção/desenvolvimento de tecnologias na enfermagem e na saúde.

CONCLUSÕES

O IAMDT representa uma ferramenta inovadora para auxiliar na validade interna das metodologias aplicadas às pesquisas de cunho tecnológico em enfermagem. O instrumento foi avaliado com bons parâmetros psicométricos, considerando os critérios de objetividade, simplicidade, clareza, relevância, precisão, modalidade, tipicidade e credibilidade.

Neste estudo, o instrumento se caracterizou como válido e confiável para avaliar modelos de pesquisa para produção de tecnologias. A utilização do IAMDT permitirá novas possibilidades interpretativas e de resolução de vieses metodológicos existentes em pesquisas com etapas/fases autocriadas para a produção de tecnologias. Espera-se, em trabalhos posteriores, avaliar a eficiência e a eficácia do instrumento quanto ao propósito ao qual se destina, sendo possível, assim, dar continuidade ao processo de validação do mesmo.

REFERENCES

• ¹
  González-García A, Díez-Fernández A, Martín-Espinosa N, Pozuelo-Carrascosa D P, Mirón-González R, Solera-Martínez M. Barriers and facilitators perceived by Spanish experts concerning nursing research: a delphi study. Int J Environ Res Public Health. 2020;17(9):3224. https://doi.org/10.3390/ijerph17093224
  » https://doi.org/10.3390/ijerph17093224
• ²
  Nietsche EA. Tecnologia emancipatória possibilidade ou impossibilidade para a práxis da enfermagem? [Tese]. Ijuí: UNIJUÍ; 2000. 360p.
• ³
  Salbego C, Nietsche EA, Teixeira E, Girardon-Perlini NMO, Wild C F, Ilha S. Care-educational technologies: an emerging concept of the praxis of nurses in a hospital context. Rev Bras Enferm. 2018;71(Suppl-6):2666-74. https://doi.org/10.1590/0034-7167-2017-0753
  » https://doi.org/10.1590/0034-7167-2017-0753
• ⁴
  Nietsche EA, Salbego C, Lacerda MR. Praxis and technological development in nursing. Rev Enferm UFSM. 2021;11(e1):1-3. https://doi.org/10.5902/2179769267313
  » https://doi.org/10.5902/2179769267313
• ⁵
  Polit D, Beck CT. Nursing research: generating and assessing evidence for nursing practice. Philadelphia: Wolters Kluwer; 2019.
• ⁶
  Souza Filho BAB, Struchiner CJ. Uma proposta teórico-metodológica para elaboração de modelos teóricos. Cad Saúde Colet. 2021;29(1):86-97. https://doi.org/10.1590/1414-462X202129010180
  » https://doi.org/10.1590/1414-462X202129010180
• ⁷
  Raymundo V P. Construção e validação de instrumentos: um desafio para a psicolinguística. Let Hoje [Internet]. 2009[cited 2023 Jan 30];44(3):86–93. Available from: https://revistaseletronicas.pucrs.br/ojs/index.php/fale/article/view/5768
  » https://revistaseletronicas.pucrs.br/ojs/index.php/fale/article/view/5768
• ⁸
  Kuo YM, Lin ZC, Tan YKA. Applying design thinking to the research and development of innovative nursing devices. Hu Li Za Zhi. 2021;68(6):13-8. https://doi.org/10.6224/JN.202112_68(6).03
  » https://doi.org/10.6224/JN.202112_68(6).03
• ⁹
  Nietsche EA, Cassenote LG, Salbego C, Ramos TK, Perlini NMOG, Böck A, et al. Care Facilitator Cart: a product technology built with nursing professionals. Rev Bras Enferm. 2020;73(Suppl 6):e20190741. https://doi.org/10.1590/0034-7167-2019-0741
  » https://doi.org/10.1590/0034-7167-2019-0741
• ¹⁰
  Kripka R, Scheller M, Bonotto DL. Pesquisa documental: considerações sobre conceitos e características na pesquisa qualitativa. Atas Investig Qualit Saúde [Internet]. 2015[cited 2023 Jan 30];30(2):243-7. Available from: http://www.proceedings.ciaiq.org/index.php/ciaiq2015/article/view/252/248
  » http://www.proceedings.ciaiq.org/index.php/ciaiq2015/article/view/252/248
• ¹¹
  Pasquali L. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.
• ¹²
  Matos FR, Rossini JC, Lopes RFF, Amaral JDHF. Translation, adaptation, and evidence of content validity of the Schema Mode Inventory. Psicol Teor Prat. 2020;22(2):18-38. https://doi.org/10.5935/1980-6906/psicologia.v22n2039-59
  » https://doi.org/10.5935/1980-6906/psicologia.v22n2039-59
• ¹³
  Maroco J. Análise Estatística com o SPSS Statistics. Pero Pinheiro: Report Number; 2018.
• ¹⁴
  Gore S, Goldberg A, Huang MH, Shoemaker M, Blackwood J. Development and validation of a quality appraisal tool for validity studies (QAVALS). Physiother Theory Pract. 2021;37(5):646-54. https://doi.org/10.1080/09593985.2019.1636435
  » https://doi.org/10.1080/09593985.2019.1636435
• ¹⁵
  Cazorla-Calderón S, Romero-Sánchez JM, Fernández-García E, Paloma-Castro O. Cross-Cultural adaptation and psychometric evaluation of the educational content validation instrument in health. inquiry. 2022;59:469580211060143. https://doi.org/10.1177/00469580211060143
  » https://doi.org/10.1177/00469580211060143
• ¹⁶
  Shoemaker SJ, Wolf MS, Brach C. Development of the Patient Education Materials Assessment Tool (PEMAT): a new measure of understandability and actionability for print and audiovisual patient information. Pat Educ Counsel. 2014;96(3):395-403. https://doi.org/10.1016/j.pec.2014.05.027
  » https://doi.org/10.1016/j.pec.2014.05.027
• ¹⁷
  Doak C, Doak L, Root J. Teaching patients with low literacy skills [Internet]. Philadelphia: JB Lippincott; 1996[cited 2023 Jan 30]. Available from: https://www.hsph.harvard.edu/healthliteracy/resources/teaching-patients-with-low-literacy-skills/
  » https://www.hsph.harvard.edu/healthliteracy/resources/teaching-patients-with-low-literacy-skills/
• ¹⁸
  Sousa CS, Turrini RNT, Poveda VB. Translation and adaptation of the instrument Suitabilty Assessment of Materials (SAM) into portuguese. Rev Enferm UFPE. 2015;9(5):7854-61. https://doi.org/10.5205/reuol.6121-57155-1-ED.0905201515
  » https://doi.org/10.5205/reuol.6121-57155-1-ED.0905201515
• ¹⁹
  Leite SS, Áfio ACE, Carvalho LV, Silva JM, Almeida PC, Pagliuca LMF. Construction and validation of an Educational Content Validation Instrument in Health. Rev Bras Enferm. 2018;71(Suppl 4):1635-41. https://doi.org/10.1590/0034-7167-2017-0648
  » https://doi.org/10.1590/0034-7167-2017-0648
• ²⁰
  Souza ACC, Moreira TMM, Borges JWP. Development of an appearance validity instrument for educational technology in health. Rev Bras Enferm. 2020;73(Suppl 6):e20190559. https://doi.org/10.1590/0034-7167-2019-0559
  » https://doi.org/10.1590/0034-7167-2019-0559
• ²¹
  Han MA, Guyatt G. Systematic survey of the causal language use in systematic reviews of observational studies: a study protocol. BMJ Open. 2020;10(7):e038571. https://doi.org/10.1136/bmjopen-2020-038571
  » https://doi.org/10.1136/bmjopen-2020-038571
• ²²
  Harting J, Kruithof K, Ruijter L, Stronks K. Participatory research in health promotion: a critical review and illustration of rationales. Health Promot Int. 2022;37(Supplement_2):ii7-ii20. https://doi.org/10.1093/heapro/daac016
  » https://doi.org/10.1093/heapro/daac016
• ²³
  Blackburn S, McLachlan S, Jowett S, Kinghorn P, Gill P, Higginbottom A, et al. The extent, quality and impact of patient and public involvement in primary care research: a mixed methods study. Res Involv Engagem. 2018;24(4):16. https://doi.org/10.1186/s40900-018-0100-8
  » https://doi.org/10.1186/s40900-018-0100-8
• ²⁴
  Beresford P, Russo J. Patient and public involvement in research. In Anell A, Nolte E, Merkur S. (eds), Achieving Person-Centred Health Systems: Evidence, Strategies and Challenges. Cambridge: University Press; 2020, p. 145-72.
• ²⁵
  Seward N, Hanlon C, Hinrichs-Kraples S, Lund C, Murdoch J, Salisbury T, et al. A guide to systems-level, participatory, theory-informed implementation research in global health. BMJ Glob Health. 2021;6(12):e005365. https://doi.org/10.1136/bmjgh-2021-005365
  » https://doi.org/10.1136/bmjgh-2021-005365
• ²⁶
  Vaillancourt R, Cameron JD. Health literacy for children and families. Br J Clin Pharmacol. 2022;88(10):4328-36. https://doi.org/10.1111/bcp.14948
  » https://doi.org/10.1111/bcp.14948

Editado por

EDITOR CHEFE: Antonio José de Almeida Filho

EDITOR ASSOCIADO: Hugo Fernandes

Datas de Publicação

• Publicação nesta coleção
  13 Nov 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  07 Fev 2023
• Aceito
  16 Jun 2023