Validação transcultural da ImpRes-Tool-BR: uma ferramenta para desenvolvimento de projetos e pesquisas de implementação

RESUMO

Este estudo tem como objetivo apresentar os resultados da tradução, validação transcultural e avaliação preliminar de uma ferramenta, originalmente desenvolvida no Reino Unido, para orientar pesquisadores brasileiros na elaboração de projetos e pesquisas de implementação rigorosos e de alta qualidade: ImpRes-BR. Seguindo boas práticas atualmente estabelecidas para validação transcultural de instrumentos e escalas, a ferramenta, juntamente com seu guia de utilização, foi traduzida e retrotraduzida, submetida a um teste piloto com 20 profissionais de saúde e avaliada por um painel de 10 especialistas que atribuíram os valores utilizados para os cálculos do Índice de Validade de Conteúdo ao nível do item (IVC-I) e escala (IVC-E). Nesse processo, além de índices de validade conceitual superiores à 90%, foi observado um IVC-I de pelo menos 0,90 em todos os domínios da ferramenta e seu guia e um IVC-E de 0,98. Estabelecida a validade da ferramenta e seu guia, a mesma foi aplicada em 14 projetos de pesquisa em fase de planejamento ou execução e foi reconhecida enquanto um instrumento potente para autoanálise das equipes na qualificação de seus projetos e fortalecimento destes em relação aos princípios da Ciência de Implementação.

PALAVRAS-CHAVES
Ciência da Implementação; Estudo de validação; Métodos

ABSTRACT

This study aims to present the results of the translation, cross-cultural validation and preliminary evaluation of a tool, originally developed in the United Kingdom, to guide Brazilian researchers in the elaboration of projects and rigorous and high-quality implementation research: ImpRes-BR. Following currently established good practices for cross-cultural validation of instruments and scales, the tool, together with its user guide, was translated and back-translated, subjected to a pilot test with 20 health professionals and evaluated by a panel of 10 specialists who assigned the values used for the calculations of the Content Validity Index at the item level (CVI-I) and scale (CVI-E). In this process, in addition to conceptual validity indices greater than 90%, an IVC-I of at least 0.90 was observed in all domains of the tool and its guide, and an IVC-E of 0.98. Having established the validity of the tool and its guide, it was applied in 14 research projects in the planning or execution phase and was recognized as a powerful instrument for self-analysis of the teams in the qualification of their projects and strengthening them in relation to the principles of the Implementation Science.

KEYWORDS
Implementation Science; Validation study; Methods

Introdução

Com ampla expressão na Austrália, Reino Unido e Estados Unidos, e ocupando uma posição de destaque junto a importantes financiadores de pesquisa internacionais como o National Institutes of Health (NIH) e o Medical Research Council (MRC), as pesquisas de implementação correspondem ao estudo científico dos diversos processos que balizam a tradução das políticas públicas e das intervenções de saúde em mudanças efetivas na prática dos indivíduos e/ou dos serviços de saúde¹. Greenhalgh et al.² definem ainda as pesquisas de implementação como os esforços ativos e planejados para integrar uma inovação dentro de uma organização. Seu escopo considera aspectos que incluem os fatores que afetam a implementação, as estratégias utilizadas para interferir no contexto da intervenção ou implementação de uma política, bem como os resultados alcançados em nível individual e coletivo, e o estabelecimento de estratégias para a promoção da sustentabilidade da proposta e de seu uso em larga escala³, ⁴.

O crescente interesse das agências de fomento por esse tipo de pesquisa não se dá por acaso. Fixsen et al.⁵ demonstraram que enquanto a taxa média de sucesso das intervenções em saúde de maneira convencional era de 14% e levava em torno de 17 anos para incorporação na prática, intervenções conduzidas por meio de pesquisas de implementação tiveram uma taxa de sucesso de 80% em um período de 3 anos. O êxito desse tipo de pesquisa pode ser atribuído especialmente à radicalidade que assume em relação ao estudo do contexto e à participação de todas as partes interessadas nas diversas etapas da pesquisa.

A aplicabilidade das pesquisas de implementação tem se dado em diversas áreas, especialmente no sentido de endereçar suas persistentes lacunas de cuidado. Nesse sentido, o instrumental das pesquisas de implementação busca fornecer elementos que permitam identificar se quando uma política ou intervenção de saúde falha como costuma acontecer – isso ocorreu porque a política ou intervenção foi ineficaz no ambiente em que se propôs (falha de intervenção), ou se uma boa política ou intervenção foi implementada incorretamente (falha de implementação)⁶.

Apesar de suas reconhecidas contribuições para o estudo das políticas e práticas de saúde, a pesquisa de implementação ainda é um campo incipiente no Brasil. Nesse sentido, entre os desafios colocados para o desenvolvimento desse tipo de pesquisa no País está a identificação, compilação e adaptação de bibliografias internacionais compatíveis com a realidade brasileira. Vale ressaltar que, internacionalmente, diversos recursos para pesquisa de implementação estão espalhados pela web ou em produtos acadêmicos, como compilações de instrumentos de medida⁷, compilação de estratégias de implementação⁸, orientações sobre o uso de teorias, estruturas e modelos etc.⁹.

Como resultado, pesquisadores de saúde sem acesso a conhecimentos especializados em Ciência de Implementação têm a tarefa de identificar e assimilar orientações e recomendações de design dispostas em diferentes fontes ao projetar suas pesquisas. Esta é uma tarefa desafiadora e nem sempre realizada com sucesso. O desafio de projetar uma pesquisa de implementação é ainda exacerbado pelo fato de que esse tipo de pesquisa atravessa diversos campos científicos, o que dificulta a avaliação e síntese da literatura relevante para informar decisões de design¹⁰.

Ao se deparar com uma realidade semelhante, alguns anos atrás, um grupo de pesquisadores do Centre for Implementation Science, vinculado ao departamento de Health Services & Population Research do King’s College London, coordenou uma iniciativa que resultou na criação da ImpRes Tool, uma ferramenta para melhorar a qualidade de projetos de pesquisa na Ciência de Implementação. Segundo seus autores, até aquele momento, faltavam diretrizes e recomendações que descrevessem como projetar pesquisas de implementação, portanto, a ImpRes foi desenvolvida para preencher essa lacuna. Combinada com um guia, essa ferramenta tem como objetivo permitir que as equipes de pesquisa elaborem pesquisas de implementação de alta qualidade e, como resultado, implementem intervenções baseadas em evidências na prática dos serviços, reduzindo assim o desperdício de pesquisas e melhorando os resultados de saúde¹⁰. A mesma pode ser usada ainda na avaliação retrospectiva de projetos, a fim de identificar lacunas que precisam ser levadas em conta no processo de avaliação dos resultados de estudos originados desses projetos.

A ferramenta ImpRes contém dez domínios que, com base nas evidências atuais, cobrem os princípios e métodos centrais da Ciência de Implementação que pesquisadores devem considerar ao projetar uma pesquisa do tipo. Isso inclui (1) características da pesquisa de implementação, (2) teorias, estruturas e modelos de implementação, (3) determinantes da implementação: fatores contextuais, (4) estratégias de implementação, (5) desfechos relativos aos serviços e aos usuários, (6) desfechos de implementação, (7) consequências não intencionais, (8) avaliação econômica, (9) envolvimento e engajamento das partes interessadas, (10) envolvimento e engajamento dos usuários e da comunidade. Sua construção se deu através de um extenso processo de revisão da literatura, seguida de um painel internacional de especialistas multidisciplinares engajados em um processo interativo de brainstorming e construção de consenso¹⁰.

Mediante aplicação em 15 projetos científicos de implementação do National Institute of Health Research (NIHR) conduzidos pela Collaboration for Leadership in Applied Health Research and Care (CLAHRC) de South London, a ImpRes se mostrou uma ferramenta útil para (1) autorreflexão das equipes dos projetos acerca do processo de implementação, (2) identificação de áreas do projeto onde faltavam elementos centrais da pesquisa de implementação, (3) fortalecimento da Ciência de Implementação nos projetos, e (4) auditoria do rigor e qualidade da pesquisa de implementação sendo conduzida¹⁰. Ressalta-se que sua aplicação se deu em uma ampla gama de áreas clínicas, incluindo diabetes, saúde mental, demência, maternidade e saúde da mulher.

Além da ferramenta em si, o trabalho liderado por Hull et al.¹⁰ culminou em um guia de utilização, possibilitando assim que pesquisadores menos familiarizados com a área de Ciência de Implementação possam utilizar a ferramenta de forma autônoma. O guia fornece a justificativa para a inclusão de cada um dos domínios da ferramenta ImpRes, orientação sobre a aplicação da mesma e direciona os pesquisadores para outras literaturas e recursos especializados. Cabe ressaltar que até os dias atuais, seu estudo de desenvolvimento, aplicação e avaliação preliminar, publicado em 2019¹⁰, já foi acessado mais de 20.000 vezes e a ferramenta e seu guia foram baixados do site King’s Improvement Science mais de 6.500 vezes.

Considerando a potencial contribuição da ferramenta ImpRes para a qualificação de projetos e pesquisas de implementação e, consequentemente, a promoção desse campo no País, este estudo tem como objetivo apresentar os resultados da tradução para o português, validação transcultural e avaliação preliminar da ferramenta ImpRes e seu guia de utilização.

Material e métodos

Trata-se de um estudo misto conduzido entre maio de 2021 e novembro de 2022. Sua realização envolveu a tradução e validação transcultural da ferramenta ImpRes e seu guia de utilização, bem como aplicação da mesma no delineamento de projetos e pesquisas de implementação com subsequente avaliação preliminar de sua estrutura, conteúdo e utilidade.

O processo de tradução e validação transcultural foi baseado nas instruções da compilação de boas práticas para validação transcultural de instrumentos e escalas propostas por Sousa et al.¹¹. Nesse sentido, foram conduzidas cinco etapas que incluíram (1) a tradução dos instrumentos originais (inglês) para o idioma de destino (português); (2) comparação das duas versões traduzidas dos instrumentos; (3) retrotradução cega das versões preliminares traduzidas dos instrumentos; (4) comparação das duas versões retrotraduzidas dos instrumentos; (5) teste piloto das versões pré-finais dos instrumentos no idioma de destino (português) com amostra monolíngue.

Para avaliação preliminar da estrutura, conteúdo e utilidade da ferramenta, a mesma foi aplicada por times de pesquisa no delineamento de projetos e pesquisas de implementação, para subsequentemente compartilharem suas impressões acerca da utilização da ferramenta por meio de um questionário estruturado com base nas questões previamente utilizadas em sua avaliação na versão original¹⁰.

Tradução dos instrumentos originais para o idioma de destino

A ferramenta e seu guia em sua língua de origem (inglês) foram traduzidos para o idioma de destino (português) por dois tradutores independentes cuja língua materna era português. Ambos os tradutores eram bilíngues e biculturais, ou seja, fluentes no idioma de origem e destino dos instrumentos e com vivência cultural em países de ambos os idiomas. Além disso, os dois tradutores possuíam formações distintas, sendo o primeiro tradutor um médico, com conhecimento da terminologia da área da saúde e da área de conteúdo da construção dos instrumentos no idioma de destino. A segunda tradutora, por sua vez, era uma economista, familiarizada com expressões coloquiais, gírias e jargões do idioma de destino, mas sem conhecimento sobre terminologia da área da saúde e/ou relacionada à construção dos instrumentos.

Comparação das duas versões traduzidas dos instrumentos

As instruções e os itens das duas versões traduzidas dos instrumentos foram comparados com sua versão original por um terceiro tradutor independente, bilíngue e bicultural, quanto a ambiguidades e discrepâncias de palavras, frases e significados. As ambiguidades e discrepâncias foram discutidas e resolvidas por consenso usando uma abordagem de comitê que contou com a participação do terceiro tradutor, dos dois tradutores da primeira etapa e do pesquisador principal do estudo (CAST).

Retrotradução cega das versões preliminares traduzidas dos instrumentos

As versões preliminares dos instrumentos traduzidas para língua de destino foram retrotaduzidas para o idioma de origem por outros dois tradutores independentes cuja língua materna era o inglês. Este processo resultou em duas versões retrotraduzidas dos instrumentos em seu idioma original. Assim como na primeira etapa, ambos os tradutores eram bilíngues e biculturais com diferentes formações, sendo um enfermeiro e outro professor de inglês. Ambos os tradutores desconheciam completamente a versão original dos instrumentos.

Comparação das duas versões retrotraduzidas dos instrumentos

As instruções e os itens das duas retrotraduções foram comparadas por um comitê multidisciplinar com as instruções e os itens dos instrumentos em seu idioma de origem quanto ao formato, redação e estrutura gramatical das frases, semelhança de significado e relevância. O comitê foi composto pelo pesquisador principal do estudo (CAST), todos os quatro tradutores bilíngues e biculturais envolvidos na tradução dos instrumentos para a língua de destino e na retrotradução dos instrumentos para o idioma de origem, o tradutor que participou da comparação das duas versões dos instrumentos traduzidos e a pesquisadora responsável pela elaboração dos instrumentos originais (LH).

Ambiguidades e discrepâncias em relação ao significado cultural e coloquialismos ou expressões idiomáticas nas palavras e frases das instruções e itens entre as duas retrotraduções e entre cada uma das duas retro-traduções e o instrumento original foram discutidas e resolvidas por consenso entre os membros do comitê, a fim de derivar uma versão pré-final dos instrumentos no idioma de destino.

Teste piloto da versão pré-final do instrumento no idioma de destino com uma amostra monolíngue

As versões pré-finais dos instrumentos foram submetidas a um teste piloto com 20 participantes cuja língua materna era o português, a fim de avaliar a clareza de seus itens e instruções. Os participantes foram selecionados entre estudantes e profissionais interessados em pesquisas de implementação vinculados a grupos de pesquisa que vinham realizando algum tipo de estudo nesse campo. A identificação dos grupos ocorreu por meio de buscas em diretórios de pesquisa e bases de dados de projetos financiados por agências de pesquisa por meio das palavras-chave “Pesquisa de Implementação” e “Ciência de Implementação”. Os critérios de inclusão foram ser maior de 18 anos, possuir ensino superior e experiência anterior de pesquisa em saúde.

Cada participante foi solicitado a avaliar as instruções e itens apresentados nos instrumentos usando uma escala dicotômica (claro ou não claro). Aos participantes que classificaram as instruções ou qualquer item dos instrumentos como pouco claros foram solicitadas sugestões sobre como reescrever as afirmações, a fim de tornar a linguagem mais clara. As instruções e os itens dos instrumentos que foram considerados pouco claros por pelo menos 20% da amostra foram reavaliados e submetidos a uma segunda rodada de teste piloto com outros 20 participantes¹².

Para determinar a equivalência conceitual e de conteúdo dos instrumentos traduzidos para o idioma de destino, utilizou-se ainda de um painel de especialistas que avaliou os itens e as instruções dos instrumentos quanto a sua clareza. O painel de especialistas foi composto por dez membros conhecedores das áreas de conteúdo dos construtos dos instrumentos e da população-alvo na qual o instrumento será utilizado e cuja língua materna era o português. Os especialistas foram identificados por meio de sua produção literária através de buscas em bases de dados utilizando-se as palavras-chave “Pesquisa de Implementação” e “Ciência de Implementação”, ou por meio de sua vinculação a um grupo de pesquisa dedicado ao estudo das pesquisas de implementação. Os critérios de inclusão foram: possuir doutorado, experiência mínima de 10 anos em pesquisa em saúde e ter coordenado ou participado de Pesquisas de implementação. Após identificação, os especialistas foram contatados e convidados a participar do estudo.

Além de avaliar a equivalência conceitual de forma semelhante aos outros 20 participantes, o painel de especialistas foi convidado a avaliar cada item do instrumento em relação à sua equivalência de conteúdo (relevância) utilizando a seguinte escala: 1= não relevante; 2= pouco relevante; 3= relevante, mas precisa de pequena alteração; 4= muito relevante e sucinto. Os itens classificados como 1 (não relevante) ou 2 (pouco relevante) deveriam ser revistos. Com base nas respostas dos especialistas, o índice de Validade de Conteúdo no nível do item (IVC-I) e no nível da escala (IVC-E) foi calculado utilizando-se o método de cálculo médio (IVC-E/Med). Um IVC-I de 0.78 e um IVC-E de 0.90 foram definidos como índices mínimos aceitáveis¹³, ¹⁴.

Aplicação da ferramenta no delineamento de projetos e pesquisas de implementação e avaliação preliminar de sua estrutura, conteúdo e utilidade

A ferramenta validada (denominada ImpRes-BR) em conjunto com seu guia de utilização foi disponibilizada para aplicação no delineamento de projetos ou pesquisas de implementação. Os projetos em questão constituíam o trabalho final de um curso introdutório às pesquisas de implementação oferecido por meio do Centro de Pesquisas em Saúde Reprodutiva de Campinas em parceria com o Programa de Pós-Graduação em Saúde Coletiva da Universidade Estadual de Campinas, entre outubro e novembro de 2022. Sua elaboração deveria levar em conta os itens e instruções fornecidas pela ferramenta.

A participação no curso estava condicionada aos seguintes critérios de inclusão: ser maior de 18 anos, possuir ensino superior e possuir experiência prévia de pesquisa em saúde. Todos os 18 concluintes do curso foram convidados a participar do estudo, entre os quais 14 aceitaram. Estes últimos foram solicitados a responder um questionário previamente estruturado com 10 afirmativas acerca da estrutura, conteúdo e utilidade da ferramenta com base nas questões utilizadas para avaliação de sua versão original¹⁰.

Análise estatística

As análises quantitativas foram realizadas por meio do pacote estatístico Stata 11 (Stata Corp., College Station, Estados Unidos). Empregou-se a utilização de estatística descritiva para cálculo de mediana e intervalo interquartil das variáveis numéricas e proporção das variáveis categóricas. Os cálculos foram performados com base nos dados válidos, dados faltantes foram excluídos da análise.

Aspectos éticos

O estudo foi submetido e aprovado por um Comitê de Ética credenciado na Faculdade de Ciências Médicas da Universidade Estadual de Campinas sob registro CAAE: 00827918.8.0000.5404 parecer de nº 5.299.417, seguindo as normas brasileiras regulamentadoras e diretrizes para pesquisa envolvendo seres humanos – Resolução CNS 466/2012¹⁵, além do disposto na Declaração de Helsinque. Os princípios éticos foram assegurados pela garantia do direito de não participação na pesquisa desde o primeiro contato; anonimato e adoção do Termo de Consentimento Livre e Esclarecido.

Resultados

Tradução e retrotradução dos instrumentos

Como primeiro passo, a tradução dos instrumentos culminou em duas versões preliminares da ferramenta e seu guia, que mediante comparação apresentaram divergência quanto a alguns aspectos relevantes do ponto de vista conceitual. Essas divergências se relacionaram especialmente com os domínios ‘características da pesquisa de implementação’, ‘teorias, estruturas e modelos de implementação’ e ‘desfechos de implementação’.

No domínio ‘características da pesquisa de implementação’, as divergências se referiram a palavras ou conceitos específicos relacionados à caracterização do tipo de estudo de implementação e fases do estudo. Destacaram-se as opções por traduzir ou não palavras como ‘design’, utilização do conceito de ‘Intervenção Baseada em Evidências’ ou ‘intervenção factual’, ‘mudanças de prontidão’ ou ‘prontidão à mudança’ e confusão quanto a utilização dos conceitos de eficácia ou efetividade. Na abordagem de comitê, optou-se por traduzir todas as palavras passíveis de tradução, além de buscar pelos conceitos já utilizados no campo em português, como ‘prontidão para mudança’ e ‘Prática Baseada em Evidência’.

No domínio ‘teorias, estruturas e modelos de implementação’, a principal divergência se deu quanto a tradução da palavra ‘framework’, para qual em uma das versões teve-se o entendimento de que a mesma deveria ser mantida, enquanto outra versão indicou a palavra ‘bases’ como opção de tradução. Entendendo que a palavra ‘bases’ mudava o sentido pretendido e de que houve a escolha por traduzir o maior número de palavras possíveis, uma terceira opção foi considerada, utilizando-se assim a palavra ‘estrutura’.

No domínio ‘desfechos de implementação’, a principal divergência conceitual fazia alusão a definição dos desfechos de aceitabilidade e adequação. Foram atribuídas à definição de aceitabilidade expressões como ‘concordado’ e ‘grau de concordância’, sendo ambas descartadas na abordagem de comitê. Em seu lugar, expressões como ‘agradável’ e ‘palatável’ foram incluídas. Já o desfecho adequação havia sido traduzido inicialmente como adequabilida-de e apropriação, palavras menos usuais na língua portuguesa. Além disso, em uma das traduções a expressão ‘percepção de sustentabilidade’ havia sido atribuída como uma de suas definições, o que foi suprimido dada a possibilidade de sobreposição com o desfecho de implementação de sustentabilidade.

Na etapa de retrotradução não foram identificadas divergências que sinalizavam alteração do conteúdo original da ferramenta e seu guia. Na abordagem de comitê, que contou com a participação da autora principal dos instrumentos originais, as divergências encontradas estavam relacionadas à utilização de palavras mais usuais na língua portuguesa do que aquelas correspondentes à tradução literal das expressões utilizadas no idioma de origem. Destacam-se a opção de utilizar a expressão ‘usuários’ ao invés de ‘pacientes’, ‘líderes’ ao invés de ‘campeões’, ‘trabalhadores’ ao invés de ‘provedores’ ou ‘clínicos’, ‘facilitadores’ ao invés de ‘condutores’, ‘intervenção’ ao invés de ‘tratamento recomendado’, ‘realizar’ ao invés de ‘entregar’ e ‘consultoria’ ao invés de ‘aconselhamento’. Outras divergências diziam respeito aos tempos verbais ou utilização do gerúndio/infinitivo.

Primeira rodada do teste piloto da versão pré-final dos instrumentos no idioma de destino com uma amostra monolíngue

A primeira rodada do teste piloto da versão pré-final dos instrumentos envolveu 20 participantes, sendo a maioria do sexo feminino (65% n=13), com idade média de 36,7 (DP=9,40) anos. Demais características dos participantes, incluindo suas formações e familiaridade com pesquisas de implementação podem ser observadas na tabela 1.

Tabela 1
Características dos participantes incluídos na primeira e segunda rodada dos testes piloto da versão pré-final dos instrumentos

	Rodada 1		Rodada 2
	n	%	n	%
Sexo
Masculino	7	35%	5	25%
Feminino	13	65%	15	75%
Idade
Até 30 anos	7	35%	6	30%
Até 40 anos	8	40%	10	50%
41 anos ou mais	5	25%	4	20%
Escolaridade
Mestrado – cursando	7	35%	10	50%
Mestrado – completo	1	5%	1	5%
Doutorado – cursando	9	45%	7	35%
Doutorado – completo	3	15%	2	10%
Profissão
Médico	4	20%	3	15%
Enfermeiro	1	5%	1	5%
Psicólogo	9	45%	11	55%
Terapeuta Ocupacional	6	30%	4	20%
Nutricionista	0	0%	1	5%
Realização prévia de cursos acerca de pesquisa de implementação
Não	16	80%	17	85%
Sim	4	20%	3	15%
Participação prévia em pesquisas de implementação
Não	5	25%	6	30%
Sim	15	75%	14	70%

• Fonte: elaboração própria.

Na primeira rodada do teste piloto da versão pré-final dos instrumentos, dois domínios foram considerados como ‘claros’ por menos de 80% dos participantes: o domínio ‘teorias, estruturas e modelos de implementação’ e o domínio ‘desfechos de implementação’. Dessa Segunda rodada do teste piloto da versão forma, os mesmos foram revisados a partir das sugestões dos participantes e submetidos a uma segunda rodada de avaliação. O desempenho de cada domínio, além da folha de rosto e dos elementos introdutórios um e dois dos instrumentos, pode ser observado no gráfico 1. pré-final dos instrumentos no idioma de destino com uma amostra monolíngue

Gráfico 1
Desempenho de cada componente na primeira rodada do teste piloto da versão pré-final dos instrumentos

A segunda rodada do teste piloto da versão pré-final dos instrumentos envolveu outros 20 participantes e buscou avaliar a nova redação da ferramenta e seu guia de utilização no que se refere aos domínios dois e seis. As características dos participantes que compuseram essa etapa da avaliação podem ser observadas na tabela 1.

Na segunda rodada do teste piloto da versão pré-final dos instrumentos, os domínios ‘teorias, estruturas e modelos de implementação’ e ‘desfechos de implementação’ foram considerados como ‘claros’ por mais de 80% dos participantes: 95% e 85%, respectivamente. Mesmo com o alcance dos critérios mínimos de validade, sugestões de melhora nos dois domínios foram avaliadas e incorporadas na versão submetida aos especialistas.

Painel de especialistas: equivalência conceituai e de conteúdo da versão pré-final dos instrumentos no idioma de destino com uma amostra monolíngue

O painel de especialistas foi composto por 10 participantes, entre os quais a maioria era do sexo feminino (60% n=6) e a média de idade 45,5 (DP= 8,9) anos. De acordo com os critérios de inclusão, todos possuíam doutorado completo, experiência mínima de 10 anos em pesquisa em saúde e haviam coordenado ou participado de pesquisas de implementação. Adicionalmente, 40% (n = 4) dos participantes havia realizado algum curso de formação nesse campo. Quanto a área de formação, 30% (n=3) dos participantes eram médicos(as), 20% (n= 2) enfermeiros(as), 20% (n=2) economistas, além de um cirurgião dentista (10%), uma psicóloga (10%) e um nutricionista (10%).

Quanto à equivalência conceitual (clareza), todos os domínios da ferramenta em conjunto com seu guia de utilização foram avaliados como ‘claros’ por pelo menos 90% dos participantes. Concomitantemente, na avaliação de equivalência de conteúdo (relevância), apenas um avaliador atribuiu os conceitos ‘Não relevante’ ou ‘Pouco relevante’ a um dos domínios da ferramenta, a saber, o domínio ‘características da pesquisa de implementação’, que, portanto, obteve um índice de Validade de Conteúdo ao nível do item (IVC-I) de 0,90. Todos os demais domínios da ferramenta em conjunto com seu guia de utilização apresentaram um IVC-I de 1,00, resultando assim em uma Média do índice de Validade de Conteúdo ao nível da Escala (IVC-E/Med) de 0,98. Os resultados obtidos junto ao painel de especialistas para cada um dos domínios da ferramenta podem ser observados na tabela 2.

Tabela 2
Resultados referentes a avaliação da equivalência conceituai e de conteúdo de cada domínio junto ao painel de especialistas no teste piloto da versão pré-final dos instrumentos

	Equivalência Conceitual			Equivalência de Conteúdo			IVC-I
	Claro	Não claro	Não relevante	Pouco relevante	Relevante, mas precisa de pequena alteração	Muito relevante e sucinto
	n (%)	n (%)	n (%)	n (%)	n (%)	n (%)
Domínio 1	9 (90%)	1 (10%)	0 (0%)	1 (10%)	4 (40%)	5 (50%)	0,90
Domínio 2	9 (90%)	1 (10%)	0 (0%)	0 (0%)	5 (50%)	5 (50%)	1,00
Domínio 3	10 (100%)	0 (0%)	0 (0%)	0 (0%)	3 (30%)	7 (70%)	1,00
Domínio 4	10 (100%)	0 (0%)	0 (0%)	0 (0%)	3 (30%)	7 (70%)	1,00
Domínio 5	9 (90%)	1 (10%)	0 (0%)	0 (0%)	3 (30%)	7 (70%)	1,00
Domínio 6	10 (100%)	0 (0%)	0 (0%)	0 (0%)	4 (40%)	6 (60%)	1,00
Domínio 7	9 (90%)	1 (10%)	0 (0%)	0 (0%)	2 (20%)	8 (80%)	1,00
Domínio 8	10 (100%)	0 (0%)	0 (0%)	0 (0%)	1 (10%)	9 (90%)	1,00
Domínio 9	9 (90%)	1 (10%)	0 (0%)	0 (0%)	4 (40%)	6 (60%)	1,00
Domínio 10	9 (90%)	1 (10%)	0 (0%)	0 (0%)	4 (40%)	6 (60%)	1,00
IVC-/Med							0,98

• Fonte: elaboração própria.
• IVC-I: Índice de Validade de Conteúdo ao nível do item; IVC-E/Med: Média do Índice de Validade de Conteúdo ao nível da Escala.

A partir das recomendações recebidas na condução do painel de especialistas, uma última revisão da ferramenta e seu guia de utilização foi realizada no sentido de contemplar as sugestões e assim dar origem à versão final dos instrumentos. As sugestões incluíram a substituição de palavras que haviam sido mantidas no idioma original, como insights (traduzida para percepções) e experts (traduzida para especialistas), além da simplificação de expressões, complementação de frases, alteração dos títulos das tabelas e inserção de links entre os conteúdos e os materiais gráficos (ex: ‘veja a figura 1’). Após finalização, ambos os instrumentos foram disponibilizados em um repositório institucional de acesso aberto¹⁶.

Aplicação da ferramenta no delineamento de projetos e pesquisas de implementação e avaliação preliminar de sua estrutura, conteúdo e utilidade

A aplicação da ferramenta em projetos de implementação foi realizada por 14 participantes cujo as características podem ser observadas na tabela 3. Os projetos estavam majoritariamente (n=9) em fase de planejamento e se distribuíram nas áreas de atenção Materno-Infantil, Médico-Cirúrgica, Saúde Mental Comunitária, Oncologia, Pediatria e Saúde da Mulher. Conforme classificação proposta por Curran et al.¹⁷, os projetos consistiam majoritariamente em estudos puros de implementação (n=7) e estudos híbridos do tipo 2 (n=5).

Tabela 3
Características dos participantes incluídos na aplicação da ferramenta

	n	%
Sexo
Masculino	2	14,3
Feminino	12	85,7
Idade
Até 30 anos	2	14,3
Até 40 anos	6	42,9
41 anos ou mais	6	42,9
Escolaridade
Especialização – completa	3	21,4
Mestrado – cursando	3	21,4
Mestrado – completo	2	14,3
Doutorado – cursando	2	14,3
Doutorado – completo	4	28,6
Profissão
Médico	4	28,6
Enfermeiro	7	50
Psicólogo	2	14,3
Fisioterapeuta	1	7,1
Realização prévia de cursos acerca de pesquisa de implementação
Não	3	24,4
Sim	11	78,6
Participação prévia em pesquisas de implementação
Não	7	50
Sim	7	50
Área de concentração do projeto
Materno-Infantil	5	35,7
Médico-Cirúrgica	1	7,1
Saúde Mental Comunitária	3	21,4
Oncologia	1	7,1
Pediatria	1	7,1
Saúde da Mulher	3	21,4
Estágio do projeto
Em execução	5	35,7
Em planejamento	9	64,3
Tipo de estudo de implementação
Puro	7	50
Híbrido tipo 1	1	7,1
Híbrido tipo 2	5	35,7
Híbrido tipo 3	1	7,1

• Fonte: elaboração própria.

Os resultados relativos à avaliação da ferramenta quanto a sua estrutura, conteúdo e utilidade podem ser observados na tabela 4, onde são apresentadas as medianas encontradas, bem como seus respectivos intervalos interquartis, para cada uma das afirmações utilizadas.

Tabela 4
Avaliação da estrutura, conteúdo e utilidade da ferramenta

Mediana (IRQ)
Estrutura e conteúdo
A ferramenta ImpRes-BR é fácil de entender	4 (4-4)
O preenchimento da ferramenta ImpRes-BR é demorado	4 (3-4)
A ferramenta ImpRes-BR é muito longa	4 (3-4)
A ordem das perguntas da ImpRes-BR é lógica	4 (4-5)
A ferramenta ImpRes-BR cobre os principais componentes que devem ser considerados ao desenhar ou conduzir um Projeto de Implementação	4 (4-5)
Utilidade
A ferramenta ImpRes-BR é útil para autoanálise da equipe envolvida no projeto quanto aos elementos da pesquisa de implementação	4,5 (4-5)
A ferramenta ImpRes-BR é útil para identificar as áreas do projeto onde faltam elementos da Ciência de Implementação	4 (4-5)
A ImpRes-BR é uma ferramenta útil para fortalecer os projetos em relação à Ciência de Implementação	5 (4-5)
Dar feedback às equipes de pesquisa sobre seus projetos com base na ferramenta ImpRes-BR seria útil para melhorar a qualidade das pesquisas de implementação	5 (4-5)
A ImpRes-BR é uma ferramenta útil para avaliar a qualidade de uma pesquisa de implementação	4 (4-4)

• Fonte: elaboração própria.

Discussão

Além de tornar oportuno o entendimento de seu conteúdo a um maior número de potenciais beneficiários, a realização dos procedimentos de tradução e adaptação cultural, apoiados em um referencial teórico claro e rigoroso, permitem assegurar a equivalência conceitual, de itens, semântica, operacional, de mensuração e funcional de uma determinada ferramenta, tornando-a responsiva à cultura e contexto de determinado país¹⁸. Nesse sentido, os resultados obtidos por meio deste estudo indicam que a ImpRes-BR alcançou níveis satisfatórios de validade, constituindo-se assim como uma ferramenta adequada para guiar o delineamento e qualificação de projetos e pesquisas de implementação no contexto brasileiro.

Cabe ressaltar que, embora nas fases de tradução não tenha havido conflitos importantes entre as versões elaboradas pelos tradutores independentes, nas fases de retrotradução foi possível observar que algumas das expressões pactuadas na abordagem de comitê, que gerou a primeira versão traduzida da ferramenta e seu guia, não correspondiam àquelas presentes na versão original dos instrumentos. Isso se deu porque a tradução literal de algumas das expressões originais não é equivalente à linguagem cotidiana do contexto brasileiro. Entre as expressões relacionadas aos serviços de saúde, destacam-se o tratamento dos trabalhadores em saúde, como ‘provedores/providers’ ou ‘clínicos/clinicians’ e ainda a prestação de cuidados como ‘entrega de servi-ços/deliver services’. De forma mais ampliada, destaca-se ainda o conceito de campeões, que embora possa assumir o mesmo significado de ‘champions’, expressão original, raramente é assimilado dessa forma na língua portuguesa.

Esses aspectos corroboram a relevância de submeter a ImpRes aos procedimentos de tradução e validação para sua utilização no Brasil. Além de possibilitar a leitura em língua portuguesa, esse processo implicou em uma maior aproximação dos conteúdos da ferramenta e seu guia de utilização da realidade vivenciada em serviços e sistema de saúde no País. Um ponto importante de ser ressaltado nesse sentido foi a participação da autora principal desses instrumentos na etapa de avaliação das versões retrotraduzidas. Com isso, foi possível clarificar os sentidos atribuídos às expressões originais, para que a melhor expressão equivalente fosse selecionada.

Apesar dos esforços realizados no sentido de elaborar versões da ferramenta e de seu guia que pudessem ser facilmente assimiladas pelos seus potenciais usuários, em uma primeira rodada do teste piloto dois domínios foram considerados como ‘claros’ por menos de 80% dos participantes. Destacam-se que os domínios em questão se referiam às ‘Teorias, Estruturas e Modelos de Implementação’ e aos ‘Desfechos de Implementação’, domínios que, em conjunto com as ‘Estratégias de Implementação’, são propriamente originais do campo da Ciência de Implementação no estudo dos processos de implementação. Dessa forma, sugere-se que parte da necessidade de um investimento maior na clarificação desses conteúdos pode estar associada a incipiência desse tipo de estudo no País.

Já na avaliação de especialistas, a equivalência conceitual foi atestada por pelo menos 9 dos 10 especialistas para todos os domínios avaliados. De forma semelhante, a equivalência de conteúdo foi avaliada de forma negativa em apenas um dos domínios por um dos especialistas. Nos demais casos, os domínios foram avaliados positivamente, necessitando apenas de pequenas alterações. Nesse sentido, destaca-se novamente o domínio 2, relacionado às ‘Teorias, Estruturas e Modelos de Implementação’, que recebeu sugestões de alteração por 5 especialistas. Entretanto, as alterações sugeridas nessa fase incluíram majoritariamente mudanças na forma nominal, alteração dos títulos das tabelas e inserção de links entre os conteúdos e os materiais gráficos. Essas alterações contribuíram para fluência da leitura e tornaram o material mais amigável para o usuário.

Vale ressaltar que esse se constitui como primeiro esforço de tradução e adaptação transcultural da ImpRes, não sendo possível comparar os resultados observados com experiências anteriores, como é recorrente nesse tipo de estudo¹⁹. Entretanto, espera-se que este estudo possa se tornar uma referência para esforços futuros, uma vez que há uma demanda importante de materiais para o delineamento de projetos e pesquisas de implementação em outros países da América Latina, cuja língua predominante é o espanhol²⁰.

Por outro lado, de forma semelhante ao que foi realizado com a versão original da ImpRes¹⁰, destaca-se a realização de uma avaliação preliminar do uso da ImpRes-BR a partir da sua aplicação em 14 projetos de implementação, em fase de planejamento ou execução, realizados em seis diferentes áreas do cuidado em saúde. Mediante aplicação nos projetos, foi possível observar um alto grau de concordância entre os participantes acerca da facilidade de entendimento da ImpRes-BR, sua logicidade e cobertura dos principais componentes de um projeto de implementação. No entanto, assim como na versão original, a ImpRes-BR também foi considerada longa e de preenchimento demorado.

Destaca-se que na versão original foi observado que o preenchimento da ImpRes era uma tarefa desmotivante para alguns aplicantes cujos projetos já haviam sido realizados ou estavam em andamento¹⁰. Nesse sentido, antecipava-se que os usuários mais prováveis de avaliar a ImpRes-BR como longa e demorada fossem aqueles com projetos em andamento. Entretanto, uma estratificação dos dados demonstrou que a amplitude interquartil oscilava para cima nesses dois itens quando avaliados somente entre aqueles cujo projeto ainda seria realizado (IRQ=4-4). Entre os fatores que podem explicar esse resultado, cabe destacar que enquanto a versão original da ImpRes foi aplicada por participantes recrutados em uma organização de pesquisa (NIHR CLAHRC South London), neste estudo, os participantes eram majoritariamente pesquisadores juniores, vinculados à programas de pós-graduação, em fase de definição do projeto de dissertação ou tese. Isso pode ter tornado o preenchimento da ImpRes uma tarefa árdua, uma vez que muitos aspectos ainda não comtemplados sobre o projeto precisaram ser avaliados.

Apesar de ter sido considerada longa e de preenchimento demorado, a ImpRes-BR, semelhantemente a versão original¹⁰, teve um alto grau de concordância quanto a sua utilidade. Entre as sentenças com melhor avaliação estiveram aquelas relacionadas a utilidade para autoanálise da equipe (mediana=4,5), capacidade de fortalecer projetos (mediana=5) e utilização como forma de feedback às equipes no intuito de melhorar a qualidade das pesquisas (mediana=5). Dessa forma, sugere-se a potencialidade da ImpRes-BR para qualificação de projetos e pesquisas de implementação no contexto brasileiro, tornando oportuna assim a condução de esforços de implementação potencialmente mais bem sucedidos e, consequentemente, de maior impacto para seus beneficiários.

Algumas limitações devem ser observadas na interpretação dos resultados deste estudo. Como o desenvolvimento de pesquisas de implementação balizadas pelo referencial teórico da Ciência de Implementação ainda é incipiente no País, o recrutamento de pesquisadores para aplicação da ImpRes-BR se constituiu um desafio. Como alternativa, a sua oferta foi empregada enquanto trabalho final de um curso introdutório às pesquisas de implementação destinado a pesquisadores que estivessem planejando ou desenvolvendo algum tipo de estudo nessa área. Se por um lado isso viabilizou a avaliação preliminar da ImpRes-BR, por outro lado, restringiu a aplicação da mesma entre um público predominantemente acadêmico, não incluindo, por exemplo, formuladores de políticas ou tomadores de decisão.

Nesse sentido, seria importante que a ImpRes-BR pudesse passar por um processo avaliativo mais abrangente, que envolva agentes de diferentes instituições bem como pessoas que tenham utilizado a mesma em diversas etapas do projeto e de forma transversal a todo processo de implementação. Ademais, assim como pontuado por Hull et al.¹⁰ acerca da versão original, seria importante conduzir um processo de avaliativo objetivo que permita identificar o quanto a utilização da ferramenta pode qualificar projetos e pesquisas de implementação e o quanto essa qualificação se traduz em melhores resultados práticos nos contextos do mundo real.

Conclusões

A ImpRes-BR, junto com seu guia de utilização, demonstrou índices satisfatórios de validade para utilização no delineamento e qualificação de projetos e pesquisas de implementação no contexto brasileiro. Embora possua uma estrutura longa e complexa, a ImpRes-BR foi reconhecida enquanto uma ferramenta potente para autoanálise das equipes de pesquisa na qualificação de seus projetos e fortalecimento dos mesmos em relação aos princípios da Ciência de Implementação.

• Suporte financeiro: Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), processo nº 2020/14309-7

Referências

• ¹
  Proctor EK, Landsverk J, Aarons G, et al. Implementation research in mental health services: an emerging science with conceptual, methodological, and training challenges. Adm Policy Ment Health. 2009 [acesso em 2020 jul 12]; 36(1):24-34. Disponível em: https://doi.org/10.1007/s10488-008-0197-4
  » https://doi.org/10.1007/s10488-008-0197-4
• ²
  Greenhalgh T, Robert G, Macfarlane F, et al. Diffusion of innovations in service organizations: systematic review and recommendations. Milbank Q. 2004 [acesso em 2020 jul 12]; 82(4):581-629. Disponível em: https://doi.org/10.1111/j.0887-378X.2004.00325.x
  » https://doi.org/10.1111/j.0887-378X.2004.00325.x
• ³
  Peters DH, Adam T, Alonge O, et al. Republished research: Implementation research: what it is and how to do it: implementation research is a growing but not well understood field of health research that can contribute to more effective public health and clinical policies and programmes. This article provides a broad definition of implementation research and outlines key principles for how to do it. Br J Sports Med. 2014 [acesso em 2020 jul 13]; 48(8):731-6. Disponível em: http://dx.doi.org/10.1136/bmj.f6753
  » http://dx.doi.org/10.1136/bmj.f6753
• ⁴
  Powell BJ, Proctor EK, Glass JE. A Systematic Review of Strategies for Implementing Empirically Supported Mental Health Interventions. Res Soc Work Pract. 2014 [acesso em 2020 jul 13]; 24(2):192-212. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4002057/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4002057/
• ⁵
  Fixsen DL, Blase KA, Timbers GD, et al. In search of program implementation: 792 replications of the Teaching Family Model. In Bernfeld GA, Farrington DP, Leschied AW, organizadores. Offender rehabilitation in practice: Implementing and evaluating effective programs. Inglaterra: John Wiley & Sons; 2001. p. 149-66.
• ⁶
  Proctor E, Silmere H, Raghavan R, et al. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Adm Policy Ment Health. 2011 [acesso em 2020 jun 12]; 38(2):65-76. Disponível em: https://doi.org/10.1007/s10488-010-0319-7
  » https://doi.org/10.1007/s10488-010-0319-7
• ⁷
  Lewis CC, Fischer S, Weiner BJ, et al. Outcomes for implementation science: an enhanced systematic review of instruments using evidence-based rating criteria. Implement Sci. 2015 [acesso em 2020 jul 12]; 10(155):1-17. Disponível em: https://doi.org/10.1186/s13012-015-0342-x
  » https://doi.org/10.1186/s13012-015-0342-x
• ⁸
  Powell BJ, Waltz TJ, Chinman MJ, et al. A refined compilation of implementation strategies: results from the Expert Recommendations for Implementing Change (ERIC) project. Implement Sci. 2015 [acesso em 2020 maio 12]; 10(21):1-14. Disponível em: https://doi.org/10.1186/s13012-015-0209-1
  » https://doi.org/10.1186/s13012-015-0209-1
• ⁹
  Nilsen P. Making sense of implementation theories, models and frameworks. Implement Sci. 2015 [acesso em 2020 jul 12]; 10(53):1-13. Disponível em: https://doi.org/10.1186/s13012-015-0242-0
  » https://doi.org/10.1186/s13012-015-0242-0
• ¹⁰
  Hull L, Goulding L, Khadjesari Z, et al. Designing high-quality implementation research: development, application, feasibility and preliminary evaluation of the implementation science research development (ImpRes) tool and guide. Implement Sci. 2019 [acesso em 2020 jan 12]; 14(80):1-20. Disponível em: https://doi.org/10.1186/s13012-019-0897-z
  » https://doi.org/10.1186/s13012-019-0897-z
• ¹¹
  Sousa VD, Rojjanasrirat W. Translation, adaptation and validation of instruments or scales for use in cross-cultural health care research: a clear and user-friendly guideline. J Eval Clin Pract. 2011 [acesso em 2020 jan 12]; 17(2):268-74. Disponível em: https://doi.org/10.1111/j.1365-2753.2010.01434.x
  » https://doi.org/10.1111/j.1365-2753.2010.01434.x
• ¹²
  Topf M. Three estimates of interrater reliability for nominal data. Nurs Res. 1986 [acesso em 2021 jul 12]; 35(4):253-5. Disponível em: https://doi.org/10.1097/00006199-198607000-00020
  » https://doi.org/10.1097/00006199-198607000-00020
• ¹³
  Lynn MR. Determination and quantification of content validity. Nurs Res [periódico na Internet]. 1986 [acesso em 2021 jul 12]; 35(6):382-6. Disponível em: https://journals.lww.com/nursingresearchonline/citation/1986/11000/determination_and_quantification_of_content.17.aspx
  » https://journals.lww.com/nursingresearchonline/citation/1986/11000/determination_and_quantification_of_content.17.aspx
• ¹⁴
  Waltz CF, Strickland OL, Lenz E. Measurement in Nursing and Health Research, 3. ed. New York: Springer Publishing Company; 2005.
• ¹⁵
  Conselho Nacional de Saúde. Resolução nº 466, de 12 de dezembro de 2012. Aprova as diretrizes e normas regulamentadoras de pesquisas envolvendo seres humanos. Diário Oficial da União, Brasília, DF. 13 Jun 2013; Seção I:59.
• ¹⁶
  King’s College London. ImpRes-BR (Brazilian Portuguese version) Implementation Science Research Development Tool. 2022. [acesso em 2021 jul 12]. Disponível em: https://kingsimprovementscience.org/resources/
  » https://kingsimprovementscience.org/resources/
• ¹⁷
  Curran GM, Bauer M, Mittman B, et al. Effectiveness-implementation hybrid designs: combining elements of clinical effectiveness and implementation research to enhance public health impact. Med Care. 2012 [acesso em 2020 jul 12]; 50(3):217-26. Disponível em: https://doi.org/10.1097/mlr.0b013e3182408812
  » https://doi.org/10.1097/mlr.0b013e3182408812
• ¹⁸
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. saúde coletiva. 2011 [acesso em 2020 jan 12]; 16(7):3061-8. Disponível em: https://doi.org/10.1590/S1413-81232011000800006
  » https://doi.org/10.1590/S1413-81232011000800006
• ¹⁹
  Erazo-Chavez LJ, La-Rotta EIG, Onocko-Campos RT. Adaptação transcultural do Recovery Self-Assessment RSA-R família/Brasil: evidências de validade baseada no conteúdo. Ciênc. saúde coletiva. 2021 [acesso em 2022 jul 12]; 26(supl2):3693-3704. Disponível em: https://doi.org/10.1590/1413-81232021269.2.32692019
  » https://doi.org/10.1590/1413-81232021269.2.32692019
• ²⁰
  Marten R, Reveiz L, Aslanyan G, et al. The value and impact of embedded implementation research: insights from Latin America and the Caribbean. Rev Panam Salud Publica. 2021 [acesso em 2022 jul 12]; 45:e110. Disponível em: https://iris.paho.org/handle/10665.2/54568
  » https://iris.paho.org/handle/10665.2/54568

Editado por

Editora responsável: Maria Lucia Frizon Rizzotto

Datas de Publicação

• Publicação nesta coleção
  15 Jul 2024
• Data do Fascículo
  Apr-Jun 2024

Histórico

• Recebido
  10 Maio 2023
• Aceito
  22 Mar 2024