Adaptação Transcultural do “Is research working for you? A self-assessment tool” no Brasil

Cross-cultural adaptation of “Is research working for you? A self-assessment tool” in Brazil

Resumo

O objetivo deste artigo é traduzir e adaptar para a cultura brasileira a ferramenta “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”, que auto-avalia a capacidade institucional das organizações de Saúde em Adquirir, Avaliar, Adaptar e Aplicar evidências ciêntificas na tomada de decisão de políticas. Estudo metodológico, analítico, com abordagem quanti-qualitativa. Utilizou-se uma amostra de gestores (n=99), representando 24 organizações em saúde brasileiras, entre outubro de 2018 e novembro de 2020. Adaptações propostas foram realizadas de forma consensual após ajustes das discordâncias do comitê de especialistas - Coeficiente de Kappa [0,41; 0,43 e 0,74]. A Ferramenta 4A, versão brasileira, teve equivalência semântica, idiomática, experimental e conceitual com a original. O valor do Alpha de Cronbach foi de 0,961; o do Coeficiente de Correlação Intraclasse, de 0,960. A Ferramenta 4A é válida e confiável no Brasil quanto à consistência interna e conteúdo. Sua aplicação é catalisadora de ações para estruturar capacidades institucionais de tornar o uso de evidências cientificas sistemático na tomada de decisão das organizações em saúde.

Palavras-chave: Tradução; Política informada por evidências; Gestão em saúde; Organizações em saúde

Abstract

The scope of this article is to translate and adapt the tool “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization,” which self-assesses the institutional capacity of Health organizations to Acquire, Evaluate, Adapt and Apply scientific evidence in policy decision-making. It is a methodological, analytical study with a quantitative and qualitative approach. A sample of managers was used (n=99), representing 24 Brazilian health organizations, between October 2018 and November 2020. Proposed adaptations were made in a consensual way after adjustments of the disagreements of the expert committee - Kappa coefficient [0.41; 0.43 and 0.74]. Tool 4A, Brazilian version, had semantic, idiomatic, experimental, and conceptual equivalence with the original. The value of Cronbach’s Alpha was 0.961; the value of the Intraclass Correlation Coefficient was 0.960. Tool 4A is valid and reliable in Brazil in terms of internal consistency and content. Its application is a catalyst for actions to structure institutional capacities to make the use of scientific evidence systematic in the decision-making processes of health organizations.

Key words: Translation; Evidence-based policy; Health management; Health organizations

Introdução

As responsabilidades das organizações em saúde em realizar intervenções assertivas no combate aos problemas necessitam de uma tomada de decisão complexa que enseja embasamentos confiáveis^1,2. Informar políticas através de evidências cientificas possibilita decisões qualificadas com menor possibilidade de ações errôneas. Porém, o uso sistemático evidências científicas nas organizações ainda é algo desafiador e urgente aos gestores de saúde, principalmente diante dos questionamentos à veracidade da ciência dos últimos tempos³.

O processo de tomada de decisão em saúde é complexo e envolve desde a necessidade definir bem o problema a ser abordado; encontrar alternativas efetivas para enfrentá-lo; até agregar elementos políticos, administrativos-financeiros e legislativos favoráveis ao desenvolvimento de uma política de saúde exitosa. Essas etapas podem ser influenciadas por várias questões de forma positiva ou negativa⁴.

Evidências científicas podem ser entendidas como a demonstração de fatos (reais ou declarados), que foram testados ou descritos pela ciência, que podem fundamentar conclusões². Elas têm influência positiva sobre à tomada de decisão desde a formulação até a implementação de políticas públicas, pois fortalecem os sistemas de saúde aumentando eficácia, eficiência e efetividade, principalmente no contexto da saúde pública onde recursos financeiros escassos e necessidade de uma prestação de constas (accountability) transparentes são desafios contínuos ao gestor. Apesar de muitos argumentos a favor, sua adesão como componente usual na tomada de decisão de políticas governamentais é influenciada por múltiplos fatores, que podem se configurar barreiras a serem superadas para que o uso das evidências científicas como subsídio das decisões ocorra de forma sistemática no Brasil^5-8.

Há um abismo entre a ciência e a tomada de decisão em políticas e sistemas de saúde (o know-do gap). Os tempos, as agendas, as perspectivas, as diferentes maneiras de buscar a verdade são muito diferentes entre os tomadores de decisão e pesquisadores, exigindo que as organizações busquem formas de adaptar-se para responder de forma adequada suas necessidades para apropriação das evidências científicas disponíveis^9,10.

Em 2015, a Organização Mundial da Saúde (OMS), buscando estreitar a distância entre pesquisa e política, reconheceu que muitas de suas recomendações eram produzidas em processos sem o uso sistemático de evidências científicas. Esse foi um marco importante para que ela impulsionasse os Estados-Membros a fortalecer mecanismos que impulsionassem o uso de evidências científicas para apoiar decisões em saúde pública^8,11.

Tomadores de decisão em diferentes níveis do sistema de saúde contribuem, sinergicamente, para uma cultura organizacional, que pode ser mais ou menos receptiva ao uso de evidências científicas. Por sua vez, estruturas e processos nas organizações contribuem para a capacidade dos indivíduos de realizar atividades e/ou tomar decisões informadas por evidências. Agir sobre esses pontos, na prática, exige que os gestores examinem abertamente os recursos que suas organizações têm em vigor e desenvolvam a capacidade desses recursos (sejam eles pessoas, programas ou estruturas) em usar a pesquisa^12-14.

A capacidade que uma organização em saúde tem de facilitar ou não o uso de evidências é complexa e ainda pouco compreendida. Existem algumas ferramentas avaliativas que ajudam a determinar quão bem um indivíduo é capaz de acessar, usar e compreender as evidências de pesquisa. Todavia, existem poucas ferramentas que foram desenvolvidas para esse tipo de avaliação na esfera organizacional^12,15,16.

As organizações de saúde, em alguns casos, não incentivam os funcionários a desenvolver habilidades sobre as práticas de gestão e atenção e baseadas nas melhores evidências disponíveis. Arranjos organizacionais, tais como: gestão com integração de pesquisa, estruturas institucionais e regras para a formulação de políticas, tomada de decisão descentralizada, cultura e crenças, estilos de liderança, acesso a bancos de dados, colaboradores bilíngues, entre outros, podem atuar como barreiras ou facilitadores para a aceitação e o uso sistemático de pesquisas por tomadores de decisão em saúde, dependendo do nível de presença ou não na organização em saúde^12,16,17.

Com o objetivo de ajudar as organizações na avaliação de seus pontos fortes e lacunas relacionados ao uso de evidências científicas em seus processos decisórios, foi criada, no Canadá, a ferramenta avaliativa “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”. Ela avalia a capacidade da organização em usar a ciência, incluindo a disponibilidade de evidências; de avaliar as evidências; de adaptá-las e aplicá-las para subsidiar decisões^12,14,18.

O compromisso com a Política Informada por Evidências (PIE) exige, primeiro das organizações em saúde, um balanço de facilitadores e de desafios, que podem influenciar institucionalmente o uso de evidências^12,17. No Brasil, não foram encontrados por nós estudos publicados que utilizem ferramentas validadas para avaliar as competências organizacionais na utilização de evidências científicas para a tomada de decisão nas organizações em saúde. Assim, diante do exposto, apresenta-se a seguinte questão norteadora: Como realizar a adaptação transcultural de uma ferramenta que autoavalia as capacidades organizacionais de usar evidências científicas na tomada de decisão em saúde?

Nesse sentido, este estudo tem como objetivo descrever o processo de tradução e adaptação para a cultura brasileira do “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”.

Metodologia

Trata-se de um estudo metodológico, analítico, com abordagem quanti-qualitativa. Os estudos metodológicos tratam do desenvolvimento, da validação e da avaliação de ferramentas e métodos de pesquisa¹⁹.

A ferramenta avaliativa adaptada foi a “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”, desenvolvida no Canadá pela Canadian Foundation for Healthcare Improvement - CFHI¹³ (atualmente Healthcare Excellence Canada - HEC). A ferramenta já foi validada, academicamente, no Canadá, na Colômbia, na Argentina, no México e na Geórgia^12-14.

Estruturalmente, a ferramenta é composta por duas partes: uma quantitativa e uma quanti-qualitativa. A parte 1 dispõe de 40 itens distribuídos em 4 dimensões avaliativas (Adquirir, Avaliar, Adaptar e Aplicar). Os itens são compostos por afirmativas no formato de escala do tipo Likert (Discordo fortemente; Discordo; Não concordo nem discordo; Concordo; Concordo plenamente). Na avaliação de cada dimensão da parte 1, a ferramenta tem a capacidade de responder as seguintes questões:

• Adquirir (12 itens) - a organização de saúde pode obter as evidências científicas de que precisa?

• Avaliar (5 itens) - a organização de saúde pode avaliar as evidências científicas para garantir que sejam confiáveis, relevantes e aplicáveis?

• Adaptar (8 itens) - a organização de saúde pode apresentar as evidências científicas aos gestores de uma maneira útil e localizada ao seu contexto regional?

• Aplicar (15 itens) - existem habilidades, estruturas, processos e uma cultura em sua organização de saúde para promover e aplicar as evidências científicas na tomada de decisão?

A segunda parte é composta por um guia de discussão com 7 perguntas com respostas objetivas de múltipla escolha. Essas questões pontuam as potencialidades e barreiras da autoavaliação organizacional guiada pelos 40 itens da parte 1. A discussão é realizada como um grupo focal, em que os participantes que responderam a parte 1 dialogam na direção de um consenso e de propostas de intervenção^12,14.

Processo de Adaptação Transcultural

O processo de adaptação transcultural foi desenvolvido em seis etapas²⁰ (Figura 1).

Figura 1
Etapas da tradução, adaptação transcultural e validação da Ferramenta 4A no Brasil, 2021.

Primeiramente, obteve-se autorização, por meio de correio eletrônico, da instituição responsável pela formulação do instrumento. Essa autorização se refere à aceitação em realizar tradução e adaptação da ferramenta no Brasil²⁰.

Na etapa I, foi realizada a tradução inicial da ferramenta do inglês para o português por dois tradutores juramentados na língua inglesa. O tradutor 1 era da área de saúde; o tradutor 2, da área jurídica. Os tradutores trabalharam de forma independente e cega. Dessa etapa, resultaram duas versões no idioma português (T1 e T2)²⁰.

Na etapa II, foi realizada a síntese envolvendo as duas traduções (T1 e T2) e, comparando-a com o instrumento original, foi gerada a versão T12. Os dois tradutores e uma observadora (pesquisadora responsável) averiguaram se houve divergências nas escolhas das palavras pelos tradutores. O objetivo dessa revisão foi o refinamento linguístico e cultural da ferramenta²⁰.

A retrotradução, exigida na etapa III, a versão (T12) foi retraduzida para o inglês por outros dois tradutores bilíngues, de forma independente e cega, gerando as versões RT1 e RT2. Esse é um processo de verificação de validade para garantir que a versão traduzida está refletindo o mesmo item-conteúdo como versão original. A retrotradução foi feita por dois tradutores com o idioma de origem (inglês) como sua língua materna, sendo (neste caso) ambos da área de administração em saúde²⁰.

A finalidade das etapas I, II e III foi corrigir erros que comprometessem o significado dos itens e interpretações equivocadas durante a etapa de tradução, garantindo que a versão traduzida fosse a mais fidedigna possível à versão original da ferramenta²⁰.

Na etapa IV, um comitê de especialistas (n=3) avaliou, de forma consensual, se a tradução de cada ponto das dimensões da ferramenta estava coerente com a versão original, com base nas análises de equivalências semântica, idiomática, experiencial e conceitual²⁰. A equivalência semântica refere-se ao significado das palavras (gramática e vocabulário); a idiomática, às expressões idiomáticas e aos coloquialismos; a experiencial remete a expressões ligadas à experiência e à cultura nacional; a conceitual representa o conceito explorado e a coerência do item em relação àquilo que se propõe²⁰. Os integrantes do comitê de especialistas foram convidados de forma intencional: uma especialista na estrutura de instrumentos de pesquisa; e dois especialistas no conteúdo. O material à disposição do comitê incluiu o questionário original e cada tradução (T1, T2, a síntese de T12, RT1, RT2) (Figura 1), juntamente com os relatórios escritos correspondentes. Em uma planilha do Microsoft Excel®, os pesquisadores compilaram as sugestões apontadas para cada item.

O Coeficiente de Kappa²¹ foi utilizado para analisar a concordância dos especialistas em relação à análise dos itens. Esse coeficiente permite avaliar tanto se a concordância está além do esperado tão somente pelo acaso quanto o grau dessa concordância. Quanto mais próximo de 1 for seu valor, maior é o indicativo de que existe uma concordância entre os juízes.

Na etapa V, depois de acrescentados e/ou retificados os ajustes sugeridos na etapa IV, procedeu-se à aplicação da ferramenta nas organizações em saúde. Essa etapa teve a intenção de testar a compreensão dos itens e o tempo de preenchimento, e as equivalências pontuadas na etapa IV.

A ferramenta foi aplicada a gestores de saúde (n=99), representando 24 organizações (7 Secretarias Municipais de Saúde; 1 Secretaria Estadual de Saúde; 16 Núcleos de Evidências (Núcleos de Evidências - unidades que atuam na realização de uso de evidência científica na formulação de políticas aos gestores de saúde⁶)). A coleta de dados dessa etapa foi realizada entre novembro de 2018 e outubro de 2020.

A aplicação da ferramenta foi realizada dentro de reuniões regulares das equipes. Os participantes preencheram a parte 1 da ferramenta, individualmente. Em seguida, discutiram, em forma de grupo focal, responderam os itens da parte 2 elaborando um consenso de respostas. A pesquisadora responsável esteve presente como observadora participante, manifestou-se em momentos que algum esclarecimento foi necessário^12,20.

Em alguns casos, foi necessário realizar a aplicação do instrumento por teleconferência (n=37 gestores/ 17 organizações), devido ao período de distanciamento social preventivo na pandemia do COVID-19. As demais aplicações aconteceram de forma presencial (n=64/ 7 organizações). As sessões foram gravadas e transcritas com o consentimento dos participantes. O instrumento foco desse estudo, na versão brasileira, foi chamado de “Ferramenta 4A”, fazendo referência às quatro dimensões avaliativas (Adquirir, Avaliar, Adaptar e Aplicar).

Para medir a consistência interna/confiabilidade dos itens da ferramenta, foi aplicado o Coeficiente Alpha de Cronbach. Esse teste mede a magnitude em que os itens de uma ferramenta estão relacionados. A consistência interna de um questionário é tanto maior quanto mais perto de 1 estiver o valor da estatística^22,23. Para medir a reprodutibilidade da ferramenta através da concordância entre os respondentes, usou-se o Coeficiente de Correlação Intraclasse (CCI), com índice de significância de 95%. Quanto mais próximo de 1 for seu valor, maior é o indicativo de que existe uma concordância entre os respondentes, ou seja, que o instrumento é mais compreendido²⁴.

Por fim, na etapa VI, foi realizada a submissão dos relatórios e formulários ao desenvolvedor do instrumento com o objetivo de ciência e acompanhamento de que as etapas recomendadas foram seguidas. Obteve-se resposta de aprovação final e reconhecimento dessa tradução como legítima e, de forma oficial, a única autorizada oficialmente no Brasil, até então²⁰.

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do Instituto Aggeu Magalhães, Fundação Oswaldo Cruz, CAAE: 86325818.2.0000.5190, sob o parecer nº 2.630.785. Os participantes aceitaram a participar assinando o Termo de Consentimento Livre e Esclarecido (TCLE), sendo assegurados sua não identificação e o sigilo das respostas. Este trabalho foi oriundo de estudo de tese de Doutorado Acadêmico em Saúde Pública, vinculada ao Instituto Aggeu Magalhães, Fundação Oswaldo Cruz.

Resultados

A ferramenta “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization” foi adaptada culturalmente para o português brasileiro. As versões T1 e T2 apresentaram formatos próximos, porém existiu a necessidade de ajuste em alguns pontos, principalmente relacionados aos termos da área da saúde - a T1 foi mais correspondente à área do que a T2. A versão T12 foi finalizada após uma rodada de reunião entre os tradutores e a pesquisadora-observadora. Na retrotradução, as duas traduções realizadas de forma independente (RT1 e RT2) foram comparadas à versão original pela observadora; ambas foram consideradas como análogas à versão original, tendo pontos diferentes, mas sem discrepâncias quanto ao significado. Em seguida, a versão consolidada foi analisada pelo comitê de especialistas. Os valores do Coeficiente de Kappa para os 47 itens da ferramenta em relação a todas as equivalências e a tradução T12 estão descritos na Tabela 1. E os valores do coeficiente de Kappa para concordância entre os especialistas nas equivalências semântica, idiomática, cultural e conceitual, separadamente, estão descritas na Tabela 2.

Tabela 1
Valores do coeficiente de Kappa para concordância entre os especialistas em relação à versão T12 quanto a todas as equivalências como um todo. Brasil, 2021.

Especialista	Coeficiente de Kappa
1	0.43
2	0.41
3	0.74

• Fonte: Autores, com base nos dados deste trabalho.

Tabela 2
Valores do coeficiente de Kappa para concordância entre os especialistas em relação às equivalências semântica, idiomática, cultural e conceitual, Brasil, 2021.

Equivalências		Coeficiente de Kappa
		Especialista 1	Especialista 2	Especialista 3
Semântica
	Especialista 1	1
	Especialista 2	-0.25	1
	Especialista 3	0.01	-0.33	1
Idiomática
	Especialista 1	1
	Especialista 2	0.592	1
	Especialista 3	0.287	0.148	1
Cultural
	Especialista 1	1
	Especialista 2	0.678	1
	Especialista 3	0.575	0.456	1
Conceitual
	Especialista 1	1
	Especialista 2	0.685	1
	Especialista 3	0.798	0.856	1

• Fonte: Autores, com base nos dados deste trabalho.

Observam-se concordâncias moderadas dos especialistas 1 e 2 em relação à forma global da versão T12, e uma concordância substancial do especialista 3. Em relação às equivalências separadamente entre os especialistas, as que tiveram mais discordâncias foram as semânticas e idiomáticas. A cultural e a conceitual tiveram uma concordância de substancial a excelente²⁴.

No consenso final entre os especialistas, foram feitas modificações em todos os itens, exceto em 5, 10, 11, 12, 30, 31, 33, 35 e 40, que estavam adequados quanto às equivalências analisadas. As características dos respondentes estão descritas na Tabela 3.

Tabela 3
Características dos 99 gestores que participaram do estudo de validação da Ferramenta 4A no Brasil, 2021.

Características		n (%)
Sexo
	Feminino	80 (80.8)
	Masculino	17 (17.2)
	Ignorado	2 (2)
Idade
	<41	38 (38.4)
	41 a 50	24 (24.2)
	≥51	37 (37.4)
Nível de Escolaridade
	Graduação	13 (14.3)
	Especialização	43 (47.3)
	Mestrado	17 (18.7)
	Doutorado	8 (8.8)
	Pós-doutorado	9 (9.9)
	Ignorado	1 (1.1)
Proficiência em leitura de línguas estrangeiras
	Inglês	37 (37.4)
	Espanhol	24 (24.2)
	Não possui em nenhuma língua	38 (38.4)

• Fonte: Autores, com base nos dados deste trabalho.

Em média, cada aplicação da ferramenta por organização em saúde durou por volta de 1h40min considerando as duas etapas. A versão final, pós pré-testes, não teve nenhuma mudança em termos estruturais. As versões comparativas e a ferramenta final encontram-se no Quadro 1.

Quadro 1
Ferramenta 4A - Traduzida e Adaptada para o Brasil com o comparativo entre as versões iniciais (Brasil, 2021).

Instrumento Original	Versão consensual em português (T12)	Versão final “Ferramenta 4A”
IS RESEARCH WORKING FOR YOU? A SELF-ASSESSMENT TOOL	A PESQUISA ESTÁ ATUANDO A SEU FAVOR? UMA FERRAMENTA DE AUTOAVALIAÇÃO	A PESQUISA ESTÁ ATUANDO A SEU FAVOR? UMA FERRAMENTA DE AUTOAVALIAÇÃO
PART ONE: ACQUIRE	PRIMEIRA PARTE: OBTER	PRIMEIRA PARTE: ADQUIRIR
1.1. ARE WE ABLE TO ACQUIRE RESEARCH?	1.1. SOMOS CAPAZES DE OBTER PESQUISAS?	1.1. SOMOS CAPAZES DE ADQUIRIR EVIDÊNCIAS CIENTÍFICAS?
P1. We have skilled staff for research.	P1. Temos pessoal qualificado para a condução de pesquisas.	P1. Temos pessoal qualificado para realizar a busca de evidências científicas.
P2. Our staff has enough time for research.	P2. Nossa equipe tem tempo suficiente para a condução de pesquisas.	P2. Nossa equipe tem tempo suficiente para a realizar busca de evidências científicas.
P3. Our staff has the incentive to do research (it is used in our decision-making).	P3. Nossa equipe tem o incentivo para a condução de pesquisas (ela é usada em nosso processo de tomada de decisão).	P3. Nossa equipe tem o incentivo para buscar evidências científicas (ela é usada em nosso processo de tomada de decisão).
P4. Our staff has the resources to do research.	P4. Nossa equipe tem os recursos para a condução de pesquisas.	P4. Nossa equipe tem os recursos para buscar evidências científicas.
P5. We have arrangements with external experts who search for research, monitor research, or do research for us.	P5. Temos acordos com especialistas externos que localizam e monitoram pesquisas ou conduzem pesquisas para nós.	P5. Temos acordos com especialistas externos que localizam e monitoram evidências científicas ou conduzem pesquisas para nós.
1.2. ARE WE LOOKING FOR RESEARCH IN THE RIGHT PLACES?	1.2. ESTAMOS À PROCURA DE PESQUISAS NOS LUGARES CORRETOS?	1.2. ESTAMOS BUSCANDO EVIDÊNCIAS CIENTÍFICAS NOS LUGARES CORRETOS?
P6. We look for research in journals (that is by subscription, Internet, or library access; examples are the Journal of Health Services Research & Policy and Healthcare Quarterly).	P6. Buscamos pesquisas em revistas especializadas (isto é, por assinatura, acesso à Internet ou biblioteca; como por exemplo a Revista Trimestral de Pesquisa e Políticas em Serviços de Saúde e Assistência Médica (Journal of Health Services Research & Policy and Healthcare Quarterly).	P6. Buscamos evidências científicas em revistas científicas através de assinatura, acesso à internet ou biblioteca, como por exemplo: Revista Pan-Americana de Saúde Pública, Cadernos de Saúde Pública, Revista de Saúde Pública, Ciência & Saúde Coletiva, etc.
P7. We look for research in non-journal reports (grey literature) by library, Internet access, or direct mailing from organizations such as ministries of health, the Centre for Health Economics & Policy Analysis (CHEPA), or the Centre for Health Services and Policy Research (CHSPR).	P7. Buscamos pesquisas em trabalhos independentes (literatura cinzenta) por meio de acesso à biblioteca, à Internet ou mala direta proveniente de organizações como ministérios da saúde, o Centro de Análise Econômica e Política de Saúde (Centre for Health Economics & Policy Analysis - CHEPA) ou o Centro de Pesquisas em Serviços e Políticas de Saúde (Centre for Health Services and Policy Research - CHSPR).	P7. Buscamos evidências científicas em relatórios não periódicos (literatura cinzenta) ex. protocolos, diretrizes terapêuticas, portarias, normas, por meio de acesso à biblioteca, à internet ou envios diretos provenientes de organizações de saúde como Ministérios da Saúde, Secretarias Estaduais e Municipais de Saúde etc.
P8. We look for research in databases by subscription or Internet access, such as the Canadian Institute for Health Information, the Cochrane Collaboration, and citation indices.	P8. Buscamos pesquisas em bancos de dados por assinatura ou por meio de acesso à Internet, como o Instituto Canadense de Informação em Saúde (Canadian Institute for Health Information), a Colaboração Cochrane (Cochrane Collaboration), além de índices de citações.	P8. Buscamos evidências científicas em bancos de dados por assinatura ou por meio de acesso à internet, como por exemplo: Biblioteca Virtual de Saúde (BVS), Rede Brasileira de Avaliação de Tecnologias em Saúde (REBRATS), etc.
P9. We look for information on web sites (those that collate and/or evaluate sources) such as Best Evidence or Bandolier.	P9. Procuramos informações em sites na Internet (aqueles que agrupam e/ou avaliam as fontes), tais como o Best Evidence ou Bandolier.	P9. Buscamos informações em sites na internet do tipo que agrupam e/ou avaliam as fontes de informação, tais como o: Portal Saúde Baseada em Evidências - EvipNet, Best Evidence ou Bandolier.
P10.We work with researchers through formal and informal networking meetings with our staff.	P10. Trabalhamos com pesquisadores por meio de reuniões formais e informais com nossa equipe.	P10. Trabalhamos com pesquisadores por meio de reuniões formais e informais com nossa equipe.
P11.We get involved with researchers as a host, decision-maker partner, or sponsor.	P11. Nos envolvemos com pesquisadores como anfitriões, parceiros no processo de tomada de decisão ou patrocinadores.	P11. Nos envolvemos com pesquisadores como anfitriões, parceiros no processo de tomada de decisão ou patrocinadores.
P12. We learn from peers through informal and formal networks to exchange ideas, experiences, and best practices.	P12. Aprendemos com colegas através de redes informais e formais para trocar ideias, experiências e melhores práticas.	P12. Aprendemos com colegas através de redes informais e formais para trocar ideias, experiências e melhores práticas.
PART TWO: ASSESS	SEGUNDA PARTE: AVALIAR	PARTE 2. AVALIAR
2.1. CAN WE TELL IF THE RESEARCH IS VALID AND OF HIGH QUALITY?	2.1. PODEMOS AFIRMAR QUE A PESQUISA É VÁLIDA E DE ALTA QUALIDADE?	2.1. PODEMOS AFIRMAR QUE AS EVIDÊNCIAS CIENTÍFICAS SÃO VÁLIDAS E DE ALTA QUALIDADE?
P13. Staff in our organization has critical appraisal skills and tools for evaluating the quality of methodology used in research.	P13. A equipe em nossa organização possui habilidades de avaliação crítica e ferramentas para avaliar a qualidade da metodologia usada na pesquisa.	P13. A equipe em nossa organização possui habilidades de avaliação crítica e ferramentas para avaliar a qualidade da metodologia usada na evidência científica.
P14. Staff in our organization has the critical appraisal skills to evaluate the reliability of specific research by identifying related evidence and comparing methods and results.	P14. A equipe em nossa organização possui as habilidades de avaliação crítica para avaliar a confiabilidade de uma pesquisa específica, identificando evidências relacionadas e comparando métodos e resultados.	P14. A equipe em nossa organização possui as habilidades de avaliação crítica para avaliar a confiabilidade de uma pesquisa específica, identificando evidências relacionadas e comparando métodos e resultados.
P15. Our organization has arrangements with external experts who use critical appraisal skills and tools to assess methodology and evidence reliability, and to compare methods and results.	P15. Nossa organização possui acordos com especialistas externos que usam habilidades de avaliação crítica e ferramentas para avaliar a confiabilidade da metodologia e evidências, e para comparar métodos e resultados.	P15. Nossa organização possui acordos com especialistas externos que usam habilidades de avaliação crítica e ferramentas para avaliar a metodologia e a confiabilidade das evidências, e para comparar métodos e resultados.
2.2. CAN WE TELL IF THE RESEARCH IS RELEVANT AND APPLICABLE?	2.2. PODEMOS AFIRMAR QUE A PESQUISA É RELEVANTE E APLICÁVEL?	2.2. PODEMOS AFIRMAR QUE AS EVIDÊNCIAS CIENTÍFICAS SÃO RELEVANTES E APLICÁVEIS?
P16. Our staff can relate our research to our organization and point out similarities and differences.	P16. Nossa equipe pode mostrar a relevância do conteúdo de nossa pesquisa frente aos principais objetivos de nossa organização e apontar semelhanças e diferenças.	P16. Nossa equipe pode mostrar a relevância do conteúdo das evidências científicas frente aos principais objetivos de nossa organização e apontar semelhanças e diferenças.
P17. Our organization has arrangements with external experts to identify the relevant similarities and differences between what we do and what the research says.	P17. Nossa organização possui acordos com especialistas externos para identificar as semelhanças e diferenças relevantes entre os nossos principais objetivos e o conteúdo da pesquisa.	P17. Nossa organização possui acordos com especialistas externos para identificar as semelhanças e diferenças relevantes entre o que praticamos e o que indicam as evidências científicas.
PART THREE: ADAPT	TERCEIRA PARTE: ADAPTAR	PARTE 3: ADAPTAR
3.1. CAN WE SUMMARIZE RESULTS IN A USER-FRIENDLY WAY?	3.1 PODEMOS RESUMIR OS RESULTADOS DE MANEIRA AMIGÁVEL AO USUÁRIO?	3.1 PODEMOS RESUMIR OS RESULTADOS DAS EVIDÊNCIAS CIENTÍFICAS EM LIGUAGEM ADEQUADA AO USUÁRIO DA INFORMAÇÃO?
P18. Our organization has enough skilled staff with time, incentives, and resources who use research communication skills to present research results concisely and in accessible language.	P18. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos que fazem uso de habilidades na comunicação de pesquisa para apresentar resultados de pesquisa de forma concisa e com uma linguagem acessível.	P18. Nossa organização possui pessoal suficientemente qualificado com tempo disponível, incentivos e recursos, e que usam habilidades de comunicação de pesquisa para apresentar as evidências científicas de forma concisa e com uma linguagem acessível.
P19. Our organization has enough skilled staff with time, incentives, and resources who use research communication skills to synthesize in one document all relevant research, along with information and analyses from other sources.	P19. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos que fazem uso de habilidades na comunicação de pesquisa para sintetizar em um documento todas as pesquisas relevantes, juntamente com informações e análises de outras fontes.	P19. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos, e que usam habilidades de comunicação de pesquisa para sintetizar em um documento todas as evidências científicas relevantes, juntamente com informações e análises de outras fontes.
P20. Our organization has enough skilled staff with time, incentives, and resources who use research communication skills to link research results to key issues facing our decision makers.	P20. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos que fazem uso de habilidades na comunicação de pesquisa para vincular os resultados da pesquisa às principais questões enfrentadas por aqueles envolvidos no processo de tomada de decisão.	P20. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos que fazem uso de habilidades na comunicação de pesquisa para vincular as evidências científicas aos principais problemas enfrentados pelos nossos tomadores de decisão.
P21. Our organization has enough skilled staff with time, incentives, and resources who use research communication skills to provide recommended actions to our decision makers.	P21. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos que fazem uso de habilidades na comunicação de pesquisa para recomendar ações aos envolvidos no processo de tomada de decisão.	P21. Nossa organização possui pessoal suficientemente qualificado e com tempo disponível, incentivos e recursos, e que usam habilidades de comunicação de pesquisa para recomendar ações aos nossos tomadores de decisão.
P22. Our organization has arrangements with external experts who use research communication skills to present research results concisely and in accessible language.	P22. Nossa organização possui acordos com especialistas externos que fazem uso de habilidades na comunicação de pesquisa para apresentar resultados de pesquisa de forma concisa e com uma linguagem acessível.	P22. Nossa organização possui acordos com especialistas externos que usam habilidades de comunicação de pesquisa para apresentar evidências científicas de forma concisa e com uma linguagem acessível.
P23. Our organization has arrangements with external experts who use research communication skills to synthesize in one document all relevant research, along with information and analyses from other sources.	P23. Nossa organização possui acordos com especialistas externos que fazem uso de habilidades na comunicação de pesquisa para sintetizar em um documento todas as pesquisas relevantes, juntamente com informações e análises de outras fontes.	P23. Nossa organização possui acordos com especialistas externos que usam habilidades de comunicação de pesquisa para sintetizar em um documento todas as evidências científicas relevantes, juntamente com informações e análises de outras fontes.
P24. Our organization has arrangements with external experts who use research communication skills to link research results to key issues facing our decision makers.	P24. Nossa organização possui acordos com especialistas externos que fazem uso de habilidades na comunicação de pesquisa para vincular os resultados da pesquisa às principais questões enfrentadas por aqueles envolvidos no processo de tomada de decisão.	P24. Nossa organização possui acordos com especialistas externos que usam habilidades de comunicação de pesquisa para vincular as evidências científicas aos principais problemas enfrentados por nossos tomadores de decisão.
P25. Our organization has arrangements with external experts who use research communication skills to provide recommended actions to our decision makers.	P25. Nossa organização possui acordos com especialistas externos que fazem uso de habilidades na comunicação de pesquisa para recomendar ações aos envolvidos no processo de tomada de decisão.	P25. Nossa organização possui acordos com especialistas externos que usam habilidades de comunicação de pesquisa para recomendar ações aos nossos tomadores de decisão.
PART FOUR: APPLY	QUARTA PARTE: APLICAR	PARTE 4: APLICAR
4.1. DO WE LEAD BY EXAMPLE AND SHOW HOW WE VALUE RESEARCH USE?	4.1. SEGUIMOS O EXEMPLO E MOSTRAMOS COMO VALORIZAMOS O USO DA PESQUISA?	4.1. SEGUIMOS O EXEMPLO E MOSTRAMOS COMO VALORIZAMOS O USO DAS EVIDÊNCIAS CIENTÍFICAS?
P26. Using research is a priority in our organization.	P26. Usar a pesquisa é uma prioridade em nossa organização.	P26. Usar evidências científicas é uma prioridade em nossa organização.
P27. Our organization has committed resources to ensure research is accessed, adapted, and applied in making decisions.	P27. Nossa organização alocou recursos para garantir que a pesquisa seja acessada, adaptada e aplicada no processo de tomada de decisão.	P27. Nossa organização alocou recursos para garantir que evidências científicas sejam acessadas, adaptadas e aplicadas no processo de tomada de decisão.
P28. Our organization ensures staff is involved in discussions on how research evidence relates to our main goals.	P28. Nossa organização garante que a equipe esteja envolvida em discussões a respeito de como as evidências da pesquisa se relacionam com nossos principais objetivos.	P28. Nossa organização garante que a equipe esteja envolvida em discussões a respeito de como as evidências científicas se relacionam com nossas principais metas.
P29. The management of our organization has clearly communicated our strategy and priorities so that those creating or monitoring research know what is needed in support of our goals.	P29. A alta gerência de nossa organização comunicou claramente nossa estratégia e prioridades para que aqueles que criam ou monitoram pesquisas saibam o que é necessário para apoiar nossas metas.	P29. A gerência de nossa organização comunica claramente nossa estratégia e prioridades para que aqueles que criam ou monitoram evidências científicas saibam o que é necessário para apoiar nossas metas.
P30. We communicate internally in a way that ensures there is information exchanged across the entire organization.	P30. Nós nos comunicamos internamente de uma forma a garantir a troca de informações em toda a organização.	P30. Nós nos comunicamos internamente de uma forma a garantir a troca de informações em toda a organização.
P31. Our corporate culture values and rewards flexibility, change, and continuous quality improvement with resources to support these values.	P31. Nossa cultura corporativa valoriza e recompensa a flexibilidade, a mudança e a melhoria contínua da qualidade com recursos, de maneira a apoiar esses valores.	P31. Nossa cultura organizacional valoriza e recompensa a flexibilidade, a mudança e a melhoria contínua da qualidade com recursos para apoiar esses valores.
4.2. DO OUR DECISION-MAKING PROCESSES HAVE A PLACE FOR RESEARCH?	4.2. DENTRO DOS NOSSOS PROCESSOS DE TOMADA DE DECISÃO EXISTE UM LUGAR PARA A PESQUISA?	4.2. DENTRO DOS NOSSOS PROCESSOS DE TOMADA DE DECISÃO EXISTE UM LUGAR PARA AS EVIDÊNCIAS CIENTÍFICAS?
P32. When we make major decisions, we usually allow enough time to identify researchable questions and create/obtain, analyse, and consider research results and other evidence.	P32. Quando tomamos decisões importantes, geralmente disponibilizamos tempo suficiente para identificar perguntas que possam ser pesquisadas e criar/obter, analisar e considerar os resultados de pesquisas e outras evidências.	P32. Quando tomamos decisões importantes, geralmente, disponibilizamos tempo suficiente para identificar perguntas de pesquisa, criar, obter, analisar e considerar evidências científicas e outras evidências.
P33. Our management team evaluates the feasibility of each option, including potential impact across the organization as well as on clients, partners, and other stakeholders.	P33. Nossa equipe gerencial avalia a viabilidade de cada opção, inclusive o impacto potencial em toda a organização, bem como em clientes, parceiros e outras partes interessadas.	P33. Nossa equipe gerencial avalia a viabilidade de cada opção, inclusive o impacto potencial em toda a organização, bem como em usuários, parceiros e outras partes interessadas.
P34. Decision makers in our organization give formal consideration to any recommendations from staff who have developed or identified high-quality and relevant research.	P34. Os envolvidos no processo de tomada de decisão em nossa organização consideram, formalmente, quaisquer recomendações de membros da equipe que desenvolveram ou identificaram pesquisa relevante e de alta qualidade.	P34. Os envolvidos no processo de tomada de decisão em nossa organização consideram, formalmente, quaisquer recomendações de membros da equipe que desenvolveram ou identificaram as evidências científicas relevantes e de alta qualidade.
P35. Staff and appropriate stakeholders know when and how major decisions will be made.	P35. A equipe e as partes interessadas sabem quando e como as principais decisões serão tomadas.	P35. A equipe e as partes interessadas sabem quando e como as principais decisões serão tomadas.
P36. Staff and appropriate stakeholders contribute evidence and know how that information will be used.	P36. A equipe e as partes interessadas contribuem com evidências e sabem como essas informações serão usadas.	P36. A equipe e as partes interessadas contribuem com evidências científicas e sabem como essas informações serão usadas.
P37. Staff who have provided evidence and analysis usually participate in decision-making discussions.	P37. A equipe que forneceu evidências e análises geralmente participa das discussões que envolvam a tomada de decisão.	P37. A equipe que forneceu evidências científicas e análises geralmente participa das discussões que envolvam a tomada de decisão.
P38. Relevant on-staff researchers are made part of decision-making discussions.	P38. Pesquisadores importantes da equipe interna fazem parte das discussões que envolvem a tomada de decisão.	P38. A equipe que forneceu as evidências científicas importantes faz parte das discussões que envolvem a tomada de decisão.
P39. Staff and appropriate stakeholders receive feedback on decisions, with a rationale for the decision.	P39. A equipe e as partes interessadas recebem feedback sobre as decisões, com uma justificativa para a mesma.	P39. A equipe e as partes interessadas recebem feedback (resposta) sobre as decisões, com uma justificativa sobre o que foi decidido.
P40. Staff and appropriate stakeholders are informed of how available evidence influenced the choices that were made in our organization.	P40. A equipe e as partes interessadas são informadas de como as evidências disponíveis influenciaram as escolhas feitas em nossa organização.	P40. A equipe e as partes interessadas são informadas de como as evidências científicas disponíveis influenciaram as escolhas feitas em nossa organização.
OUR RESULTS: A DISCUSSION GUIDE	NOSSOS RESULTADOS: UM GUIA DE DISCUSSÃO	NOSSOS RESULTADOS: UM GUIA DE DISCUSSÃO
Based on the self-assessment, our organization should work on the following areas so that we can use research better to make informed decisions that help meet our goals and objectives:	Com base na autoavaliação, nossa organização deve trabalhar nas seguintes áreas a fim de que possamos usar a pesquisa para tomar decisões anunciadas que ajudem a atingir nossas metas e objetivos:	Com base na autoavaliação, nossa organização deve trabalhar nas seguintes áreas a fim de que possamos usar a pesquisa para tomar decisões informadas por evidências científicas que ajudem a atingir nossas metas e objetivos:
1. Establish research as a priority in our organization (Check one).	1. Estabelecer a pesquisa como prioridade em nossa organização (Marque uma).	1.Estabelecer as evidências científicas como prioridade em nossa organização (Marque uma).
We feel research in our organization should have: □ Much higher priority □ Somewhat higher priority □ The same priority □ Somewhat lower priority □ Much lower priority	Achamos que a pesquisa em nossa organização deve ter: □ Muito mais prioridade □ Um pouco mais de prioridade □ A mesma prioridade □ Um pouco menos de prioridade □ Muito menos prioridade	Achamos que as evidências científicas em nossa organização devem ter: □ Muito mais prioridade □ Um pouco mais de prioridade □ A mesma prioridade □ Um pouco menos de prioridade □ Muito menos prioridade
2. Integrate the use of research into the work of people in our organization (Check one).	2. Integrar o uso da pesquisa no trabalho das pessoas dentro de nossa organização (Marque uma).	2. Integrar o uso das evidências científicas no trabalho das pessoas dentro de nossa organização (Marque uma).
We feel we need to: □ Integrate research much more often □ Integrate research slightly less often □ Maintain our current level of integrating research □ Integrate research slightly more often □ Integrate research much less often	Achamos que precisamos: □ Integrar a pesquisa com muito mais frequência □ Integrar a pesquisa com um pouco mais de frequência □ Manter o nosso nível atual de frequência na integração da pesquisa □ Integrar a pesquisa com um pouco menos de frequência □ Integrar a pesquisa com muito menos frequência	Achamos que precisamos: □ Integrar as evidências científicas com muito mais frequência □ Integrar as evidências científicas com um pouco mais de frequência □ Manter o nosso nível atual de frequência na integração das evidências científicas □ Integrar as evidências científicas com um pouco menos de frequência □ Integrar as evidências científicas com muito menos frequência
3. Encourage the use of research by our decision makers (Check one).	3. Incentivar o uso da pesquisa por aqueles envolvidos no processo de tomada de decisão (Marque uma).	3. Incentivar o uso das evidências cientificas por aqueles envolvidos no processo de tomada de decisão (Marque uma).
We feel our decision makers: □ Do not use research at all □ Use research poorly □ Use research inconsistently □ Use research with some consistency □ Use research well/enough	Achamos que aqueles envolvidos no processo de tomada de decisão: □ Não fazem uso de pesquisa de maneira alguma □ Fazem mal uso de pesquisa □ Fazem uso de pesquisa de maneira inconsistente □ Fazem uso de pesquisa com alguma consistência □ Fazem uso de pesquisa bem/de maneira suficiente	Achamos que aqueles envolvidos no processo de tomada de decisão: □ Não usam as evidências científicas □ Usam pouco evidências científicas e/ou fazem uso de forma inadequada □ Usam as evidências científicas de modo inconsistente □ Usam as evidências científicas com alguma consistência □ Usam bem/de modo suficiente as evidências científicas
4. Increase our capacity for research (Check all that apply. If you have more than one answer, please rate your needs from 1 to 5, with 1 being the highest priority).	4. Aumentar nossa capacidade de pesquisa (Marque todas as opções que se aplicam. Se você tiver mais de uma resposta, classifique suas necessidades de 1 a 5, sendo 1 a prioridade mais alta).	4. Aumentar nossa capacidade de pesquisa (Marque todas as opções que se aplicam. Se você tiver mais de uma resposta, classifique suas necessidades de 1 a 5, sendo 1 a prioridade mais alta).
We need: ___ Skilled staff ___ Resources ___ Incentives ___ Time ___ Arrangements with external experts	Precisamos de: ___ Equipe qualificada ___ Recursos ___ Incentivos ___ Tempo ___ Acordos com especialistas externos	Precisamos de: □___Equipe qualificada □___ Recursos □___ Incentivos □___ Tempo □___ Acordos com especialistas externos
5. Acquisition of research (Check all that apply. If you have more than one answer, please rate your needs from 1 to 6, with 1 being the highest priority).	5. Obtenção de pesquisa (Marque todas as opções que se aplicam. Se você tiver mais de uma resposta, classifique suas necessidades de 1 a 6, sendo 1 a prioridade mais alta).	5. Obtenção de evidências científicas (Marque todas as opções que se aplicam. Se você tiver mais de uma resposta, classifique suas necessidades de 1 a 6, sendo 1 a prioridade mais alta).
We need better access to: ___ Journals ___Non-journal reports (grey literature) ___ Databases ___ Web sites ___ Opportunities to work with researchers ___ Learning from peers	Precisamos de melhor acesso a: ___ Revistas especializadas ___ Trabalhos independentes (literatura cinzenta) ___ Bancos de dados ___ Endereços eletrônicos (websites) ___ Oportunidades para trabalhar com pesquisadores ___ Aprendizado com colegas	Precisamos de melhor acesso a: ___ Revistas especializadas ___ Relatórios não - periódicos (literatura cinzenta) ___ Bancos de dados ___ Endereços eletrônicos (websites) ___ Oportunidades para trabalhar com pesquisadores ___ Aprendizado com colegas
6. Assessment of research (Check the one that is most appropriate or best describes your situation).	6. Avaliação da pesquisa (Marque o que for mais apropriado ou que melhor descreve sua situação).	6. Avaliação das evidências científicas (Marque o que for mais apropriado ou que melhor descreve sua situação).
We need to: □ Begin to assess and adapt research □ Assess and adapt research more often □ Maintain our current ability to assess and adapt research □ Adapt and assess research a bit less often □ Adapt and assess research much less often	Precisamos: □ Começar a avaliar e adaptar pesquisas □ Avaliar e adaptar pesquisas com mais frequência □ Manter nossa capacidade atual de avaliar e adaptar pesquisas □ Avaliar e adaptar pesquisas com um pouco menos de frequência □ Avaliar e adaptar pesquisas com um muito menos frequência	Precisamos: □ Começar a avaliar e adaptar as evidências científicas □ Avaliar e adaptar as evidências científicas com mais frequência □ Manter nossa capacidade atual de avaliar e adaptar evidências científicas □ Avaliar e adaptar evidências científicas com um pouco menos de frequência □ Avaliar e adaptar evidências científicas com um muito menos frequência
7. Linking of research results to key issues facing our decision makers (Check the one that is most appropriate or best describes your situation).	7. Vinculação dos resultados da pesquisa às principais questões enfrentadas por aqueles envolvidos no processo de tomada de decisão (Marque o que for mais apropriado ou que melhor descreve sua situação).	7. Vinculação das evidências científicas às principais questões enfrentadas por aqueles envolvidos no processo de tomada de decisão (Marque o que for mais apropriado ou que melhor descreve sua situação.)
Our decision makers need to: □ Begin to consider research in making decisions □ Consider research more often in making decisions □ Maintain our current frequency of considering research □ Consider research a bit less often □ Consider research much less often	Nossos envolvidos no processo de tomada de decisão precisam: □ Começar a considerar a pesquisa no processo de tomada de decisão □ Considerar a pesquisa com maior frequência no processo de tomada de decisão □ Manter nossa capacidade atual de considerar a pesquisa no processo de tomada de decisão □ Considerar a pesquisa com um pouco menos de frequência no processo de tomada de decisão □ Considerar a pesquisa com muito menos de frequência no processo de tomada de decisão	Nossos envolvidos no processo de tomada de decisão precisam: □ Começar a considerar as evidências científicas no processo de tomada de decisão □ Considerar as evidências científicas com maior frequência no processo de tomada de decisão □ Manter nossa capacidade atual de considerar as evidências científicas no processo de tomada de decisão □ Considerar as evidências científicas com um pouco menos de frequência no processo de tomada de decisão □ Considerar as evidências científicas com muito menos de frequência no processo de tomada de decisão

• Fonte: Autores.

Neste estudo, para o pré-teste, a consistência interna/confiabilidade da ferramenta, medida pelo coeficiente Alfa de Cronbach, teve o valor de 0,961, com base em itens padronizados. Ou seja, na ferramenta, há alta coerência interna, medindo-se o mesmo conceito geral de forma consistente e confiável^22,24. Em relação à reprodutibilidade, medida pelo CCI²³, teve o valor de 0,960. Ou seja, o entendimento e a capacidade de resposta e de compressão da ferramenta estão adequados ao contexto brasileiro. Ao analisar comparando item por item da ferramenta, caso algum item fosse excluído, a medida do Alpha de Cronbach variaria entre 0,959 e 0,961, demonstrando pouca variabilidade na avaliação dos participantes.

Discussão

A tradução e a adaptação transcultural de ferramentas exigem um processo acadêmico complexo e disciplinado de operacionalização. Não consiste apenas em traduzir palavras de forma literal. Há de se considerar a cultura, o contexto das instituições, os conceitos e significados nas palavras do local de destino da ferramenta. As pessoas envolvidas na tradução devem ser qualificadas e agir de forma independente e cega, além de serem oficialmente fluentes nos idiomas trabalhados. Os consensos servem para dirimir discrepâncias e não conformidades conceituais realizadas na tradução. Neste trabalho, as etapas de tradução, síntese e retrotradução foram desenvolvidas rigorosamente de acordo com a literatura escolhida. Sabe-se que um processo de tradução incompleto pode levar a um instrumento não equivalente em um novo contexto, e consequentemente limita a comparabilidade das respostas entre países. Apesar do processo ser considerado caro e demorado, consideramos que a rigorosidade aplicada foi a melhor maneira de obter métrica equivalente, resultados de testes estatísticos significativos e um instrumento de primariamente adaptado a cultura brasileira de forma satisfatória^20,25.

A versão final da ferramenta foi constituída após análise do comitê de especialistas, que comparou todas as traduções anteriores realizando modificações consensuais na produção de um protótipo final compatível com o contexto cultural brasileiro. A expertise dos escolhidos para realizar essa etapa foi fundamental: profissionais com experiência teórica e prática em relação ao tema do estudo e no método. A literatura não apresenta um consenso sobre os pontos que tornam um profissional “um juiz”, mas destaca que deve ter experiência no contexto trabalhado; publicar e pesquisar sobre o tema; compreender a estrutura conceitual envolvida e ter conhecimento metodológico sobre a construção de instrumentos - atributos que neste estudo foram respeitados^20,26.

A concordância entre os especialistas em relação às equivalências analisadas foi considerada de razoável a excelente, segundo o Coeficiente de Kappa. Esse parâmetro é considerado aceitável na literatura²⁷. Na busca das equivalências semântica, idiomática, experimental e conceitual, após a avaliação do comitê dos especialistas, algumas palavras e expressões sofreram mudanças visando à obtenção de uma linguagem clara e acessível. A aplicação de termos mais adequados à cultura no país-destino traz clareza e maior entendimento ao item. Sempre há algum outro termo ou palavra a ser inserido, mas a escolha pontual e legítima que traz o entendimento geral do item já assegura o objetivo da adaptação transcultural, sabendo que o entendimento da frase vai além do próprio item, podendo ser ampliado, contextualizado e melhor exemplificado na aplicação da ferramenta na prática^12,20.

Nas entrelinhas dos resultados, percebeu-se que o pré-teste foi um momento em que os gestores tiveram abertura e se mostraram disponíveis para expressarem aspectos cruciais da organização em que trabalhavam. Isso se mostra fundamental, pois a utilidade da ferramenta pode ser limitada quando a avaliação não ocorre em um ambiente democrático ou com pouca liberdade de expressão. As diferentes organizações de saúde que participaram, através de seus gestores, na autoavaliação de suas capacidades de usar evidências científicas trouxeram diferenças importantes de percepções e capacidades diferenciadas dependendo do nível de escolaridade dos gestores e tipo/finalidade da organização, por exemplo.

Para que a ferramenta seja eficaz, os participantes devem se sentir à vontade para discutir a capacidade de uso da pesquisa de sua organização, sem medo de sua segurança no trabalho ou outras consequências negativas^12,13.

A consistência interna medida pelo Coeficiente Alpha de Cronbach^22,24 foi quase perfeita, demonstrando confiabilidade da Ferramenta 4A no contexto brasileiro. Estudos trazem que esse resultado revela maior robustez e relevância ao estudo^15,24. A concordância entre os participantes, medida através do Coeficiente de Correlação Intraclasse, foi excelente. Isso mostra homogeneidade quanto ao entendimento das perguntas entre os participantes, dando maior possibilidade de reprodução confiável e precisa da ferramenta no país²³.O tempo gasto nas diferentes seções da ferramenta variou consideravelmente: entre 1h35min e 2h20min, numa média de 2h de aplicação, um pouco maior comparativamente a estudos de aplicação dessa ferramenta em outros países^12,18,28,29. O esforço e o tempo maior colocado foram despendidos nos grupos focais no processo de consenso. Os grupos focais foram bem úteis no exercício de resposta da parte 2 da ferramenta, pois se constituíram como potenciais catalisadores para discussões importantes no reconhecimento de obstáculos, mas também potenciais organizadores de ações estratégicas para o uso do conhecimento na esfera organizacional^12,16.

A Ferramenta 4A fornece um ponto de partida útil para as organizações em saúde comprometidas em aumentar e/ou monitorar sua capacidade de usar evidências científicas para informar decisões. O processo de tomada de decisão é amplo e multiinformativo, mas, se a organização tem uma capacidade já estruturada para adquirir, avaliar, adaptar mecanismos de aplicação das evidências científicas, será mais fácil pô-las como um dos subsídios para informar a decisão de forma legítima pelos tomadores de decisão^12,17,30. Os resultados do estudo demonstraram a utilidade da ferramenta em suscitar uma provocativa discussão em grupo que pode gerar etapas de ação subsequentes na organização em saúde¹².

Sugere-se a aplicação dessa ferramenta com uma amostra maior de organizações em saúde, principalmente em âmbito nacional, estadual e municipal, nos pontos federativos de tomada de decisão em saúde, especialmente no setor público. Precisa-se que a capacidade das organizações em saúde brasileiras de usar evidências científicas seja conhecida e publicizada para que ações efetivas e programas de incentivos governamentais possam ser pensados de forma mais objetiva e concreta, a fim de serem implementadas no caminho da construção de uma maior institucionalização das políticas informadas por evidências no país.

Este estudo possui algumas limitações. Primeiro, a comunicação limitada com o autor do instrumento, pela distância e difícil acesso em meio a pandemia, mesmo em meios virtuais; o tradutor R1 ser de nacionalidade brasileira e não de um país de língua inglesa, conforme proposto pelo referencial metodológico²⁰; as dificuldade em ter acesso a algumas organizações de forma presencial devido à necessidade de distanciamento social suscitada pela pandemia do COVID-19 no ano de 2020 - daí adaptações como aplicação do grupo focal via webconferência. As limitações foram abordadas de forma pontual, não houve prejuízo aos resultados.

A Adaptação transcultural da Ferramenta, agora oficialmente chamada de “4A”, é inédita no Brasil. Considera-se que ela seja útil e adequada para fornecer aos gestores em saúde, seja no âmbito da macro ou da microgestão, parâmetros para autoavaliar suas competências em usar evidências na tomada de decisão na formulação de políticas de saúde. Pode ser utilizada de imediato dentro do contexto de organizações em saúde brasileiras. Contribui como catalisadora do processo de introdução de ações institucionais como estratégias para estruturar capacidades práticas em tornar o uso de evidências sistemático e usual nas organizações em saúde.

Isso é fundamental para uma maior consolidação do Sistema Único de Saúde (SUS) para torná-lo cada vez mais efetivo e com maior possibilidade de ser resolutivo com ações mais assertivas, produzindo políticas de saúde cada vez melhores. O que se deseja é que gestores em saúde e outros atores sociais avaliem suas capacidades organizacionais para que com isso busquem melhores estratégias para potencializar o uso das melhores evidências de pesquisa para informar a formulação de política e tomada de decisão no SUS, a fim de responder em tempo adequado, às necessidades prioritárias da população mediante a articulação das melhores evidências de pesquisa. A descrição dos resultados qualitativos e quantitativos dessa validação serão apresentados em uma próxima publicação deste grupo de autores.

Este estudo encorpa o rol de trabalhos sobre tradução e adaptação transcultural de instrumentos, ainda pouco abordados no Brasil; com isso, contribui para o ensino e a pesquisa na área, impulsionando outros trabalhos semelhantes. Finalmente, coopera com a comparação de resultados internacionalmente de forma mais acurada e com o fortalecimento da homogeneidade dos dados coletados.

Referências

• ¹ Oxman AD, Vandvik PO, Lavis JN, Fretheim A, Lewin S. SUPPORT Tools for evidence-informed health Policymaking (STP) 2: Improving how your organisation support the use of research evidence to inform policymaking. Chinese J Evidence-Based Med 2010; 10(3):247-254.
• ² Straus S, Tetroe J, Graham ID. Knowledge translation in health care - Moving from Evidence to Pratice. 2ª ed. Ottawa: BMJI; 2013.
• ³ Universidade Federal de São Paulo (UNIFESP). Negacionismo : a onda de ceticismo sobre o valor da ciência. Entreteses 2021; 13:8-13.
• ⁴ Gottems LBD, Pires MRGM, Calmon PCDP, Alves ED. O modelo dos múltiplos fluxos de Kingdon na análise de políticas de saúde: aplicabilidades, contribuições e limites. Saude Soc 2013; 22(2):511-520.
• ⁵ Kneale D, Rojas-García A, Thomas J. Obstacles and opportunities to using research evidence in local public health decision-making in England. Health Res Policy Syst 2019; 17(1):61.
• ⁶ Oliveira SMVL, Bento AL, Valdes G, Oliveira TP, Souza AS, Barreto JOM. Institucionalização das políticas informadas por evidências no Brasil. Rev Panam Salud Publica 2020; 44:1.
• ⁷ Andrade KRC, Pereira MG. Tradução do conhecimento na realidade da saúde pública brasileira. Rev Saude Publica 2020; 54(72):1-7.
• ⁸ World Health Organization (WHO). 58th World Health Assembly guidelines and information for media. Genebra: WHO; 2005.
• ⁹ Panisset U, Chapman E, Abdala CVM, Martins W, Silva E, Barreto JOM. Políticas de saúde informadas por evidências científicas: fronteiras e desafios para a tradução do conhecimento para o SUS. In: Toma TS, Soares AC, Bortoli MC, Pirotta KCM, Derbli M, organizadores. Avaliação de Tecnologias e Inovação em Saúde no SUS: Desafios e Propostas para a Gestão. 1ª ed. São Paulo: Instituto de Saúde; 2015. p. 145-180.
• ¹⁰ Souza NM, Barreto JOM, Sousa CP, Deus N. Políticas de saúde informadas por evidências: relato da cooperação Brasil-Moçambique. Rev Mocam Cien Saude Maputo 2016; 2(1):53-58.
• ¹¹ World Health Organization (WHO). Alliance for Health Policy and Systems Research. Genebra: WHO; 2019.
• ¹² Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.
• ¹³ Canadian Foundation for Healthcare Improvement (CFHI). Is research working for you? A self-assessment tool and discussion guide for health services management and policy organizations. Ottawa: CFHI; 2014.
• ¹⁴ Canadian Health Services Research Foundation (CHSRF). Is Research Working for You? A Self-Assessment Tool and Discussion Guide for Health Services Management and Policy Organizations. Ottawa: CHSRF; 2005.
• ¹⁵ Catallo C, Sidani S. The self-assessment for organizational capacity instrument for evidence-informed health policy: Preliminary reliability and validity of an instrument. Worldviews Evid Based Nurs 2014; 11(1):35-45.
• ¹⁶ Rodríguez DC, Hoe C, Dale EM, Rahman MH, Akhter S, Hafeez A, Irava W, Rajbangshi P, Roman T, Tîrdea M, Yamout R, Peters DH. Assessing the capacity of ministries of health to use research in decision-making: Conceptual framework and tool. Heal Res Policy Syst 2017; 15(1):1-13.
• ¹⁷ Jakobsen MW, Eklund Karlsson L, Skovgaard T, Aro AR. Organisational factors that facilitate research use in public health policy-making: A scoping review. Heal Res Policy Syst 2019; 17(1):1-22.
• ¹⁸ Lester L, Haby MM, Chapman E, Kuchenmüller T. Evaluation of the performance and achievements of the WHO Evidence-informed Policy Network (EVIPNet) Europe. Heal Res policy Syst 2020; 18(1):109.
• ¹⁹ Beck DFPCT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 9º ed. Porto Alegre: Artmed; 2018.
• ²⁰ Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191.
• ²¹ Silva RS, Paes ÂT. Por Dentro da Estati´stica: teste de concordância de Kappa. Educ Contin Saude Einstein 2012; 10(4):165-166.
• ²² Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16(3):297-334.
• ²³ Cicchetti DV. Interreliability standards in psychological evaluations. Psychol Assess 1994; 6(4):284-290.
• ²⁴ Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1):159-174.
• ²⁵ Menezes AC, Penha CS, Amaral FMA, Pimenta AM, Ribeiro HCTC, Pagano AS, Mata LRFD. Latino Students Patient Safety Questionnaire: cross-cultural adaptation for Brazilian nursing and medical students. Rev Bras Enferm 2020; 73(Supl. 6):e20190621.
• ²⁶ Gagnon MP, Attieh R, Dunn S, Grandes G, Bully P, Estabrooks CA, Légaré F, Roch G, Ouimet M. Development and content validation of a transcultural instrument to assess organizational readiness for knowledge translation in healthcare organizations: The OR4KT. Int J Heal Policy Manag 2018; 7(9):791-797.
• ²⁷ Morosini IAC, Oliveira DC, Ferreira FM, Fraiz FC, Torres-Pereira CC. Performance of distant diagnosis of dental caries by teledentistry in juvenile offenders. Telemed J E Heal 2014; 20(6):584-589.
• ²⁸ Uneke CJ, Sombie I, Keita N, Lokossou V, Johnson E, Ongolo-Zogo P. An assessment of national maternal and child health policy-makers' knowledge and capacity for evidence-informed policy-making in Nigeria. Int J Heal Policy Manag 2017; 6(6):309-316.
• ²⁹ Gagliardi AR, Dobrow MJ. Identifying the conditions needed for integrated knowledge translation (IKT) in health care organizations: Qualitative interviews with researchers and research users. BMC Health Serv Res 2016; 16:256.
• ³⁰ Mayne R, Green D, Guijt I, Walsh M, English R, Cairney P. Using evidence to influence policy: Oxfam's experience. Palgrave Commun 2018; 4:122.

Editado por

• Editores-chefes:
  Romeu Gomes, Antônio Augusto Moura da Silva

Datas de Publicação

• Publicação nesta coleção
  17 Jun 2022
• Data do Fascículo
  Jul 2022

Histórico

• Recebido
  28 Maio 2021
• Aceito
  16 Fev 2022
• Publicado
  18 Fev 2022