RESUMO:
Objetivo:
Avaliar o grau em que profissionais da atenção primária e organizações de saúde estão prontos para implementar mudanças nos serviços de saúde, principalmente no que se refere à implementação de novas tecnologias, políticas públicas ou programas de inovação, que merecem especial atenção. Os objetivos deste estudo foram: conduzir a adaptação transcultural do questionário Organizational Readiness for Implementing Change (ORIC) para o português (Brasil); e iniciar a mensuração de suas propriedades psicométricas.
Métodos:
Por meio de estudo transversal, realizou-se a tradução do questionário ORIC, com 12 questões, e posterior aplicação numa amostra de trabalhadores de unidades primárias de saúde tradicionais em transformação para unidades de saúde da família. A análise estatística incluiu o coeficiente alfa de Cronbach, análise fatorial exploratória e confirmatória por modelo de equação estrutural e seguiu o checklist Consensus-Based Standards for the Selection of Health Measurement Instruments (COSMIN).
Resultados:
Participaram do estudo 150 trabalhadores de 10 unidades de saúde em transformação. A análise confirmou dois fatores principais (Eficácia e Comprometimento), com autovalores > 1. A rotação pelo método ortogonal mostrou que as questões do instrumento confirmaram os fatores analisados pelo instrumento original. O alfa de Cronbach total do ORIC foi 0,94, mostrando ótima confiabilidade.
Conclusão:
A versão portuguesa (Brasil) do questionário ORIC-Br apresentou boas propriedades psicométricas, podendo ser utilizado em serviços de saúde para medição da prontidão organizacional, considerada um indicador do potencial alcance de sucesso na implementação de mudança em serviços de saúde.
Palavras-chave:
Saúde pública; Gestão em saúde; Capacidade organizacional; Ciência da implementação
ABSTRACT:
Objective:
The assessment of the degree to which health professionals, workers and organizations are ready to implement changes in health services deserves special attention, especially related to new technologies, public policies and innovation. The objectives of this study were to conduct a Brazilian Portuguese Brazil cross-cultural adaptation of the ORIC questionnaire and to initiate the study of its psychometric properties.
Methods:
Through a cross-sectional study, the Organizational Readiness for Implementing Change (ORIC) questionnaire, containing 12 questions, was translated and later applied to a sample of workers from traditional primary health care units undergoing transformation to family health units. Statistical analysis included Cronbach’s alpha, exploratory and confirmatory factor analysis by structural equation model using the Consensus-Based Standards for the Selection of Health Measurement Instruments (COSMIN) checklist.
Results:
Workers from ten health units participated in the study (n = 150). The analysis confirmed two main factors (Effectiveness and Commitment) with Eigenvalues > 1. Rotation by the orthogonal method showed that the instrument questions confirmed the factors analyzed by the original instrument. The total Cronbach’s Alpha of ORIC was 0.94, showing excellent reliability.
Conclusion:
The Brazilian Portuguese Brazil version of the ORIC-Br questionnaire showed good psychometric properties and can be used in health services to measure organizational readiness, considered as an indicator of the potential success in implementing change.
Keywords:
Public health; Health management; Organizational capacity; Implementation science
INTRODUÇÃO
A prontidão organizacional para a mudança em serviços de saúde é considerada um precursor importante para a implementação bem-sucedida de mudanças nas diversas configurações organizacionais de saúde11. Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
https://doi.org/http://doi.org/10.1186/1...
, principalmente quanto às inovações tecnológicas, políticas públicas e programas de saúde22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
. As estratégias para o desenvolvimento de prontidão organizacional se baseiam na premissa de que visam minimizar a discrepância entre os níveis de desempenho atuais e os desejados no futuro com as novas implementações33. Armenakis AA, Harris SG. Crafting a change message to create transformational readiness. J Organizational Change Management 2002; 15(2): 169-83. http://doi.org/10.1108/09534810210423080
https://doi.org/http://doi.org/10.1108/0...
.
As iniciativas para elevar a capacidade de resposta das organizações por meio da implementação de novos programas, políticas ou tecnologias frequentemente falham porque as lideranças gerenciais não estabelecem suficiente prontidão organizacional com seus colaboradores44. Leeman J, Moore A, Teal R, Barrett N, Leighton A, Steckler A. Promoting Community Practitioners' Use of Evidence-Based Approaches to Increase Breast Cancer Screening. Public Health Nurs 2013; 30(4): 323-31. http://doi.org/10.1111/phn.12021
https://doi.org/http://doi.org/10.1111/p...
,55. Greenhalgh T, Robert G, Macfarlane F, Bate P, Kyriakidou O. Diffusion of innovations in service organizations: Systematic review and recommendations. Milbank Q 2004; 82(4): 581-629. http://doi.org/10.1111/j.0887-378X.2004.00325.x
https://doi.org/http://doi.org/10.1111/j...
. Esta refere-se ao nível em que profissionais da organização de saúde estão preparados nos sentidos psicológico e comportamental para implementar uma mudança11. Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
https://doi.org/http://doi.org/10.1186/1...
e é um constructo que pode ser avaliado em nível individual ou supraindividual, isto é, ao nível da equipe, do departamento ou da organização11. Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
https://doi.org/http://doi.org/10.1186/1...
,22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
. No nível organizacional, o constructo é definido como estado psicológico compartilhado, em que os membros da organização de saúde se sentem comprometidos com a implementação de uma inovação e confiantes em suas habilidades coletivas22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
. Esse nível coletivo, que transcende os indivíduos, é frequentemente mensurado em duas principais dimensões: o compromisso e a eficácia11. Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
https://doi.org/http://doi.org/10.1186/1...
,22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
,66. Weiner BJ, Amick H, Lee SYD. Conceptualization and measurement of organizational readiness for change - A review of the literature in health services research and other fields. Med Car Res Rev 2008; 65(4): 379-436. http://doi.org/10.1177/1077558708317802
https://doi.org/http://doi.org/10.1177/1...
,77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
,88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
.
O compromisso com a mudança pode ser definido como a mentalidade que vincula um indivíduo ao curso da ação considerada necessária para a implementação bem-sucedida de uma inovação99. Meyer JP, Stanley DJ, Herscovitch L, Topolnytsky L. Affective, continuance, and normative commitment to the organization: A meta-analysis of antecedents, correlates, and consequences. J Vocat Behav 2002; 61(1): 20-52. http://doi.org/10.1006/jvbe.2001.1842
https://doi.org/http://doi.org/10.1006/j...
. A eficácia da mudança refere-se à crença compartilhada dos membros da organização em suas capacidades coletivas para organizar e executar as ações envolvidas na inovação1010. Butler G. Self-efficacy: The exercise of control by Albert Bandura. Br J Clin Psychol 1998; 37(4): 467-473. https://doi.org/10.1111/j.2044-8260.1998.tb01404.x
https://doi.org/https://doi.org/10.1111/...
.
O desenvolvimento de instrumentos válidos para medir o grau em que uma organização de saúde está apta para a inovação segundo seus profissionais é crucial para elevar a capacidade de resposta das organizações diante das novas demandas do setor saúde. Com isso, instrumentos como o Prontidão Organizacional para Implementação de Mudança (Organizational Readiness for Implementing Change - ORIC)22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
e o Organizational Readiness for Knowledge Translation (OR4KT)1111. Grandes G, Bully P, Martinez C, Gagnon MP. Validity and reliability of the Spanish version of the Organizational Readiness for Knowledge Translation (OR4KT) questionnaire. Implement Sci 2017; 12. http://doi.org/10.1186/s13012-017-0664-y
https://doi.org/http://doi.org/10.1186/s...
,1212. Gagnon MP, Attieh R, Dunn S, Grandes G, Bully P, Estabrooks CA, et al. Development and Content Validation of a Transcultural Instrument to Assess Organizational Readiness for Knowledge Translation in Healthcare Organizations: The OR4KT. Int J Health Policy Manag 2018; 7(9); 791-7. https://dx.doi.org/10.15171%2Fijhpm.2018.17
https://doi.org/https://dx.doi.org/10.15...
, construídos na forma de escalas destinadas a medir a prontidão organizacional, têm recebido crescente atenção entre os pesquisadores. A despeito disso, nenhum desses instrumentos foi testado, adaptado e validado para o português brasileiro.
O instrumento ORIC foi validado na Dinamarca77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
, em um contexto de política gerencial de redução de número de leitos e de redução do financiamento em um hospital privado onde os atendimentos seriam executados com redução da equipe de enfermagem, e, na França88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
, para testar a aplicação de um novo algoritmo para ajudar terapeutas a cuidar de pessoas com problemas de higiene. Em que pese a importância da rede de atenção primária à saúde para responder às necessidades dessa área e também enfrentar os custos crescentes dos procedimentos especializados nos sistemas de saúde, nenhum estudo testou o instrumento neste nível de atenção.
Considerando sua importância para auxiliar gerentes e operadores de políticas a avaliar o grau de comprometimento e confiança dos trabalhadores e profissionais no processo de implementação de mudanças, os objetivos do presente estudo foram realizar a adaptação transcultural para o português (Brasil) e avaliar a consistência interna e as propriedades psicométricas do instrumento ORIC, em um contexto de implementação de mudança na atenção primária da saúde no Brasil.
MÉTODOS
CONTEXTO DO ESTUDO
No Brasil, as diretrizes da atenção primária à saúde em sua versão mais abrangente vêm sendo assumidas de forma crescente ao longo dos últimos anos. Nesse período, a Estratégia Saúde da Família (ESF) vem se constituindo numa das principais iniciativas do Sistema Único de Saúde (SUS) para superar o modelo biomédico, com foco na assistência à doença, em seus aspectos individuais e biológicos, centrado no procedimento, nas especialidades médicas e no hospital. O objetivo é alcançar um modelo sob abordagem interdisciplinar, conduzido por uma equipe multiprofissional, com vistas à integralidade da atenção voltada tanto para o território quanto para as necessidades de saúde do pessoas e das famílias1313. Matuda CG, Aguiar DMD, Frazao P. Interprofessional collaboration and the Brazilian Sanitary Reform: implications for delivery of healthcare. Saúde Soc 2013; 22(1): 173-86. http://doi.org/10.1590/S0104-12902013000100016
https://doi.org/http://doi.org/10.1590/S...
.
Entre 2018 e 2019, a Secretaria Municipal de Saúde da Prefeitura de Campo Grande, Mato Grosso do Sul, estava planejando uma reorganização das unidades de atenção primária tradicionais do município para atender às orientações da ESF. Profissionais e trabalhadores das 10 unidades de saúde a serem reestruturadas foram convidados a participar da pesquisa, admitindo-se que esse contexto de mudança era bastante oportuno para avaliar as propriedades psicométricas do instrumento ORIC.
ADAPTAÇÃO TRANSCULTURAL
Um processo de adaptação cultural da versão em inglês do ORIC22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
foi conduzido com base nas seis etapas da metodologia adaptada de Beaton1414. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine 2000; 25(24): 3186-91. http://doi.org/10.1097/00007632-200012150-00014
https://doi.org/http://doi.org/10.1097/0...
. O checklist Consensus-Based Standards for the Selection of Health Measurement Instruments (COSMIN)1515. Terwee CB, Prinsen CAC, Chioratto A, Westerman MJ, Patrick DL, Alonso J, et al. Cosmim methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res 2018; 27: 1159-70. http://doi.org/10.1007/s11136-018-1829-0
https://doi.org/http://doi.org/10.1007/s...
, relativo à validação de conteúdo, também foi usado como guia para reportar os resultados do estudo.
Etapa 1: tradução do questionário Prontidão Organizacional para Implementação de Mudança
O questionário ORIC foi traduzido da língua original (inglês) para o português por um tradutor bilíngue (inglês /português), denominado de tradutor 1.
Etapa 2: síntese da tradução do questionário Prontidão Organizacional para Implementação de Mudança
A síntese da versão foi então verificada por um comitê formado por dois pesquisadores e o tradutor 1. Conforme recomendado por Weiner66. Weiner BJ, Amick H, Lee SYD. Conceptualization and measurement of organizational readiness for change - A review of the literature in health services research and other fields. Med Car Res Rev 2008; 65(4): 379-436. http://doi.org/10.1177/1077558708317802
https://doi.org/http://doi.org/10.1177/1...
, o questionário foi modificado pela inclusão de uma descrição introdutória da implementação da mudança (reestruturação de Unidade Básica de Saúde - UBS - para o modelo Unidade Básica de Saúde Familiar - UBSF), de modo a tornar claro o que significava a expressão essa mudança, que estava atrelada à reestruturação da UBS tradicional para o modelo ESF. O comitê aprovou a tradução sem discordâncias.
Etapa 3: retrotradução
Esta etapa envolveu a equipe de dois pesquisadores e um segundo tradutor independente. A independência entre os tradutores das etapas 1 e 3 ajudou a documentar rigorosamente a adequação dos termos escolhidos para a formulação usada na versão original do questionário.
Etapa 4: Comitê de revisão especial
Esta etapa envolveu os três pesquisadores do presente trabalho, mais os dois tradutores (tradução e retrotradução), para assim comparar as duas versões. As discordâncias foram resolvidas com base no consenso. Houve três pontos conflitantes em relação à tradução frente e trás. O primeiro foi na questão ORIC 1, e envolveu a retirada do significado invested, que está atrelado a dinheiro ou recurso monetário, para o português envolver, o que melhorou a interpretação da questão 1, segundo o comitê de revisão especial. Na questão ORIC 7, a palavra enquanto, traduzida por while, poderia dar a ideia que as pessoas estão mantendo o ritmo normal da organização de saúde enquanto as mudanças estão sendo implementadas. Então, optou-se por inserir as palavras da implementação da mudança em vez de enquanto implementam essa mudança. O terceiro ponto conflitante foi a questão ORIC 8. Optou-se pela palavra lidar em vez de superar, pois esta estaria mais atrelada a overcome, o que poderia dar a impressão de que a implementação seria um obstáculo a ser superado. O comitê considerou que a implementação seria útil para tornar os serviços melhores, e não criar obstáculos a serem superados. Sendo assim, esta etapa produziu um produto final para ser testado na Etapa 5 - versão pré-teste (Apêndice 1).
Etapa 5: versão piloto/pré-teste
A versão piloto do instrumento foi aplicada em oito trabalhadores de uma unidade de saúde participante da mudança, para analisar as percepções dos indivíduos perante o instrumento, conforme checklist COSMIN1515. Terwee CB, Prinsen CAC, Chioratto A, Westerman MJ, Patrick DL, Alonso J, et al. Cosmim methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res 2018; 27: 1159-70. http://doi.org/10.1007/s11136-018-1829-0
https://doi.org/http://doi.org/10.1007/s...
. Esta etapa envolveu a participação de um pesquisador, que coletou informações quanto à percepção do instrumento pelos trabalhadores da atenção primária. Não foram verificadas mudanças a serem realizadas no questionário. O tempo médio para a resposta individual de cada trabalhador com o questionário foi de 5 min.
Etapa 6: Aprovação do instrumento pelo comitê de revisão especial
Como não foram realizadas maiores modificações no questionário após a versão pré-teste, o comitê especial aprovou a versão do instrumento (Apêndice 1) para ser aplicado entre os participantes do estudo.
APLICAÇÃO DO QUESTIONÁRIO NAS UNIDADES DE SAÚDE PARTICIPANTES
Segundo informações da Secretaria Municipal de Saúde, 215 funcionários contratados, entre os quais médicos, dentistas, agentes comunitários de saúde, enfermeiros, profissionais técnicos e gerentes, estavam alocados nas 10 unidades de atenção primária participantes do estudo. Oito trabalhadores que testaram a versão piloto (etapa 5) não foram incluídos na amostra.
MEDIDAS
O questionário ORIC contém 12 itens que correspondem aos domínios de comprometimento e eficácia. Ele usa uma escala Likert de 5 pontos (1 = discordo totalmente e 5 = concordo totalmente). Para facilitar as análises, os itens foram agrupados conforme os dois fatores (comprometimento e eficácia) organizacionais. As questões relativas à análise do comprometimento são: 2, 4, 6, 9 e 11. As questões relativas à análise da eficácia são 1, 3, 5, 7, 8, 10 e 12.
APLICAÇÃO DA VERSÃO FINAL DO INSTRUMENTO
O instrumento final, após análise do comitê assessor especial (Apêndice 1), foi aplicado pessoalmente por um dos pesquisadores em trabalhadores das unidades de saúde participantes.
ANÁLISE ESTATÍSTICA
Estatística descritiva foi usada para caracterizar as respostas dos respondentes das unidades de saúde participantes. As covariáveis utilizadas foram o cargo, subdividido em pessoal técnico (agentes comunitários de saúde, auxiliares administrativos, técnicos em enfermagem, auxiliares em saúde bucal, assistentes de serviços de saúde), pessoal universitário (médicos, dentistas, farmacêuticos, enfermeiros e assistentes sociais) e gerentes (profissionais responsáveis pela direção das unidades de saúde), a idade em anos e o sexo (masculino e feminino).
A consistência interna do questionário foi medida pelo alfa de Cronbach1616. Bland J, Altman D. Cronbach's alpha. Br Med 1997; 314: 572. https://doi.org/10.1136/bmj.314.7080.572
https://doi.org/https://doi.org/10.1136/...
. Também foram medidas a consistência interna dos domínios eficácia e comprometimento separadamente.
Previamente à análise fatorial exploratória, determinamos a matriz de correlação entre as questões do questionário e analisamos o determinante da matriz de correlação, o teste de esfericidade de Barlett, indicando se tratar ou não de uma matriz identidade que tem por hipótese nula a ausência de correlação entre as variáveis. Assim, a rejeição da hipótese de nulidade é um indicativo da existência de correlação, justificando a análise fatorial exploratória (AFE). Valores de Kaiser-Meyer-Olkin (KMO) acima de 0,5 foram considerados adequados para AFE1717. Kline P. An easy guide to factor-analysis. Londres: Routledge; 2014. 208 p...
Todos os testes foram executados com o uso do comando factortest no software Stata (College Station, TX, Estados Unidos).
A AFE foi realizada usando análise do eixo principal para avaliar a dimensionalidade. Autovalores maiores do que 1 foram retidos como fatores principais e, em seguida, executou-se a rotação pelo método ortogonal Varimax, para a atribuição do peso para cada item em cada um dos fatores retidos. Posteriormente, a validade de constructo nas dimensões do instrumento foi investigada por meio de uma análise fatorial confirmatória (AFC), usando modelo de equação estrutural. A AFC foi realizada pelo método de Robust Maximum Likelihood, em razão dos dados ordinais do instrumento.
Conforme critério de Myers et al.1818. Myers ND, Ahn S, Jin Y. Sample Size and Power Estimates for a Confirmatory Factor Analytic Model in Exercise and Sport: A Monte Carlo Approach. Res Q Exerc Sport 2011; 82(3): 412-23. http://doi.org/10.1080/02701367.2011.10599773
https://doi.org/http://doi.org/10.1080/0...
, uma amostra em torno de 120 respondentes seria suficiente para um instrumento com doze questões. Para acessar a qualidade de ajuste dos modelos, foram considerados comparative fit index (CFI) > 0,90, Tucker-Lewis index (TLI) > 0,90, root mean square error of approximation (RMSEA) < 0,06 e standardized root mean square residual (SRMR) < 0,051717. Kline P. An easy guide to factor-analysis. Londres: Routledge; 2014. 208 p.. e alfa de Cronbach acima de 0,7 para uma consistência interna aceitável1919. Bernardi RA. Validating research results when Cronbachs-Alpha is below .70 - a methodological procedure. Educ Psychol Meas 1994; 54(3): 766-75. http://doi.org/10.1177/0013164494054003023
https://doi.org/http://doi.org/10.1177/0...
. Todas as análises foram realizadas no software STATA v.14 (College Station, TX, Estados Unidos).
Foram realizados quatro modelos por equação estrutural para acessar a qualidade de ajuste dos domínios comprometimento e eficácia do questionário ORIC2020. Nunes RD, Parma GC, de Campos AC, Locatelli P, Traebert J. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Quality of Prenatal Care Questionnaire (QPCQ). Rev Saúde Pública 2019; 53: 1. http://doi.org/10.11606/S1518-8787.2019053000565
https://doi.org/http://doi.org/10.11606/...
.
No modelo 1, testou-se o domínio eficácia por meio de modelagem por equação estrutural, com todos os itens do fator eficácia. No modelo 2, o mesmo domínio foi testado sem incluir a questão ORIC 1, conforme a versão dinamarquesa77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
.
No modelo 3, o domínio comprometimento foi avaliado e, no modelo final (modelo 4), testou-se o ajuste com os itens comprometimento e eficácia correlacionados entre si, conforme preconizado pela teoria de Weiner11. Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
https://doi.org/http://doi.org/10.1186/1...
. A assimetria e a curtose foram avaliadas2121. Meda SA, Stevens MC, Potenza MN, Pittman B, Gueorguieva R, Andrews MM, et al. Investigating the behavioral and self-report constructs of impulsivity domains using principal component analysis. Behav Pharmacol 2009; 20(5-6): 390-9. http://doi.org/10.1097/FBP.0b013e32833113a3
https://doi.org/http://doi.org/10.1097/F...
.
ASPECTOS ÉTICOS
O estudo seguiu os preceitos da Resolução nº 466/2012 do Conselho Nacional de Saúde e foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal do Mato Grosso do Sul (Parecer nº 3.101.971). Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido.
RESULTADOS
O instrumento foi respondido por uma amostra de 150 trabalhadores das 10 unidades de saúde participantes, correspondendo à taxa de resposta de 72,5%. As mulheres representaram 76,7% da amostra e, entre os participantes, 58,5% tinham entre 35 e 65 anos de idade. Quanto ao cargo/função, 76% dos respondentes ocupavam funções de trabalhadores de nível auxiliar e técnico, 21,6% ocupavam funções de nível superior (médicos, enfermeiros, dentistas etc.) e 3,4% eram gerentes das unidades de atenção primária (Tabela 1).
Os valores de alfa de Cronbach foram 0,91, 0,90 e 0,94, respectivamente, para os domínios eficácia, comprometimento e para o instrumento total, mostrando ótima consistência interna.
O teste de esfericidade de Barlett (p = 0,000) mostrou que as variáveis não estavam inter-relacionadas, o que foi propício para a AFE. O valor do KMO foi 0,91, confirmando os achados.
A AFE indicou dois fatores principais (comprometimento e eficácia) com autovalores maiores do que 1. Após a rotação pelo método ortogonal Varimax, os dois fatores retidos explicaram 71,9% da variabilidade dos achados.
Conforme a Tabela 2, todas as questões referentes ao domínio comprometimento - ORIC 2 (peso = 0,71), ORIC 4 (peso = 0,75), ORIC 6 (peso = 0,85), ORIC 11 (peso = 0,65) e ORIC 9 (peso = 0,64) apresentaram valores adequados para explicar esse fator. As questões referentes ao domínio eficácia, ORIC 3 (peso = 0,50), ORIC 5 (peso = 0,68), ORIC 7 (peso = 0,81), ORIC 8 (peso = 0,82), ORIC 10 (peso = 0,80), ORIC 12 (peso = 0,80) apresentaram pesos acima de 0,4, excetuando-se o item 1 (peso = 0,37), que foi excluído da versão final do instrumento ORIC-Br (Apêndice 2).
Pesos dos fatores comprometimento e eficácia segundo as questões do questionário Prontidão Organizacional para Implementação de Mudança (ORIC), após rotação ortogonal (n = 150).
Na Tabela 3 são mostrados os valores da qualidade de ajuste das análises confirmatórias por modelagem de equação estrutural. Entre os quatro modelos realizados, todos indicaram boas qualidades de ajuste para a medição dos domínios, de acordo com a teoria de Weiner11. Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
https://doi.org/http://doi.org/10.1186/1...
.
Na Figura 1 são mostrados os valores dos coeficientes ajustados de cada questão do instrumento em relação à medição de cada domínio sem a presença do item 1. Todos os valores foram significativos (p < 0,001), indicando a importância de cada questão para os respectivos domínios (comprometimento e eficácia).
Coeficientes ajustados para os itens do questionário Prontidão Organizacional para Implementação de Mudança (ORIC), segundo modelo de equação estrutural
Foi investigada a possível relação entre as características dos respondentes e os domínios. Caraterísticas como idade, função e sexo não foram significativas (p > 0,05) em relação aos domínios analisados (comprometimento e eficácia). A assimetria e a curtose de todos os itens também foram avaliadas e apresentaram valores entre 3 e 7, considerados adequados.
DISCUSSÃO
O presente trabalho evidenciou um importante achado. O instrumento ORIC-Br apresentou adequada consistência interna e boas propriedades psicométricas para mensurar, em forma de escalas, a prontidão organizacional para a implementação de mudança em serviços de atenção primária à saúde no Brasil.
Os resultados foram semelhantes aos observados em outros países, já que tanto a versão dinamarquesa77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
quanto a francesa88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
mostraram boas propriedades psicométricas para a medição da prontidão organizacional mediante AFC. Na Dinamarca, o instrumento foi testado no contexto de uma nova política gerencial, destinada à redução do uso de leitos (36%) e do financiamento (10%) em hospital privado, onde os atendimentos seriam executados com número reduzido de profissionais de enfermagem. Na França88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
, o instrumento foi testado antes da aplicação de um novo algoritmo para ajudar terapeutas ocupacionais a cuidar de pessoas com problemas de higiene.
Na presente pesquisa, o instrumento ORIC-Br foi testado previamente a um processo de mudança da atenção primária à saúde, que visava introduzir princípios relacionados à ESF. Em todos os contextos, observou-se a importância e a capacidade do instrumento para medir o grau em que os trabalhadores estavam aptos para implementar mudanças nos serviços de saúde.
De modo análogo a outros estudos22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
,77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
,88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
, o item 1 foi excluído do instrumento ORIC-Br por não apresentar adequada conformidade na AFE2222. Dias JCR, Maroco J, Campos J. Weight Concerns Scale Applied to College Students: Comparison Between Pencil-and-Paper and Online Formats. Cyberpsychol Behav Soc Netw 2015; 18(3): 188-92. http://doi.org/10.1089/cyber.2014.0392
https://doi.org/http://doi.org/10.1089/c...
(Apêndice 2). Na versão final de 11 itens, após a exclusão do item 1 da versão pré-teste, o novo arranjo das questões do instrumento ORIC-Br mostrou que os itens 1, 3, 5, 8 e 10 mediram o comprometimento e os itens 2, 4, 6, 7, 9 e 11 mediram a eficácia. Diferentemente, no instrumento validado na França88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
, o processo de adaptação transcultural removeu dois itens do instrumento, as questões ORIC 1 e ORIC 7, mesmo sem passar por AFE. Os autores e o comitê executivo francês julgaram que os dois itens não estavam em conformidade no processo de tradução e retrotradução. Assim, a versão francesa foi validada com 10 itens no instrumento, cinco medindo o comprometimento e cinco medindo a eficácia. Cabe destacar que os autores do instrumento original deixaram a questão 1 no instrumento para permitir que ela fosse submetida a testes e verificações em estudos posteriores, como o apresentado neste manuscrito e na versão dinamarquesa. Em relação à confiabilidade interna do instrumento, medida pelo alfa de Cronbach, a versão ORIC-Br apresentou valores satisfatórios1616. Bland J, Altman D. Cronbach's alpha. Br Med 1997; 314: 572. https://doi.org/10.1136/bmj.314.7080.572
https://doi.org/https://doi.org/10.1136/...
,1919. Bernardi RA. Validating research results when Cronbachs-Alpha is below .70 - a methodological procedure. Educ Psychol Meas 1994; 54(3): 766-75. http://doi.org/10.1177/0013164494054003023
https://doi.org/http://doi.org/10.1177/0...
e semelhantes aos instrumentos americano22. Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
https://doi.org/http://doi.org/10.1186/1...
, dinamarquês77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
e francês88. Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
https://doi.org/http://doi.org/10.1186/s...
.
No Brasil, serviços integrais que permitam aos indivíduos e famílias obter o cuidado de que necessitam têm sido uma preocupação constante na reorientação dos sistemas de atenção à saúde. Esse processo implica mudanças que demandam novas estratégias para fortalecer a capacidade de resposta tanto dos hospitais como dos serviços especializados e de atenção primária, a fim de aprimorar o compromisso nas organizações e as relações de cooperação entre os profissionais e trabalhadores1313. Matuda CG, Aguiar DMD, Frazao P. Interprofessional collaboration and the Brazilian Sanitary Reform: implications for delivery of healthcare. Saúde Soc 2013; 22(1): 173-86. http://doi.org/10.1590/S0104-12902013000100016
https://doi.org/http://doi.org/10.1590/S...
. Nesse sentido, por sua facilidade de aplicação, o instrumento ORIC-Br poderá ser bastante útil para acessar de forma rápida (tempo médio de 5 min para sua aplicação) a prontidão organizacional em serviços de saúde, podendo oferecer importante contribuição para a produção de conhecimento relacionado à implementação de novos processos de trabalho, tecnologias e inovações em saúde. Sua aplicação é ampla, podendo ser utilizado nos diferentes contextos e organizações do setor e abrangendo processos de mudança de serviços de saúde remotos e/ou rurais2323. Hossain N, Yokota F, Sultana N, Ahmed A. Factors Influencing Rural End-Users' Acceptance of e-Health in Developing Countries: A Study on Portable Health Clinic in Bangladesh. Telemed J E Health 2019; 25(3): 221-9. http://doi.org/10.1089/tmj.2018.0039
https://doi.org/http://doi.org/10.1089/t...
, uso de inteligência artificial2424. Bertoncelli CM, Altamura P, Vieira ER, Bertoncelli D, Solla F. Using Artificial Intelligence to Identify Factors Associated with Autism Spectrum Disorder in Adolescents with Cerebral Palsy. Neuropediatrics 2019; 50(3): 178-87. http://doi.org/10.1055/s-0039-1685525
https://doi.org/http://doi.org/10.1055/s...
, entre outros aspectos.
Outros instrumentos têm sido desenvolvidos para a tradução de conhecimento por profissionais de saúde, com ótimas propriedades psicométricas, como o OR4KT1111. Grandes G, Bully P, Martinez C, Gagnon MP. Validity and reliability of the Spanish version of the Organizational Readiness for Knowledge Translation (OR4KT) questionnaire. Implement Sci 2017; 12. http://doi.org/10.1186/s13012-017-0664-y
https://doi.org/http://doi.org/10.1186/s...
,1212. Gagnon MP, Attieh R, Dunn S, Grandes G, Bully P, Estabrooks CA, et al. Development and Content Validation of a Transcultural Instrument to Assess Organizational Readiness for Knowledge Translation in Healthcare Organizations: The OR4KT. Int J Health Policy Manag 2018; 7(9); 791-7. https://dx.doi.org/10.15171%2Fijhpm.2018.17
https://doi.org/https://dx.doi.org/10.15...
. Esse instrumento apresenta a desvantagem de possuir 39 itens e exigir tempo maior de aplicação, mas oferece um constructo com seis dimensões:
-
clima organizacional para mudança;
-
fatores contextuais organizacionais;
-
mudança de conteúdo;
-
liderança;
-
suporte organizacional;
-
motivação.
A abordagem R = MC22525. Scaccia JP, Cook BS, Lamont A, Wandersman A, Castellow J, Katz J, et al. A practical implementation science heuristic for organizational readiness: R = MC2. J Community Psychol 2015; 43(4): 484-501. http://doi.org/10.1002/jcop.21698
https://doi.org/http://doi.org/10.1002/j...
, que também acessa a prontidão organizacional, possui a desvantagem de não ser um instrumento em escalas, e sim uma avaliação mais qualitativa que envolve três dimensões da prontidão organizacional.
Este estudo possui algumas forças e limitações. É o primeiro estudo, ao conhecimento dos autores, que testou o questionário ORIC em serviços de saúde no Brasil, em um momento prévio ao processo de implementação de uma mudança que compreendia a reorientação de unidades de atenção primária tradicionais para as diretrizes da ESF. Mostrou-se um instrumento confiável, válido e de fácil aplicação no contexto brasileiro. Como limitações, a validação concorrente com outro instrumento poderia contribuir para a avaliação do instrumento, porém, como a ciência de implementação é uma área que ainda está em avanço no Brasil, faltam instrumentos válidos na língua portuguesa para seu uso e posterior validação. Outra limitação é que não foi avaliado o reteste do instrumento, limitação também citada na validação da versão dinamarquesa do instrumento77. Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
https://doi.org/http://doi.org/10.1186/s...
. A validação do instrumento em diferentes contextos também merece ser considerada, tendo em vista que o território brasileiro possui grande variação socioeconômica e de desenvolvimento humano entre os seus 5.570 municípios.
Para gestores de saúde interessados na implementação de novas políticas, inovações ou novos programas em serviços de saúde, o questionário ORIC-Br pode ser uma ferramenta útil e adequada para medir a prontidão organizacional, podendo ser um importante preditor para o sucesso da implementação de mudanças nos serviços de saúde.
AGRADECIMENTOS
Este estudo foi financiado em parte pela Universidade Federal de Mato Grosso do Sul (UFMS). Agradecemos a todos os voluntários e assistentes profissionais que participaram deste estudo. Os financiadores não tiveram nenhum papel no desenho do estudo, coleta nem análise de dados, decisão de publicação ou preparação do manuscrito.
REFERÊNCIAS
-
1Weiner BJ. A theory of organizational readiness for change. Implement Sci 2009; 4. http://doi.org/10.1186/1748-5908-4-67
» https://doi.org/http://doi.org/10.1186/1748-5908-4-67 -
2Shea CM, Jacobs SR, Esserman DA, Bruce K, Weiner BJ. Organizational readiness for implementing change: a psychometric assessment of a new measure. Implement Sci 2014; 9: 7. http://doi.org/10.1186/1748-5908-9-7
» https://doi.org/http://doi.org/10.1186/1748-5908-9-7 -
3Armenakis AA, Harris SG. Crafting a change message to create transformational readiness. J Organizational Change Management 2002; 15(2): 169-83. http://doi.org/10.1108/09534810210423080
» https://doi.org/http://doi.org/10.1108/09534810210423080 -
4Leeman J, Moore A, Teal R, Barrett N, Leighton A, Steckler A. Promoting Community Practitioners' Use of Evidence-Based Approaches to Increase Breast Cancer Screening. Public Health Nurs 2013; 30(4): 323-31. http://doi.org/10.1111/phn.12021
» https://doi.org/http://doi.org/10.1111/phn.12021 -
5Greenhalgh T, Robert G, Macfarlane F, Bate P, Kyriakidou O. Diffusion of innovations in service organizations: Systematic review and recommendations. Milbank Q 2004; 82(4): 581-629. http://doi.org/10.1111/j.0887-378X.2004.00325.x
» https://doi.org/http://doi.org/10.1111/j.0887-378X.2004.00325.x -
6Weiner BJ, Amick H, Lee SYD. Conceptualization and measurement of organizational readiness for change - A review of the literature in health services research and other fields. Med Car Res Rev 2008; 65(4): 379-436. http://doi.org/10.1177/1077558708317802
» https://doi.org/http://doi.org/10.1177/1077558708317802 -
7Storkholm MH, Mazzocato P, Tessma MK, Savage C. Assessing the reliability and validity of the Danish version of Organizational Readiness for Implementing Change (ORIC). Implementat Sci 2018; 13. http://doi.org/10.1186/s13012-018-0769-y
» https://doi.org/http://doi.org/10.1186/s13012-018-0769-y -
8Ruest M, Léonard G, Thomas A, Desrosiers J, Guay M. French cross-cultural adaptation of the Organizational Readiness for Implementing Change (ORIC). BMC Health Serv Res 2019; 19: 535. http://doi.org/10.1186/s12913-019-4361-1
» https://doi.org/http://doi.org/10.1186/s12913-019-4361-1 -
9Meyer JP, Stanley DJ, Herscovitch L, Topolnytsky L. Affective, continuance, and normative commitment to the organization: A meta-analysis of antecedents, correlates, and consequences. J Vocat Behav 2002; 61(1): 20-52. http://doi.org/10.1006/jvbe.2001.1842
» https://doi.org/http://doi.org/10.1006/jvbe.2001.1842 -
10Butler G. Self-efficacy: The exercise of control by Albert Bandura. Br J Clin Psychol 1998; 37(4): 467-473. https://doi.org/10.1111/j.2044-8260.1998.tb01404.x
» https://doi.org/https://doi.org/10.1111/j.2044-8260.1998.tb01404.x -
11Grandes G, Bully P, Martinez C, Gagnon MP. Validity and reliability of the Spanish version of the Organizational Readiness for Knowledge Translation (OR4KT) questionnaire. Implement Sci 2017; 12. http://doi.org/10.1186/s13012-017-0664-y
» https://doi.org/http://doi.org/10.1186/s13012-017-0664-y -
12Gagnon MP, Attieh R, Dunn S, Grandes G, Bully P, Estabrooks CA, et al. Development and Content Validation of a Transcultural Instrument to Assess Organizational Readiness for Knowledge Translation in Healthcare Organizations: The OR4KT. Int J Health Policy Manag 2018; 7(9); 791-7. https://dx.doi.org/10.15171%2Fijhpm.2018.17
» https://doi.org/https://dx.doi.org/10.15171%2Fijhpm.2018.17 -
13Matuda CG, Aguiar DMD, Frazao P. Interprofessional collaboration and the Brazilian Sanitary Reform: implications for delivery of healthcare. Saúde Soc 2013; 22(1): 173-86. http://doi.org/10.1590/S0104-12902013000100016
» https://doi.org/http://doi.org/10.1590/S0104-12902013000100016 -
14Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine 2000; 25(24): 3186-91. http://doi.org/10.1097/00007632-200012150-00014
» https://doi.org/http://doi.org/10.1097/00007632-200012150-00014 -
15Terwee CB, Prinsen CAC, Chioratto A, Westerman MJ, Patrick DL, Alonso J, et al. Cosmim methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res 2018; 27: 1159-70. http://doi.org/10.1007/s11136-018-1829-0
» https://doi.org/http://doi.org/10.1007/s11136-018-1829-0 -
16Bland J, Altman D. Cronbach's alpha. Br Med 1997; 314: 572. https://doi.org/10.1136/bmj.314.7080.572
» https://doi.org/https://doi.org/10.1136/bmj.314.7080.572 -
17Kline P. An easy guide to factor-analysis. Londres: Routledge; 2014. 208 p..
-
18Myers ND, Ahn S, Jin Y. Sample Size and Power Estimates for a Confirmatory Factor Analytic Model in Exercise and Sport: A Monte Carlo Approach. Res Q Exerc Sport 2011; 82(3): 412-23. http://doi.org/10.1080/02701367.2011.10599773
» https://doi.org/http://doi.org/10.1080/02701367.2011.10599773 -
19Bernardi RA. Validating research results when Cronbachs-Alpha is below .70 - a methodological procedure. Educ Psychol Meas 1994; 54(3): 766-75. http://doi.org/10.1177/0013164494054003023
» https://doi.org/http://doi.org/10.1177/0013164494054003023 -
20Nunes RD, Parma GC, de Campos AC, Locatelli P, Traebert J. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Quality of Prenatal Care Questionnaire (QPCQ). Rev Saúde Pública 2019; 53: 1. http://doi.org/10.11606/S1518-8787.2019053000565
» https://doi.org/http://doi.org/10.11606/S1518-8787.2019053000565 -
21Meda SA, Stevens MC, Potenza MN, Pittman B, Gueorguieva R, Andrews MM, et al. Investigating the behavioral and self-report constructs of impulsivity domains using principal component analysis. Behav Pharmacol 2009; 20(5-6): 390-9. http://doi.org/10.1097/FBP.0b013e32833113a3
» https://doi.org/http://doi.org/10.1097/FBP.0b013e32833113a3 -
22Dias JCR, Maroco J, Campos J. Weight Concerns Scale Applied to College Students: Comparison Between Pencil-and-Paper and Online Formats. Cyberpsychol Behav Soc Netw 2015; 18(3): 188-92. http://doi.org/10.1089/cyber.2014.0392
» https://doi.org/http://doi.org/10.1089/cyber.2014.0392 -
23Hossain N, Yokota F, Sultana N, Ahmed A. Factors Influencing Rural End-Users' Acceptance of e-Health in Developing Countries: A Study on Portable Health Clinic in Bangladesh. Telemed J E Health 2019; 25(3): 221-9. http://doi.org/10.1089/tmj.2018.0039
» https://doi.org/http://doi.org/10.1089/tmj.2018.0039 -
24Bertoncelli CM, Altamura P, Vieira ER, Bertoncelli D, Solla F. Using Artificial Intelligence to Identify Factors Associated with Autism Spectrum Disorder in Adolescents with Cerebral Palsy. Neuropediatrics 2019; 50(3): 178-87. http://doi.org/10.1055/s-0039-1685525
» https://doi.org/http://doi.org/10.1055/s-0039-1685525 -
25Scaccia JP, Cook BS, Lamont A, Wandersman A, Castellow J, Katz J, et al. A practical implementation science heuristic for organizational readiness: R = MC2 J Community Psychol 2015; 43(4): 484-501. http://doi.org/10.1002/jcop.21698
» https://doi.org/http://doi.org/10.1002/jcop.21698
-
Fonte de financiamento: nenhuma
Datas de Publicação
-
Publicação nesta coleção
09 Out 2020 -
Data do Fascículo
2020
Histórico
-
Recebido
03 Mar 2020 -
Revisado
13 Abr 2020 -
Aceito
14 Abr 2020