Construção e validação de instrumento para avaliação do Lean Healthcare em instituições de saúde

RESUMO

Objetivo:

Construir e validar um instrumento para avaliar o Lean Healthcare nas instituições de saúde.

Método:

Estudo metodológico realizado em três etapas: 1) Construção do instrumento; 2) Validade de conteúdo pela técnica Delphi com 14 especialistas; e 3) Validade de constructo por Modelagem de Equações Estruturais, em amostra de 113 profissionais com experiência no Lean Healthcare. Coleta de dados realizada de outubro/2020 a janeiro/2021 por formulário digital. Análise de dados realizadas com o software SmartPLS2.0/M3.

Resultados:

Itens elaborados após revisão integrativa e divididos nas dimensões Estrutura, Processo e Resultado, conforme referencial teórico de Donabedian. Validação de conteúdo em duas rodadas da técnica Delphi. Instrumento final, após ajuste do modelo, contendo 16 itens com alfa de Cronbach de 0,77 em Estrutura, 0,71 em Processo e 0,83 em Resultado.

Conclusão:

O instrumento apresentou evidências de validade e confiabilidade, permitindo seu uso nas instituições de saúde para avaliar o Lean Healthcare.

Descritores:
Enfermagem; Estudo de validação; Confiabilidade dos dados; Avaliação em saúde; Gestão em saúde; Gestão da qualidade total

ABSTRACT

Objective:

To build and validate an instrument to evaluate Lean Healthcare in healthcare institutions.

Method:

Methodological study conducted in three stages: 1) Instrument construction; 2) Content validity using the Delphi technique with 14 experts; and 3) Construct validation using Structural Equation Modeling with sample consisted of 113 professionals with experience in Lean Healthcare. Data collection carried out from October/2020 to January/2021 using a digital form. Data analysis performed with the SmartPLS2.0/M3 software.

Results:

Items were developed after an integrative review and divided into the dimensions Structure, Process and Outcome, according to Donabedian’s theoretical framework. Content validation in two rounds of the Delphi technique. Final instrument, after model adjustment, containing 16 items with Cronbach’s alpha of 0.77 in Structure, 0.71 in Process and 0.83 in Outcome.

Conclusion:

The instrument presented evidence of validity and reliability, enabling its use in healthcare institutions to evaluate Lean Healthcare.

Descriptors:
Nursing; Validation study; Data accuracy; Health evaluation; Health management; Total quality management

RESUMEN

Objetivo:

Construir y validar un instrumento para evaluar Lean Healthcare en instituciones de salud.

Método:

Estudio metodológico realizado en tres etapas: 1) Construcción del instrumento; 2) Validez de contenido mediante técnica Delphi con participación de 14 expertos; 3) Validez de constructo mediante Modelado de Ecuaciones Estructurales con muestra compuesta por 113 profesionales con experiencia en Lean Healthcare. La recopilación de datos se realizó de octubre/2020 a enero/2021 mediante formulario digital. El análisis de datos se realizó con el software SmartPLS2.0/M3.

Resultados:

Ítems elaborados después de revisión integradora y divididos en las dimensiones Estructura, Proceso y Resultado, según referencial teórico de Donabedian. Validación de contenido en dos rondas de la técnica Delphi. Instrumento final, después del ajuste del modelo, contiene 16 ítems con alfa de Cronbach 0,77 en Estructura, 0,71 en Proceso y 0,83 en Resultado.

Conclusión:

El instrumento presentó evidencias de validez y confiabilidad, permitiendo uso para evaluar Lean Healthcare.

Descriptores:
Enfermería; Estudio de validación; Exactitud de los datos; Evaluación en salud; Gestión en salud; Gestión de la calidad total

INTRODUÇÃO

Após a Segunda Guerra Mundial fabricantes japoneses foram confrontados com a escassez de recursos materiais, financeiros e humanos. Para contrapor esse cenário os líderes da Toyota, Eiji Toyoda e Taiichi Ohno, desenvolveram um sistema de gestão disciplinado e orientado para os processos e resultados, designado por Toyota Production System (TPS) que foi chamado de Lean a partir de 19911^,2. O Lean é uma filosofia de gestão que foi adaptada para uso na área da saúde, denominado Lean Healthcare e suas primeiras publicações nesta área foram feitas no Reino Unido em 2001 e nos Estados Unidos em 2002. O Lean Healthcare apresenta uma expectativa de reduzir custos e otimizar recursos por meio de uma revisão de processos para gerar valor para o paciente/ usuário3.

Mudanças são constantes na área da saúde e seu principal objetivo é o alcance da qualidade assistencial4. Nesta abordagem sistemática de gestão o objetivo está em fazer mais com menos, ou seja, as organizações devem buscar desenvolver serviços ou produtos de alta qualidade, eliminar desperdícios, diminuir custos e tempo para realização do serviço5. Os três termos utilizados para descrever os desperdícios no Lean são: 1) Muda - atividade que consome recursos sem criar valor para o cliente; 2) Mura - variação no processo que gera dificuldade de controle e gera picos de trabalho intensos e, depois, momentos ociosos; e 3) Muri - sobrecarga de pessoas e equipamentos1.

O Lean Healthcare fornece ferramentas e práticas que capacitam os profissionais a pensarem e desenvolverem soluções para melhorar a eficiência, a qualidade e a sustentabilidade das organizações em que estão inseridos6. Em seu modelo de gestão valoriza todos os profissionais envolvidos e procura a causa raiz dos problemas juntamente com aqueles que mais operacionalizam as ações. Os profissionais são estimulados a revelar situações que requerem melhorias, pois essa é a primeira condição necessária para consertá-los. Isto possibilita aos profissionais, participar na resolução de problemas dentro do local de trabalho, o que contribui para a sua satisfação profissional e, na prática do Lean, cabe à liderança o engajamento da equipe7.

Evidências apontam para resultados positivos com a prática do Lean Healthcare, como: redução no cancelamento cirúrgico e aumento na capacidade instalada de atendimento5, redução no tempo de espera8, redução no tempo de internação9, aumento na satisfação do paciente e colaboradores10, aumento na eficiência operacional e otimização do tempo11.

No cenário Brasileiro a filosofia Lean Healthcare vem contribuindo para a redução de desperdícios e melhoria da qualidade no setor de saúde12^-14. A melhoria contínua e a manutenção dos resultados alcançados são desafios para a gestão no uso do Lean na prática assistencial. Melhores resultados ocorrem conforme a equipe se envolve com o processo de mudança, modificando e amadurecendo uma nova forma de pensar seu processo de trabalho15. Cabe à gestão em saúde, periodicamente, avaliar e acompanhar o Lean para sustentar os resultados alcançados na sua implantação.

O modelo Donabediano, pelas evidências apresentadas, fortalece o processo avaliativo em saúde, sendo possível identificar os fatores intervenientes nos modelos de gestão e uma melhor compreensão da qualidade dos serviços, por meio de critérios existentes em cada uma das dimensões propostas de estrutura, processo e resultado16.

Existem alguns instrumentos disponíveis para avaliar apenas a implantação do Lean. Para a área da saúde destacam-se os instrumentos: Lean in Healthcare Questionnaire (LiHcQ), voltado especificamente para a atenção primária em saúde17⁾ e o Employee Perception to assess Lean Implementation Tool (EPLIT) que se aplica à implantação do Lean18. Há, portanto, uma lacuna de instrumentos para acompanhar/ avaliar os resultados do Lean Healthcare ao longo do tempo em serviços hospitalares. Diante do exposto, o presente estudo teve o objetivo de construir e validar um instrumento para avaliar o Lean Healthcare nas instituições de saúde.

MÉTODO

Estudo metodológico realizado em três etapas: 1) Construção do instrumento; 2) Validade de conteúdo pela técnica Delphi; e 3) Validade de constructo por Modelagem de Equação Estrutural para avaliação do modelo de mensuração e do modelo estrutural.

Na primeira etapa, de construção do instrumento, realizou-se revisão da literatura19, consulta de outros instrumentos existentes, da opinião de especialistas e experiência da população alvo para: a) construção dos itens; b) distribuição por dimensões, conforme referencial teórico de Donabedian16 (estrutura, processo e resultado); c) desenvolvimento de layout do instrumento; e) proposição de escala de resposta bidirecional Likert com cinco pontos (1=discordo totalmente, 2=discordo parcialmente, 3=neutro, 4=concordo parcialmente, 5=concordo totalmente)20.

Os primeiros itens foram elaborados a partir dos achados da revisão de literatura19 e outros instrumentos existentes. Consultou-se ainda a opinião de especialistas e da população alvo por meio de grupo focal realizado com os participantes de um grupo de pesquisa sobre gestão em enfermagem. Realizaram-se três reuniões com duas horas de duração, até o esgotamento de opiniões acerca dos itens necessários para compor o instrumento, bem como a dimensão adequada para cada item, considerando o referencial teórico de Donabedian16.

Para a segunda etapa do estudo, com uso da técnica Delphi, constituiu-se um painel de especialistas após convite postado em plataformas digitais de abrangência Nacional que reúnem profissionais com vivência no Lean. Os critérios de inclusão foram: 1) Ter experiência mínima de cinco anos com o Lean Healthcare; e/ou 2) Possuir certificação Green belt; e/ou c) Ter experiência com pesquisas relacionadas à construção de instrumentos.

Foram necessárias duas rodadas da técnica Delphi, realizadas remotamente, que ocorreram entre os meses de janeiro a junho de 2020. Originalmente solicitou-se retorno em 14 dias, mas isso ocorreu após 36 dias para a primeira rodada e 22 dias na segunda rodada e o intervalo entre as rodadas foi de 54 dias.

Os especialistas que manifestaram interesse em participar dessa segunda etapa do estudo receberam um e-mail formalizando o convite, em que foram explicitados os objetivos e as concepções teóricas adotadas no estudo e continha os arquivos do Termo de Consentimento Livre e Esclarecido, do instrumento e das orientações de preenchimento da análise sobre o instrumento em processo de validação de conteúdo. Dos 23 profissionais que atenderam ao critério de inclusão obteve-se adesão de 60,8% (14 profissionais) nessa etapa e somente um especialista não concluiu a segunda rodada da técnica Delphi.

Analisou-se a representatividade e a clareza de cada item pelo Índice de Validade de Conteúdo (IVC). O cálculo foi realizado a partir de uma escala Likert de quatro pontos ordinais, sendo que os juízes poderiam assinalar as seguintes respostas para representatividade: 1 = não representativo, 2 = item necessita de grande revisão, 3 = item necessita de pequena revisão, ou 4 = item representativo. Para avaliar a abrangência, a clareza e a pertinência, foram utilizadas as opções: 1 = não claro, 2 = pouco claro, 3 = bastante claro, 4 = muito claro. Itens com IVC abaixo de 80% deveriam ser revistos, conforme sugestão dos especialistas21.

Por fim, na terceira etapa, realizou-se a análise do modelo de mensuração e do modelo estrutural para validação do constructo. Realizou-se a coleta de dados para a validade do constructo pela plataforma online de uso gratuito Google Forms e o período de coleta de dados foram de outubro de 2020 a janeiro de 2021. A população do estudo foi constituída por membros da equipe multiprofissional atuantes em serviços de saúde que adotam o Lean Healthcare.

O recrutamento de profissionais foi realizado por convite nas redes sociais Instagram, Facebook e LinkedIn, aos grupos de profissionais da saúde com atuação e pesquisa no Lean; aos associados da SOBECC (Associação Brasileira de Enfermeiros de Centro Cirúrgico, Recuperação Anestésica e Centro de Material e Esterilização) e da REBRAENSP (Rede Brasileira de Enfermagem e Segurança do Paciente. O convite acompanhava pedido de ampla divulgação da pesquisa.

Optou-se por enviar convite aos associados da SOBECC e da REBRAENSP por serem grupos oficiais com profissionais atuantes em serviços hospitalares com grande potencial de preencher ao critério de inclusão na pesquisa. Além disso, o uso da filosofia Lean tem sido objeto de eventos e discussões científicas realizadas pelos dois grupos pelo seu enfoque na melhoria contínua. Nesse sentido, verificou-se a ausência de alguma certificação, grupo ou plataforma oficial Brasileira que registrasse serviços de saúde que adotam o Lean Healthcare.

O critério de inclusão adotado foi de experiência prévia de três meses com o Lean Healthcare e não tivemos exclusões dos participantes. Calculou-se a amostra mínima necessária para a validação utilizando nível de significância de 0,05, tamanho do efeito médio e statistic power de 0,80, com uso do software gratuito G*POWER. O valor resultante foi de 55 casos para o uso do modelo de estimação22.

Para caracterização dos participantes buscou-se as seguintes informações: 1) Perfil da instituição em que trabalha (pública privada ou filantrópica); 2) Estado Brasileiro de localização dessa instituição; 3) Cargo; 4) Função profissional; 5) Área de trabalho; 6) Setor em que trabalha; 7) Idade; 8) Sexo; 9) Tempo de experiência trabalhando com o Lean Healthcare; 10) Tempo trabalhado com o Lean Healthcare no emprego atual.

Os dados coletados no Google Forms foram exportados em planilha compatível com a Microsoft Excel e importados para o software Statistical Analysis System® (SAS) versão 9.4. Verificou-se a aderência dos dados por meio do teste PK de Mardia com base na sua distribuição para conferir se os testes estatísticos seriam paramétricos ou não paramétricos.

Utilizou-se a técnica de Modelagem de Equações Estruturais (MEE), mais especificamente a análise confirmatória de segunda ordem22 com o software SmartPLS 2.0 M3. Optou-se por essa técnica pelo instrumento conter três constructos definidos pelo modelo Donabediano16 (R - resultado, E - Estrutura e P - Processo) e os dados não serem aderentes a uma distribuição normal multivariada. Pela MEE analisou-se o modelo de mensuração e o modelo estrutural. No modelo de mensuração avaliou-se: validade convergente, confiabilidade, validade discriminante e significância das correlações e regressões. No modelo estrutural avaliou-se: os coeficientes de caminho, os coeficientes de determinação de Pearson - R2, o tamanho do efeito - f2 e a validade preditiva - Q2.

Calculado o modelo inicial pela MEE, seguiram-se sete etapas para ajuste do modelo. Na primeira etapa analisou-se a validade convergente considerando o valor de AVE ≥ 0,50 (AVE - Average Variance Extracted). Em relação à confiabilidade avaliou-se a Confiabilidade Composta (CC) e o alfa de Cronbach e definiu-se que as duas medidas deveriam ser superiores a 0,7020. Verificou-se a validade discriminante pelo critério de Fornell e Larcker comparando o valor da raiz quadrada da AVE de cada constructo, que deveria apresentar valor maior do que as correlações da AVE com os outros constructos22. As significâncias das correlações e regressões foram avaliadas pelo módulo de reamostragem (bootstrapping) do software smartPLS, com cálculo do t de Student (referência - t ≥ 1,96)22.

Após realizar ajustes no modelo de mensuração realizou-se a análise do modelo estrutural pelos coeficientes de determinação de Pearson (R2). Para o campo de ciências sociais e comportamentais Cohen (1988) sugere que R2=2% seja classificado como efeito pequeno, R2=13% como efeito médio e R2=26% como efeito grande22. Para o tamanho do efeito (f2) dos constructos considerou-se valores de 0,02, 0,15, e 0,35 como sendo pequenos, médios e grandes respectivamente para ponderar a importância de cada constructo no modelo. Por fim a validade preditiva (Q2), ou acurácia do modelo, foi avaliada com referência a Q2>020.

O estudo foi aprovado pelo Comitê de Ética em Pesquisa sob parecer 3.739.373 (CAAE 20454519.2.0000.5404). Profissionais do painel de especialistas e demais participantes deram aceite ao TCLE. Foi garantido o sigilo sobre a identificação dos participantes e a confidencialidade dos dados, de acordo com a Resolução nº 466/12.

RESULTADOS

Primeira etapa: Construção do instrumento

A primeira versão do instrumento, elaborada com base em ampla revisão de literatura, consulta de outros instrumentos e grupos focais com especialistas e membros da população alvo (profissionais com vivência no Lean Healthacare) resultou na construção de 54 itens. Obtivemos a participação de 16 profissionais nessa etapa. Do total de itens, 47 itens foram elaborados a partir dos resultados da revisão de literatura e da consulta a outros instrumentos, enquanto oito (8) itens emergiram dos grupos focais. Ao todo ocorreram três grupos focais, em que houve possibilidade dos participantes opinarem, também, sobre os 47 itens já presentes no instrumento.

Na distribuição por dimensões consideraram-se aspectos conceituais da teoria de Donabedian16, discutidas nos grupos focais, sendo que: a) Estrutura: itens sobre recursos, normas, rotinas, sistema de valores e expectativas; b) Processo: itens sobre as ações assistenciais prestadas aos pacientes/usuários; e c) Resultados: itens que demonstravam as consequências das atividades praticadas pelos profissionais de saúde. Dos 54 itens, 18 foram alocados para a dimensão Estrutura, 17 para Processo e 19 para Resultado.

Segunda etapa: Validação de conteúdo pela técnica Delphi

Na etapa de validação de conteúdo realizaram-se, ao todo, duas rodadas da técnica Delphi. A primeira rodada ocorreu com 14 especialistas sendo sete enfermeiros, dois administradores hospitalares, um farmacêutico consultor e quatro engenheiros, todos com experiência no Lean. O tempo de retorno dos especialistas variou de 10 a 36 dias.

Dos 54 itens do instrumento, referente à representatividade, 14 itens (Q11, Q17, Q18, Q19, Q21, Q25, Q26, Q30, Q33, Q37, Q38, Q39, Q41, Q43) obtiveram um IVC abaixo de 80%. Quanto à clareza, 14 itens (Q1, Q2, Q3, Q6, Q19, Q25, Q27, Q28, Q38, Q41, Q42, Q47, Q50 e Q51) obtiveram um IVC abaixo de 80%. Desses itens, quatro (Q11, Q18, Q21 e Q30) foram excluídos devido à baixa representatividade e por estarem contemplados por outros itens. Houve ainda a inclusão de um item. Portanto, ao final da primeira rodada da técnica Delphi, o instrumento continha 51 itens ao todo.

Ainda na primeira rodada da técnica Delphi solicitou-se que os especialistas assinalassem, dentro das alternativas apresentadas (estrutura, processo e resultado), a dimensão em que cada item melhor se encaixava. Houve concordância com a dimensão proposta para 45 itens (83%). Da análise das divergências para os demais nove itens, realizou-se mudança de dimensão para cinco itens (Q1, Q9, Q12, Q26 e Q50) e manutenção da dimensão proposta originalmente para quatro itens, conforme o referencial teórico.

Na segunda rodada 51 itens foram encaminhados para análise aos especialistas, além do título, instruções de preenchimento e opções de respostas. Essa rodada ocorreu 54 dias após a primeira e teve adesão de 13 especialistas, pois um juiz estava com COVID-19 e ficou impossibilitado de participar dessa etapa. O tempo de retorno na segunda rodada variou de sete a 22 dias. O IVC para clareza no título foi de 82%, para as instruções de preenchimento foi de 89% e, para as opções de resposta, 89%. Sendo assim, não ocorreram alterações nesses elementos.

Nessa segunda rodada todos os 51 itens apresentaram IVC maior que 80% para representatividade e 50 itens obtiveram IVC maior que 80% para clareza. O item Q24 obteve IVC de 71% e teve a grafia alterada, sendo reformulado de: “Em meu setor há padronização de condutas (protocolos, normas) entre profissionais da mesma categoria” para “Em meu setor há padronização de condutas (protocolos, normas) entre profissionais da mesma categoria, como enfermagem, médicos, limpeza e outros”. Os especialistas sugeriram alteração na grafia de três outros itens (Q5, Q30 e Q51), o que foi acatado.

Ao final dessa etapa os 51 itens avaliados estavam agrupados da seguinte forma: 19 itens na dimensão de Estrutura, 17 itens na dimensão de Processo e 15 itens na dimensão de Resultado (Quadro 1). Com o elevado grau de concordância dos especialistas na validação de conteúdo do título do instrumento, utiliza-se a abreviação IALEH para referir-se ao Instrumento de Avaliação do Lean Healthcare.

Terceira etapa: Validação de constructo por Modelagem de Equação Estrutural para avaliação do modelo de mensuração e do modelo estrutural

Na terceira etapa do estudo participaram 113 profissionais, maioria (76,1%) do sexo feminino, com idade entre 23 e 67 anos, média de 42,2 anos e mediana de 40,0 anos. Desses, 62% do estado de São Paulo, 14% Rio de Janeiro, 7% Minas Gerais, 7% Ceará, 4,4% Rio Grande do Sul e outros estados (Santa Catarina, Pernambuco, Paraná, Espírito Santo, Distrito Federal e Bahia - 0,9% em cada estado).

A maior parte dos participantes possuía cargo de Gerentes ou coordenadores (58,5%), os demais atuavam como profissionais Assistenciais (17,7%), Diretores/Administradores (8,8%), Consultores (6,2%), Analistas da Qualidade (5,3%) e Assessores (3,5%). Em relação à formação, 66,3% eram Enfermeiros, 19,4% eram profissionais do Administrativo, 4,4% Médicos, 2,6% Farmacêuticos, 2,6% Engenheiros, Técnicos de Enfermagem (1,7%), Psicólogo, Assistente Técnico da Qualidade e Assistente (0,9% cada).

Obteve-se participação de profissionais da área hospitalar (94,7%), de Unidade Básica em Saúde (1,8%), de Apoio e Diagnóstico (1,8%), Consultoria (0,9%) e Ambulatorial (0,9%). A representatividade dos setores de atuação dos participantes, em ordem decrescente, foi: o Cirúrgico (35,4%), Qualidade (24,8%), Clínico (14,1%), Áreas de apoio (11,5%), Urgência/ Emergência (9,7%), Terapia Intensiva (2,6%), Unidade Básica de Saúde (1,7%).

Concluída a caracterização da amostra iniciou-se a validação por Modelagem de Equação Estrutural (MEE). A verificação da validade convergente, obtida pela observação das AVE > 0,50, foi realizada em seis rodadas da Modelagem de Equações Estruturais, até que todos os itens com AVE ≤ 0,50 fossem retirados do instrumento (Tabela 1). Na quinta rodada da MEE a dimensão Estrutura apresentou AVE ≤ 0,50, tendo variáveis retiradas do modelo. Com a sexta rodada obteve-se o ajuste do modelo, com AVE > 0,50 em todas as dimensões.

Tabela 1 -
Valores da Variância Média Extraída nas rodadas da Modelagem de Equações Estruturais para os 51 itens do instrumento. Campinas, São Paulo, Brasil, 2022

Modelos	Estrutura	Processo	Resultado	Itens removidos
1ª rodada	0,309	0,284	0,313	E01, E10, E12, E19, P01, P02, P03, P07, P09, P13, R02, R08, R10, R11 e R13
2ª Rodada	0,370	0,362	0,427	E05, E13, E15, E17, E18, P06, P08, P11, P12, R06 e R12
3ª Rodada	0,417	0,455	0,475	E14, P17, R04
4ª Rodada	0,429	0,491	0,503	E08, P10 e P16
5ª Rodada	0,446	0,528	0,503	E04, E11 e E16
6ª Rodada	0,527	0,537	0,503

• Fonte: Dados da pesquisa, 2022.
• Legenda: E - Estrutura; P - Processo; R - Resultado (dimensões do instrumento).

Quadro 1 -
Descrição dos 51 itens e dimensões correspondentes ao Instrumento de Avaliação do Lean Healthcare. Campinas, São Paulo, Brasil, 2022

ITENS
E01	Q1	A infraestrutura do meu setor foi alterada para facilitar os fluxos de atendimento
E02	Q2	A avaliação de desempenho dos profissionais é usada de forma positiva para corrigir falhas/problemas
E03	Q3	A cultura de melhoria contínua no meu setor, com investimentos em infraestrutura, recursos materiais e desenvolvimento de pessoas, favorece o meu desenvolvimento profissional
E04	Q5	A educação permanente tem foco nas demandas dos pacientes/usuários
E05	Q6	A educação permanente tem foco nas demandas dos profissionais
E06	Q7	A estrutura física (organização do fluxo e layout) favorece o desempenho do trabalho
E07	Q16	Eu me sinto seguro(a) no meu ambiente de trabalho
E08	Q17	Eu tenho boas condições para realizar meu trabalho
E09	Q24	Minha equipe é sempre incentivada a incorporar novos conhecimentos às práticas
E10	Q25	Minha equipe está aberta a novas informações/conhecimentos
E11	Q26	Na minha instituição existe programa de capacitação e atualização dos profissionais
E12	Q29	No meu setor as mudanças referentes a processos de melhoria são de competência exclusiva dos meus supervisores
E13	Q30	No meu setor os indicadores de qualidade estão disponíveis e/ou de fácil acesso a toda a equipe
E14	Q32	O meu setor dispõe de recursos materiais em quantidade e qualidade para atender às demandas de assistência à saúde
E15	Q33	O meu setor dispõe de recursos tecnológicos em quantidade e qualidade para atender às demandas de assistência à saúde
E16	Q38	Os indicadores da qualidade (custos, processo e pacientes/usuários) são apresentados à equipe periodicamente
E17	Q43	Sinto que minha opinião é valorizada para a promoção de mudanças
E18	Q44	Sinto-me satisfeito(a) em trabalhar neste setor
E19	Q46	Sou encorajado(a) a notificar incidentes relacionados à segurança do paciente/usuário
P01	Q11	A padronização da assistência à saúde favorece a segurança física e emocional para o paciente/usuário
P02	Q12	A participação ativa em processos de mudança no setor faz parte da rotina dos membros da equipe médica
P03	Q14	Em meu setor há padronização de condutas (protocolos, normas) entre profissionais da mesma categoria, como enfermagem, médicos, limpeza e outros
P04	Q18	Existe uma rotina de discussão periódica da equipe sobre os indicadores de qualidade do setor
P05	Q19	Faço parte de uma equipe que mantém uma comunicação continua no dia a dia
P06	Q20	Materiais são solicitados e utilizados sem excesso ou sobras de estoque no setor
P07	Q21	Meu processo de trabalho está centrado no valor ao paciente/usuário
P08	Q23	Meu supervisor incentiva discussões positivas sobre erros, dificuldades e lições aprendidas
P09	Q27	No geral, a equipe em que trabalho toma decisões em conjunto
P10	Q31	O mapeamento do fluxo possibilita debates de melhoria contínua no meu setor
P11	Q34	O paciente/usuário é atendido prontamente neste setor
P12	Q35	O processo de trabalho flui sem interrupções
P13	Q37	O uso de procedimentos e ações padronizadas aumentou o registro e a documentação das atividades em meu setor
P14	Q41	Planos de ação para os projetos de melhoria são discutidos com a equipe periodicamente
P15	Q48	Tenho certeza que agora minhas funções/atribuições estão muito bem definidas
P16	Q49	Todos os setores estão envolvidos na melhoria contínua
P17	Q50	Trabalhamos na redução de desperdícios no atendimento como: estoque desnecessário, sem filas de espera, sem produção em excesso, sem retrabalho, sem falhas e sem transportes demorados
R01	Q4	A cultura de melhoria contínua tem contribuído para aumentar a produtividade ano após ano
R02	Q8	A melhoria contínua da assistência à saúde é resultado do trabalho da equipe de cada setor
R03	Q9	A melhoria contínua, com base nos princípios Lean, faz parte da rotina do meu setor de trabalho
R04	Q10	A minha equipe é reconhecida pelos bons resultados no seu trabalho
R05	Q13	Atualmente meu setor é mais organizado e eficiente
R06	Q15	Eu me sentiria seguro(a) em ser atendido(a) neste setor
R07	Q22	Meu setor teve resultados positivos imediatos com a implantação do Lean
R08	Q28	No meu setor as melhorias no atendimento e organização são discutidas somente por ocasião das auditorias
R09	Q36	O trabalho em equipe melhorou após a implantação do Lean no nosso setor
R10	Q39	Os pacientes/usuários reconhecem esta instituição por sua excelência
R11	Q40	Participo das decisões tomadas em meu setor
R12	Q42	Pouco ou nada mudou no meu setor após a implantação do Lean
R13	Q45	Soluções de problemas com projetos de longo prazo são valorizadas pela equipe
R14	Q47	Temos menos desperdícios no setor em relação ao último ano
R15	Q51	Ultimamente a percepção de valor entregue ao paciente/usuário pelos trabalhadores melhorou

• Fonte: Dados da pesquisa, 2022.
• Legenda: E - Estrutura; P - Processo; R - Resultado (dimensões do instrumento)/ Q - Questão

O modelo final de análise contendo os 16 itens que permaneceram no instrumento (Figura 1) resultaram em valores estatisticamente aceitáveis, podendo ser considerado ajustado. A análise dos coeficientes de caminho (entre as setas que ligam os constructos) mostra que esses valores podem ser considerados altos, sugerindo bom ajuste do modelo. A Confiabilidade Composta e o teste Alfa de Cronbach (AC) apresentaram valores acima de 0,70 (Tabela 2).

Tabela 2 -
Valores dos testes de qualidade de ajuste do modelo. Campinas, São Paulo, Brasil, 2022

Dimensões	Variância Média Extraída	Confiabilidade Composta	Alpha de Cronbach	R2
Estrutura	0,527	0,847	0,774	0,794
Processo	0,537	0,822	0,712	0,630
Resultado	0,503	0,875	0,833	0,818

• Fonte: Dados da pesquisa, 2022.
• Nota: Valores do R2 de 0,02, 0,13 e 0,26 são considerados pequenos, médios e grandes, respectivamente.

Figura 1 -
Modelo final do Instrumento de Avaliação do Lean Healthcare. Campinas, São Paulo, Brasil, 2022

Pela correlação entre os constructos do instrumento identificou-se a validade discriminante, pois as raízes quadradas da correlação entre os constructos (raiz quadrada da AVE) apresentam valor maior do que a correlação com os demais constructos. As raízes quadradas obtidas foram Estrutura=0,726; Processo=0,733 e Resultado=0,709. Para as demais correlações obteve-se: Estrutura-Processo=0,604; Estrutura-Resultado=0,705 e, Processo-Resultado=0,574.

Seguindo para a análise do modelo estrutural, os valores dos coeficientes de determinação de Pearson (R2 - R Square) apresentam valores elevados, mostrando que o modelo tem relações fortes entre os constructos (Tabela 2). As significâncias (t de Student) das regressões e das correlações foram calculadas usando-se o módulo de reamostragem (bootstrapping) do software SmartPLS 2.0/M3. Nesse processo identificaram-se valores do t de Student >1,96 para todos os itens.

Com relação à validade preditiva (Q2) obteve-se os valores Estrutura=0,419, Processo=0,333, Resultado=0,402 e IALEH=0,302. Os valores do tamanho do efeito foram: Estrutura=0,294, Processo=0,227, Resultado=0,334 e IALEH=0,302. O instrumento final foi composto por 16 itens, sendo cinco itens na dimensão Estrutura (E_02, E_03, E_04, E_06, E_07), quatro itens na dimensão Processo (P_05, P_09, P_14, P_15) e sete itens na dimensão Resultado (R_01, R_03, R_05, R_07, R_09, R_14, R_15) (Quadro 2).

Quadro 2
Versão final do instrumento de avaliação do Lean Healthcare. Campinas, São Paulo, Brasil, 2022

IALEH - Instrumento de avaliação do Lean Healthcare
Instruções: Por favor, responda os itens abaixo considerando até que ponto você concorda que eles estão presentes no seu setor ou área de atuação. Médicos e outros profissionais de saúde que não estão alocados em uma única unidade devem responder com base nas experiências vivenciadas na unidade de trabalho que passam a maior parte do tempo.		Discordo totalmente	Discordo parcialmente	Neutro	Concordo parcialmente	Concordo totalmente
ITENS
1	A avaliação de desempenho dos profissionais é usada de forma positiva para corrigir falhas/problemas	1	2	3	4	5
2	A cultura de melhoria contínua no meu setor, com investimentos em infraestrutura, recursos materiais e desenvolvimento de pessoas, favorece o meu desenvolvimento	1	2	3	4	5
3	A educação permanente tem foco nas demandas dos pacientes/usuários	1	2	3	4	5
4	A estrutura física (organização do fluxo e layout) favorece o desempenho do trabalho	1	2	3	4	5
5	Eu me sinto seguro (a) no meu ambiente de trabalho	1	2	3	4	5
6	Faço parte de uma equipe que mantem uma comunicação continua no dia a dia	1	2	3	4	5
7	No geral, a equipe em que trabalho toma decisões em conjunto	1	2	3	4	5
8	Planos de ação para os projetos de melhoria são discutidos com a equipe periodicamente	1	2	3	4	5
9	Tenho certeza que agora minhas funções/atribuições estão muito bem definidas	1	2	3	4	5
10	A cultura de melhoria contínua tem contribuído para aumentar a produtividade ano após ano	1	2	3	4	5
11	A melhoria contínua, com base nos princípios Lean, faz parte da rotina do meu setor de trabalho	1	2	3	4	5
12	Atualmente meu setor é mais organizado e eficiente	1	2	3	4	5
13	Meu setor teve resultados positivos imediatos com a implantação do Lean	1	2	3	4	5
14	O trabalho em equipe melhorou após a implantação do Lean no nosso setor	1	2	3	4	5
15	Temos menos desperdícios no setor em relação ao último ano	1	2	3	4	5
16	Ultimamente a percepção de valor entregue ao paciente/usuário pelos trabalhadores melhorou	1	2	3	4	5

• Fonte: Dados da pesquisa, 2022.
• Legenda: E - Estrutura (itens 1-5); P - Processo (itens 6-9); R - Resultado (itens 10-16) - dimensões do instrumento.

O escore obtido pela aplicação do IALEH pode variar de 16 a 80 pontos, em que os maiores escores (maior proximidade ao valor 80) indicam melhor percepção da equipe na adoção do Lean Healthcare. Para as dimensões os escores podem variar de: 05 a 25 para Estrutura; 04 a 20 para Processo; e 07 a 35 para Resultado.

DISCUSSÃO

Na primeira etapa deste estudo realizou-se revisão integrativa19, consulta a outros instrumentos existentes sobre o Lean Healthcare e à opinião de especialistas, com o objetivo de contemplar diferentes aspectos avaliativos para produzir um instrumento confiável e apropriado21. Para a validação de conteúdo, o êxito depende do tamanho do painel de especialistas, suas qualificações e experiências. A quantidade de especialistas em outros estudos é variável e heterogênea23. Nesse quesito o estudo teve a participação de 14 especialistas na primeira rodada e 13 especialistas na segunda rodada, todos com formações e experiências distintas.

A realização da Técnica Delphi de forma remota viabilizou a participação de especialistas de diferentes localidades, sem deslocamento, evitando custos desnecessários e facilitando o envio de sugestões. O modelo online e o anonimato favoreceu que todos se expressassem de forma livre e confortável, assim como estudos que também utilizaram a técnica Delphi24. A taxa de retorno em cada etapa de realização da técnica Delphi é variável, geralmente em torno de 35 a 87%25. Neste estudo a taxa de retorno foi de 60,8% para a primeira rodada da técnica Delphi e acima do esperado para a segunda rodada, em que 92,8% dos especialistas enviaram seus apontamentos.

Pesquisadores, de modo geral, enfrentaram diversos fatores intervenientes devido à pandemia da Covid-19. As restrições em relação ao contato social, à entrada em serviços de saúde, permanência em locais fechados, superlotação dos hospitais entre outras impactaram a realização de pesquisas. No entanto, viabilizou o avanço tecnológico em diversos seguimentos, inclusive na coleta de dados26.

A coleta de dados ocorreu durante a pandemia da Covid-19, única alternativa no momento. Nos quatro meses de coleta houve o interesse de 321 profissionais em participar no estudo, sendo que 113 profissionais preencheram o critério de inclusão. Acredita-se que mais profissionais teriam participado do estudo não fosse pelo período atípico vivenciado, que modificou substancialmente a rotina de trabalho27, além de existir uma banalização das pesquisas realizadas pela web28.

A amostra composta por 113 profissionais de diferentes categorias, todos com experiência no Lean Healthcare há mais de três meses, foi substancial para validação do IALEH considerando que, no Lean Healthcare, o envolvimento e o comprometimento dos profissionais é um dos principais fatores para o alcance de resultados satisfatórios29.

Referente ao cargo, a maioria dos participantes era Enfermeiro, Gerente e/ou Coordenador de serviços da área hospitalar. Entretanto, houve participação de outros membros da equipe. Essa diversificação é relevante na validação do IALEH por ratificar o engajamento de todas as categorias profissionais na prática da filosofia Lean. Formação profissional e capacitação dos líderes da equipe também são fundamentais para o sucesso na gestão Lean, por refletir no engajamento dos outros membros da equipe7.

Representantes de diversas áreas participaram da pesquisa (Cirúrgico/ Centro de Material Esterilizado (CME), Qualidade, Unidades Clínicas, Áreas de apoio, Urgência/ Emergência, Terapia Intensiva e Unidade Básica de Saúde), assim como ocorreu em outros estudos sobre a implementação do Lean Healthcare29.

Avançando para a validação utilizou-se a MEE para as análises de: validade convergente, confiabilidade, validade discriminante, significância das correlações e regressões, coeficientes de determinação de Pearson - R2, validade preditiva - Q2 e tamanho do efeito - f2. Para a validade convergente a AVE é a média das cargas fatoriais elevada ao quadrado e demonstra o quanto as variáveis se correlacionam positivamente com os seus respectivos constructos ou variáveis latentes. Sendo assim, quando as AVE forem maiores que 0,50 admite-se que o modelo converge para um resultado satisfatório22.

Cada uma das dimensões, no modelo final (6ª rodada da MEE), foi maior que 0,50 para todas as dimensões e prosseguiu-se com a estatística inferencial. O indicador tradicional utilizado para análise de confiabilidade é o alfa de Cronbach, que se baseia em intercorrelações das variáveis, enquanto a Confiabilidade Composta prioriza as variáveis de acordo com as suas confiabilidades, não sendo sensível ao número de variáveis em cada constructo como o alfa de Cronbach. Os dois indicam se a amostra está livre de viés ou, ainda, se as respostas em seu conjunto são confiáveis, mensurando o que se propõe. Como o alfa de Cronbach é mais sensível ao número de variáveis em cada constructo, justifica-se a análise conjunta com a CC22.

Para análise da consistência interna as medidas de CC variaram de 0,82 a 0,88 e do alfa de Cronbach variaram de 0,70 a 0,77, assim como outros estudos em relação à confiabilidade de escalas, podendo ser interpretados como satisfatórios e demonstrando que a amostra está livre de vieses20. Esses achados são similares aos encontrados em um instrumento sueco sobre as percepções da equipe a respeito da aplicação do Lean Healthcare, também com 16 itens em sua versão final, em que a consistência interna com Alfa de Cronbach variou de 0,60 a 0,8617.

A validade discriminante do MEE é um indicador de que os constructos ou variáveis latentes são independentes um dos outros20. Na validade discriminante do instrumento os valores obtidos foram maiores que as correlações dos constructos, mostrando que o modelo tem validade discriminante pelo critério de Fornell-Larcker22. Com a validade discriminante encerra-se a análise do modelo de mensuração e inicia-se a análise do modelo estrutural pelos testes de correlação linear entre variáveis observadas e variáveis latentes para análise dos coeficientes de determinação de Pearson (R2) e a significância do modelo com o t de Student, medida útil também na análise do modelo de mensuração.

Para o campo de ciências sociais e comportamentais, Cohen (1988) sugere que R2=2% seja classificado como efeito pequeno, R2=13% como efeito médio e R2=26% como efeito grande. No modelo final da MEE os valores de R2 representam efeito médio-grande, mostrando relações fortes entre os constructos. Pelo t de Student do modelo maior que 1,96 evidencia-se sua significância22.

Relevância ou Validade Preditiva (Q2) e Tamanho do efeito (f2) são outros indicadores analisados para o ajuste do modelo. Q2 avalia a qualidade da predição ou acurácia do modelo ajustado e varia de zero a 1. Nesse estudo os valores obtidos para Q2 variaram de 0,30 a 0,42, demonstrando a acurácia20. O tamanho do efeito (f2) é obtido pela inclusão e exclusão de constructos do modelo um a um, avaliando o quanto cada constructo é “útil” para o ajuste do modelo. Valores de 0,02, 0,15 e 0,35 são considerados pequenos, médios e grandes, respectivamente22. Neste estudo os valores obtidos demostram que todos os constructos são importantes para o ajuste geral do modelo.

Na sua versão final o instrumento contém 16 itens distribuídos nas dimensões Estrutura (itens 1 a 5), Processo (itens 6 a 9) e Resultados (itens 10 a 16). O desempenho da escala nas análises de validade e confiabilidade está de acordo com o recomendado. Os itens que permaneceram no instrumento mensuram os seguintes elementos: a) Estrutura: características da estrutura física, avaliação de desempenho dos profissionais, investimento na infraestrutura, aquisição de recursos necessários, educação permanente com foco no paciente e segurança no ambiente de trabalho; b) Processo: comunicação, trabalho em equipe, planos de ação com envolvimento de todos e necessidade de definições nas atribuições de cada profissional; e c) Resultado: cultura de melhoria contínua, redução dos desperdícios e percepção de valor entregue ao paciente. Dessa forma as três dimensões propostas com base no referencial teórico de Donabedian foram contempladas16.

Esses elementos corroboram achados de outros estudos que enfatizam a importância de gerar suporte e recursos, a “revisão dos fluxos” e o “puxar”, onde é preciso incluir toda a equipe e utilizar o trabalho padronizado, além da eliminação dos desperdícios e prática de atividades que agregam valor na qualidade dos cuidados de saúde, conforme o princípio da busca da perfeição para o avanço da filosofia Lean em toda a instituição6.

Cabe ressaltar que os achados deste estudo se referem à percepção de diferentes profissionais, com realidades distintas, todos com experiência no Lean Healthcare. A implicação do estudo para o avanço do conhecimento científico está na relevância do acompanhamento sistemático da implantação do Lean Healthcare. As principais razões para as falhas do Lean são, geralmente, associadas às estratégias inadequadas para a resolução de problemas e a busca por soluções rápidas e pontuais30.

Como principal limitação do estudo tem-se a mudança na dinâmica dos serviços de saúde em decorrência da pandemia da COVID-19, o que interferiu no desempenho do Lean nas instituições e na rotina dos profissionais de saúde. Por isso, sugere-se a aplicação do instrumento em outras amostras e condições de trabalho, dando continuidade à avaliação de suas propriedades psicométricas. Recomenda-se também sua aplicação em instituições de saúde com diferentes estágios de uso do Lean Healthcare.

Outras limitações, ou aspectos de melhoria para futuros estudos utilizando o IALEH, referem-se à possibilidade de análise metódica de pontos de corte para interpretação do escore obtido pela aplicação da escala, além da necessidade de criação de um grupo oficial que registre os serviços de saúde que adotam a filosofia Lean Healthcare no seu planejamento estratégico.

CONCLUSÃO

O objetivo do estudo foi alcançado seguindo etapas metodológicas recomendadas internacionalmente para a construção e validação do Instrumento de Avaliação do Lean Healthcare (IALEH), composto de 16 itens e dividido em três dimensões (Estrutura, Processo e Resultado).

Para a gestão de enfermagem e de saúde o instrumento pode ser útil em diferentes cenários/ setores na identificação de fragilidades que comprometem a manutenção dos resultados alcançados na implantação do Lean Healthcare. A aplicação do IALEH é rápida e fácil, portanto, pode ocorrer periodicamente, permitindo o alcance da melhoria contínua, que é um dos princípios da filosofia Lean.

Agradecimentos:

À Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil, CAPES - Código de Financiamento 001 - Processo 88882.434708/2019-01.

À Associação Brasileira de Enfermeiros de Centro Cirúrgico (SOBECC) e à Rede Brasileira de Enfermagem e Segurança do Paciente (REBRAENSP) pelo auxílio na divulgação para coleta de dados.

REFERENCES

• 1. Liker JK. Toyota way: 14 management principles from the world's greatest manufacturer [Internet]. New York: McGraw-Hill Education; 2004 [cited 2023 Apr 03]. Available from: Available from: https://www.accessengineeringlibrary.com/content/book/9780071392310
  » https://www.accessengineeringlibrary.com/content/book/9780071392310
• 2. Mahmoud Z, Angelé-Halgand N, Churruca K, Ellis LA, Braithwaite J. The impact of lean management on frontline healthcare professionals: a scoping review of the literature. BMC Health Serv Res. 2021;21(1):383. doi: https://doi.org/10.1186/s12913-021-06344-0
  » https://doi.org/10.1186/s12913-021-06344-0
• 3. Henrique DB, Godinho Filho M. A systematic literature review of empirical research in Lean and Six Sigma in healthcare. Total Qual Manag. 2020;31(3-4):429-49. doi: https://doi.org/10.1080/14783363.2018.1429259
  » https://doi.org/10.1080/14783363.2018.1429259
• 4. Gomes JA, Martins MM, Tronchin DMR, Fernandes CS. Avaliação da qualidade do centro cirúrgico na estrutura, processo e resultados. Cogitare Enferm. 2021;26:e71083. doi: https://doi.org/10.5380/ce.v26i0.71083
  » https://doi.org/10.5380/ce.v26i0.71083
• 5. Schretlen S, Hoefsmit P, Kats S, Merode G, Maessen J, Zandbergen R. Reducing surgical cancellations: a successful application of Lean Six Sigma in healthcare. BMJ Open Qual. 2021;10:e001342. doi: https://doi.org/10.1136/bmjoq-2021-001342
  » https://doi.org/10.1136/bmjoq-2021-001342
• 6. Zimmermann G dos S, Siqueira LD, Bohomol E. Lean Six Sigma methodology application in health care settings: an integrative review. Rev Bras Enferm. 2020;73(suppl 5):e20190861. doi: https://doi.org/10.1590/0034-7167-2019-0861
  » https://doi.org/10.1590/0034-7167-2019-0861
• 7. van Elp B, Roemeling O, Aij KH. Lean leadership: towards continuous improvement capability in healthcare. Health Serv Manage Res. 2022;35(1):7-15. doi: https://doi.org/10.1177/09514848211001688
  » https://doi.org/10.1177/09514848211001688
• 8. Muharam R, Firman F. Lean management improves the process efficiency of controlled ovarian stimulation monitoring in IVF treatment. J Healthc Eng. 2022;2022:6229181. doi: https://doi.org/10.1155/2022/6229181
  » https://doi.org/10.1155/2022/6229181
• 9. Moffatt S, Garry C, McCann H, Teeling SP, Ward M, McNamara M. The use of lean six sigma methodology in the reduction of patient length of stay following anterior cruciate ligament reconstruction surgery. Int J Environ Res Public Health. 2022;19(3):1588. doi: https://doi.org/10.3390/ijerph19031588
  » https://doi.org/10.3390/ijerph19031588
• 10. Hung DY, Mujal G, Jin A, Liang SY. Patient experiences after implementing lean primary care redesigns. Health Serv Res. 2021;56(3):363-70. doi: https://doi.org/10.1111/1475-6773.13605
  » https://doi.org/10.1111/1475-6773.13605
• 11. Tsai HW, Huang SW, Hung YL, Hsu YS, Huang CC. Use of the Smart Lean Method to conduct high-quality integrated perioperative management prior to hospitalization. Int J Environ Res Public Health . 2021;18(24):13391 doi: https://doi.org/10.3390/ijerph182413391
  » https://doi.org/10.3390/ijerph182413391
• 12. Vieira LCN, Menezes MO, Pimentel CA, Juventino GKS. Lean Healthcare no Brasil: uma revisão bibliométrica. Rev Gest Sist Saúde. 2020;9(3):381-405. doi: https://doi.org/10.5585/rgss.v9i3.16882
  » https://doi.org/10.5585/rgss.v9i3.16882
• 13. Silva TO, Vieira LM, Lemos TS, Sant’Anna FP, Sanches RS, Martinez MR. Hospital management and nursing management in the light of the lean philosophy in healthcare. Cogitare Enferm . 2019;24:e60003. doi: https://doi.org/10.5380/ce.v24i0.60003
  » https://doi.org/10.5380/ce.v24i0.60003
• 14. Vieira LCN, Juventino GKS, Pimentel CA, Menezes MO, Silva MFSB, Santos BJ. Contribuições da simulação no lean healthcare para o combate a Covid-19. Rev Tecnol Soc. Curitiba. 2020;16(45):184-201. doi: https://doi.org/10.3895/rts.v16n45.12198
  » https://doi.org/10.3895/rts.v16n45.12198
• 15. Cielusinsky V, Anholon R, Rampasso IS, Silva D, Quelhas OLG. Análise das principais métricas utilizadas por profissionais na avaliação da maturidade de projetos de Lean. Rev Prod Online. 2020;20(1):202-20. doi: https://doi.org/10.14488/1676-1901.v20i1.3470
  » https://doi.org/10.14488/1676-1901.v20i1.3470
• 16. Tossaint-Schoenmakers R, Versluis A, Chavannes N, Talboom-Kamp E, Kasteleyn M. The challenge of integrating ehealth into health care: systematic literature review of the Donabedian model of structure, process, and outcome. J Med Internet Res. 2021;23(5):e27180. doi: https://doi.org/10.2196/27180
  » https://doi.org/10.2196/27180
• 17. Kaltenbrunner M, Bengtsson L, Mathiassen SE, Engström M. A questionnaire measuring staff perceptions of Lean adoption in healthcare: development and psychometric testing. BMC Health Serv Res . 2017;17(1):235. doi: https://doi.org/10.1186/s12913-017-2163-x
  » https://doi.org/10.1186/s12913-017-2163-x
• 18. Sarantopoulos A, Spagnol GS, Newbold D, Li LM. Establishing face validity of the EPLIT questionnaire. Br J Healthc Manage. 2017;23(5):221-7. doi: https://doi.org/10.12968/bjhc.2017.23.5.221
  » https://doi.org/10.12968/bjhc.2017.23.5.221
• 19. Fernandes HMLG, Jesus MVN, Silva D, Guirardello EB. Lean Healthcare in the institutional, professional, and patient perspective: an integrative review. Rev Gaúcha Enferm. 2020;41:e20190340. doi: https://doi.org/10.1590/1983-1447.2020.20190340
  » https://doi.org/10.1590/1983-1447.2020.20190340
• 20. Leguina A A primer on partial least squares structural equation modeling (PLS-SEM). Int J Res Method Educ. 2015;38(2):220-1. doi: https://doi.org/10.1080/1743727X.2015.1005806
  » https://doi.org/10.1080/1743727X.2015.1005806
• 21. Souza AC, Alexandre NMC, Guirardello EB. Psychometric properties in instruments evaluation of reliability and validity. Epidemiol Serv Saúde. 2017;26(3):649-59. doi: https://doi.org/10.5123/S1679-49742017000300022
  » https://doi.org/10.5123/S1679-49742017000300022
• 22. Ringle CM, Silva D, Bido DS. Structural equation modeling with the smartpls. Revista Brasileira de Marketing. 2014;13(2):56-73. doi: https://doi.org/10.5585/remark.v13i2.2717
  » https://doi.org/10.5585/remark.v13i2.2717
• 23. Nasa P, Jain R, Juneja D. Delphi methodology in healthcare research: how to decide its appropriateness. World J Methodol. 2021;11(4):116-29. doi: https://doi.org/10.5662/wjm.v11.i4.116
  » https://doi.org/10.5662/wjm.v11.i4.116
• 24. Silva MR, Montilha RCI. Contribuições da técnica Delphi para a validação de uma avaliação de terapia ocupacional em deficiência visual. Cad Bras Ter Ocup. 2021;29:e2863. doi: https://doi.org/10.1590/2526-8910.ctoAO2163
  » https://doi.org/10.1590/2526-8910.ctoAO2163
• 25. Romero-Collado A. Essential elements to elaborate a study with the (e)Delphi method. Enferm Intensiva . 2021;32(2):100-4. doi: https://doi.org/10.1016/j.enfie.2020.09.003
  » https://doi.org/10.1016/j.enfie.2020.09.003
• 26. Lobe B, Morgan D, Hoffman KA. Qualitative data collection in an era of social distancing. Int J Qual Methods. 2020;19:1609406920937875. doi: https://doi.org/10.1177/1609406920937875
  » https://doi.org/10.1177/1609406920937875
• 27. Acioli DMN, Santos AAP, Santos JAM, Souza IP, Silva RKL. Impacts of the COVID-19 pandemic on nurses’ health. Rev Enferm UERJ. 2022;30:e63904. doi: https://doi.org/10.12957/reuerj.2022.63904
  » https://doi.org/10.12957/reuerj.2022.63904
• 28. Daikeler J, Bošnjak M, Lozar Manfreda K. Web versus other survey modes: an updated and extended meta-analysis comparing response rates. J Surv Stat Methodol. 2020;8(3):513-39. doi: https://doi.org/10.1093/jssam/smz008
  » https://doi.org/10.1093/jssam/smz008
• 29. Tlapa D, Zepeda-Lugo CA, Tortorella GL, Baez-Lopez YA, Limon-Romero J, Alvarado-Iniesta A, et al. Effects of lean healthcare on patient flow: a systematic review. Value Health. 2020;23(2):260-73. doi: http://10.1016/j.jval.2019.11.002
  » http://10.1016/j.jval.2019.11.002
• 30. Akmal A, Greatbanks R, Foote J. Lean thinking in healthcare-findings from a systematic literature network and bibliometric analysis. Health Policy. 2020;124(6):615-27. doi: https://doi.org/10.1016/j.healthpol.2020.04.008
  » https://doi.org/10.1016/j.healthpol.2020.04.008

Editado por

Editor associado:

Aline Marques Acosta

Editor-chefe:

João Lucas Campos de Oliveira

Datas de Publicação

• Publicação nesta coleção
  12 Fev 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  12 Maio 2023
• Aceito
  08 Set 2023