Construção de uma escala de avaliação do ambiente de trabalho na atenção primária à saúde^a

Construcción de una escala de evaluación del ambiente laboral en la atención primaria de salud

Resumo

Objetivo

Descrever as etapas da construção de uma escala para avaliar o ambiente de trabalho na Atenção Primária à Saúde (APS).

Método

Estudo metodológico com cinco etapas: estabelecimento da estrutura conceitual; construção das questões e da escala de respostas; estruturação; validade do conteúdo com especialistas; e análise semântica com profissionais de saúde.

Resultados

A construção da estrutura conceitual com revisão de literatura e a análise dos pesquisadores, especialistas e profissionais de saúde, finalizou a escala com 36 questões. O ambiente de trabalho é influenciado por condições de trabalho, questões de administração e gestão, saúde do trabalhador, cargas de trabalho, valorização e motivação, violência e estratégias para um ambiente de trabalho saudável. Foi realizado o Índice de Validade de Conteúdo (IVC) e Porcentagem de Concordância, com valores de 0,96 (IVC) e 96% de concordância, respectivamente.

Conclusões e implicações para prática

A escala foi elaborada e apresentou concordância, de acordo com o teste de validade de conteúdo, por especialistas e profissionais de saúde. Assim, a escala está apta a seguir para outros processos de validação e pode contribuir para a prática de pesquisadores das áreas de saúde na avaliação do ambiente de trabalho.

Palavras-chave:
Ambiente de trabalho; Atenção Primária à Saúde; Estudo metodológico; Questionário; Saúde do trabalhador

Resumen

Objetivo

Describir las etapas de la construcción de una escala para evaluar el clima laboral en la Atención Primaria de Salud (APS).

Método

Estudio metodológico con cinco etapas: establecimiento de la estructura conceptual; construcción de preguntas y escala de respuestas; estructuración; validez de contenido con expertos; y análisis semántico con profesionales de la salud.

Resultados

La construcción de la estructura conceptual con revisión de la literatura, el análisis de investigadores, expertos y profesionales de la salud finalizó la escala con 36 preguntas. El ambiente de trabajo está influenciado por las condiciones de trabajo, cuestiones de administración y gestión, salud de los trabajadores, cargas de trabajo, aprecio y motivación, violencia y estrategias para un ambiente de trabajo saludable. Se realizó el Índice de Validez de Contenido (IVC) y Porcentaje de Concordancia, con valores de 0,96 (IVC) y 96% de Concordancia, respectivamente.

Conclusiones e implicaciones para la práctica

La escala fue desarrollada y mostró concordancia, según la prueba de validez de contenido realizada por expertos y profesionales de la salud. Así, la escala está lista para pasar por otros procesos de validación y puede contribuir a la práctica de los investigadores de salud en la evaluación del clima laboral.

Palabras clave:
Ambiente de trabajo; Atención Primaria de Salud; Métodos; Cuestionarios; Salud Laboral

Abstract

Objective

To describe the stages of constructing a scale to evaluate the work environment in Primary Health Care.

Method

methodological study with five stages: establishment of the conceptual structure; construction of questions and response scale; structuring; content validity with experts and semantic analysis with health professionals.

Results

construction of the conceptual structure with literature review, the analysis of researchers, experts and health professionals finalized the scale with 36 questions. The work environment is influenced by working conditions, administration and management issues, worker health, workloads, appreciation and motivation, violence and strategies for a healthy work environment. The Content Validity Index (CVI) and Percentage of agreement were performed, with values of 0.96 (CVI) and 96% agreement, respectively.

Conclusions and implications for practice

the scale was developed and showed agreement, according to the content validity test by experts and health professionals. Thus, the scale is capable of being used for other validation process and can contribute to the practice of health researchers in assessing the work environment.

Keywords:
Workplace; Primary Health Care; Methods; Questionnaires; Occupational Health

INTRODUÇÃO

A Atenção Primária à Saúde (APS) é um componente essencial dos sistemas de saúde em todo o mundo, e no Brasil representa um dos avanços mais significativos do Sistema Único de Saúde (SUS). Designada como Atenção Básica (AB) no Brasil, a APS é considerada a “porta de entrada” principal do SUS, responsável por fornecer serviços de saúde acessíveis, abrangentes e coordenados para as populações locais. A APS compõe o arcabouço de ações das Rede de Atenção à Saúde (RAS), influenciando a gestão local e a ordenação dos demais serviços.¹

A evolução da AB ocorreu pela abrangência da Estratégia Saúde da Família (ESF), a qual fomentou a mudança do modelo assistencial e possibilitou o aumento da oferta de ações e serviços, produzindo resultados positivos sobre a saúde da população.² Alterações políticas legais que repercutiram sobretudo no financiamento têm impactado negativamente o processo de expansão e consolidação da AB, especialmente em relação à configuração e organização do trabalho nas equipes. Há, ainda, efeitos deletérios sobre os serviços, a universalidade e a equidade no SUS, afetando significativamente a qualidade e a eficácia dos cuidados, bem como o ambiente de trabalho.³

A compreensão dos fatores que influenciam o ambiente de trabalho na Atenção Primária e seu impacto na saúde e no desempenho dos profissionais é de extrema importância para a continuidade e o fortalecimento do SUS.⁴ O ambiente de trabalho na APS pode ser afetado por diversos fatores, incluindo recursos insuficientes, falta de suporte administrativo, excesso de carga de trabalho, falta de autonomia, ambiente físico inadequado, relações interpessoais difíceis, falta de oportunidades de formação e desenvolvimento profissional, entre outros.⁵ Esses fatores podem ter um impacto significativo na satisfação e no desempenho dos profissionais de saúde.⁶ Por exemplo, um ambiente de trabalho estressante e desorganizado pode levar a altos níveis de esgotamento profissional e insatisfação no trabalho, o que pode afetar negativamente a qualidade dos cuidados de saúde prestados.⁵,⁶

Além disso, insuficiente quadro de pessoal, sobrecarga da equipe e carência de oportunidades de educação permanente prejudicam o desenvolvimento profissional. A capacidade destes profissionais acompanharem as mudanças nas práticas clínicas e oferecerem serviços de saúde atualizados e baseados em evidências também é prejudicada com tais fatores.⁷

A Organização Mundial da Saúde (OMS) listou algumas ações que relacionou com o tema de saúde dos trabalhadores, como a promoção de iniciativas dirigidas à promoção de ambientes de trabalho saudáveis, aplicáveis a diversos países, cenários e culturas.⁸ Neste conceito, os ambientes de trabalho saudáveis são expressos em cenários colaborativos e sustentáveis para a promoção e proteção da saúde, também levando em conta as necessidades referentes a quatro conjuntos, sendo eles: ambiente físico de trabalho; ambiente psicossocial de trabalho; recursos para a saúde pessoal; envolvimento entre instituição e comunidade para atingir melhores níveis de saúde individual e coletiva.⁸

A partir dos estudos sobre ambientes de trabalho saudáveis, que levaram a construção de ferramenta analítica,⁹ o conceito de Ambiente de Trabalho Saudável é proposto pelo grupo de pesquisadores com características que abordam a importância de considerar o ambiente de trabalho como saudável e qualificado, destacando duas dimensões: a subjetiva, que inclui elementos simbólicos e éticos; e a objetiva, que engloba o ambiente físico e os componentes da prática laboral. A saúde do trabalhador é essencial, pois afeta todos os aspectos do contexto de trabalho. Portanto, considerar o ambiente de trabalho positivo envolve atender a ambas as dimensões (objetiva e subjetiva).⁹

Utilizando modelos conceituais e metodológicos criteriosos e reconhecidos internacionalmente,¹⁰ as pesquisas avaliativas no Brasil impulsionaram o conhecimento sobre a Atenção Primária, Atenção Básica e ESF, inclusive com abordagens sobre a qualidade dos serviços de saúde.¹¹ Foram identificados, na literatura, instrumentos de avaliação do cuidado ou outros aspectos relacionados à atenção primária,¹²,¹³ inclusive do ambiente de trabalho.¹⁴ Sob a perspectiva do ambiente de trabalho saudável, destaca-se a Ferramenta Analítica KIT FAT⁹ e se evidencia a necessidade de produção de instrumentos validados e confiáveis para as avaliações neste âmbito. Diante disso, justifica-se a elaboração de uma escala para avaliar o ambiente de trabalho na APS.

O objetivo deste estudo foi construir uma escala de medição para avaliar o ambiente de trabalho na Atenção Primária à Saúde, no contexto brasileiro, cujo potencial de contribuição ancora-se na produção de informações para subsidiar processos de avaliação e planejamento que reflitam em melhorias para os serviços e para a saúde dos trabalhadores em seus ambientes de trabalho. Este artigo trata da descrição do método de construção da escala, que deve ter potencial contribuição para processos de cogestão e de planejamento local, assim como em pesquisas de avaliação.

METODOLOGIA

Trata-se de um estudo metodológico, de elaboração de uma escala conforme as etapas metodológicas proposta por DeVellis e Thorpe,¹⁵ que são apresentadas de forma agrupada em cinco etapas:

1. Determinação da finalidade da escala e estabelecimento da estrutura conceitual.

2. Construção de um conjunto de itens e das escalas de respostas.

3. Estruturação da escala: definição do formato de mensuração; revisão da lista inicial das questões e inclusão de questões de validação (etapas 3 e 4 de DeVellis e Thorpe).¹⁵

4. Validação de conteúdo a partir de comitê de especialistas (etapas 5 e 6).

5. Avaliação semântica por grupo de profissionais de saúde (etapa 7).

Cada etapa possui diferentes objetivos e utiliza-se de métodos distintos.

• Etapa 1. Determinação da finalidade da escala e estabelecimento da estrutura conceitual

Para elaboração da escala, que possa avaliar o ambiente de trabalho na Atenção Primária à Saúde (APS), além do conceito de ambientes saudáveis de trabalho da OMS, que considera quatro conjuntos - ambiente físico de trabalho; ambiente psicossocial; recursos para a saúde pessoal; e envolvimento entre instituição e comunidade -, para o estabelecimento da estrutura conceitual, foram utilizados os resultados de estudo preliminar, tanto do acervo de literatura já selecionada e analisada, quanto dos elementos (categorias e subcategorias) que compuseram um instrumento de análise de ambientes de trabalho saudáveis na APS.¹⁶

A revisão de literatura anterior foi guiada pela questão “Que conceitos integram e que sentidos são atribuídos ao construto de ‘ambientes saudáveis’ na literatura em saúde?”

A busca utilizou as bases de dados PUBMED, CINAHL, SciELO, SCOPUS, LILACS, BDENF e Embase, de 2010 a abril de 2019 (duas buscas consecutivas), com os termos de busca: ambiente de trabalho; Atenção Primária à Saúde; fator associado ao ambiente; e saúde do trabalhador. Resultados parciais de categorias eleitas foram publicados.⁹,¹⁶ O banco de dados foi novamente atualizado em terceira busca, em junho de 2021, com inclusão de 26 novos estudos, especialmente para o presente artigo.

Os critérios de inclusão das publicações definidos para essa pesquisa foram: artigos de pesquisa completos; disponíveis para acesso; apresentando resumo para primeira análise e enfocando como assunto principal o ambiente de trabalho em saúde; não houve restrições quanto ao idioma. Os artigos encontrados em duplicidade foram contabilizados, apenas uma vez, na base de dados com maior número de referências. Os artigos foram organizados no software Atlas.ti (versão 8.0) para extração dos dados, que serão discutidos nos resultados.

Como o instrumento anterior (KIT FAT)⁹ não se tratava de uma escala de medida, sua estrutura conceitual foi tomada como base para os aprimoramentos e atualizações desenvolvidos por meio da atualização do acervo da literatura e de novas etapas do estudo metodológico.

• Etapa 2. Construção dos itens e das escalas de respostas

Atendendo a finalidade da escala, nesta etapa foi gerado um grande conjunto de itens candidatos para eventual inclusão na escala.¹⁵ E, assim, confirmou-se que a finalidade da escala é identificar o quão saudável está o ambiente de trabalho na Atenção Primária à Saúde e quais os aspectos deste ambiente atuam positiva ou negativamente para tal resultado.

A elaboração de uma lista preliminar de itens buscou captar a complexidade do conceito sob diferentes perspectivas. A partir das categorias que compunham estudo anterior (Instrumento de análise do ambiente de trabalho - KIT FAT),⁹ se formou a lista inicial de itens a qual se acresceu novos itens derivados da literatura. Nesta etapa, o conjunto de itens foi extenso, confirmando que certa redundância entre os itens deve ser considerada como uma qualidade do conjunto.¹⁵

• Etapa 3. Estruturação da escala (formato de mensuração, revisão e inclusão de novas questões).

As etapas 3 e 4¹⁵ estão agrupadas nesta descrição, uma vez que ocorrem de modo articulado e simultâneo, incluindo a seleção e organização dos itens, a definição do formato desses itens e da mensuração, entre diversas possibilidades existentes. A redação da questão buscou captar com clareza o quanto cada aspecto atuava para um ambiente de trabalho mais ou menos saudável na percepção do respondente. O formato de medição adotado foi a escala Likert, inicialmente proposta com 7 pontos e finalizada com 5 pontos.

A versão inicial do conjunto de itens foi analisada e revisada por mais dois pesquisadores, o que levou a aperfeiçoamentos de texto, conteúdo, de ordem lógica, inclusão de mais itens, além da definição de 12 questões destinadas à caracterização do perfil sociodemográfico e das orientações aos respondentes. Além disso, a posterior etapa de validação de conteúdo por comitê de especialistas também produziu ajustes e inclusão de questões, o que demonstra os ciclos de integração das etapas 3 e 4.

• Etapa 4. Validade do conteúdo por comitê de especialistas

O processo de validação de conteúdo da escala tem a finalidade de determinar se as questões elaboradas são adequadas teoricamente, se estão em concordância com o objetivo da escala, se o conteúdo está apropriado aos respondentes, se o formato de mensuração corresponde ao que deseja medir, se a estrutura da escala está adequada e se o conteúdo é representativo. A partir desta validação, define-se se alguma das questões deve ser substituída ou excluída da estrutura da escala. Esta análise teórica das questões foi realizada por meio de um comitê de especialistas.

Os critérios de inclusão de especialistas para esta etapa do estudo foram: ser mestre ou doutor na área da saúde, com dissertação nos campos da Atenção Primária à Saúde/Saúde Coletiva/Saúde do Trabalhador/Trabalho em Saúde; ou com dissertação em estudos de validação de instrumentos; e ter pesquisas publicadas nos campos da Atenção Primária à Saúde/Saúde Coletiva/Saúde do Trabalhador/Trabalho em Saúde ou na produção e validação de tecnologias/escalas nos últimos dois anos. A partir do curriculum lattes, bem como por conveniência, foram selecionados pesquisadores com expertise no tema do Ambiente de Trabalho, Saúde do Trabalhador e Atenção Primária. Foram convidados, por meio de endereço eletrônico, vinte participantes para compor o comitê de especialistas. O TCLE, a lista de questões e o documento de avaliação foram encaminhados também por meio de endereço eletrônico.

Para avaliar a concordância dos membros do comitê de especialistas de forma quantitativa, utilizou-se o Índice de Validade de Conteúdo (IVC).¹⁷ Esse índice mede a proporção ou porcentagem de especialistas que estão em concordância sobre determinados aspectos da escala e de suas questões, indicando a capacidade de medição da escala.¹⁸

Após o retorno, o cálculo foi feito a partir da somatória das respostas “3” e “4” de cada especialista em cada item do questionário, dividido pelo número total de respostas. A fórmula para avaliar cada item individualmente é:

$$\frac{IVC=Númeroderespostas“3”ou“4”}{Númerototalderespostas\left(16\right)}$$

As questões que recebem pontuação “1” ou “2”, precisam passar por mais uma avaliação, devendo ser revisados ou eliminados. Para considerar como validado, utilizamos o parâmetro de concordância mínima de 0,80 e, preferencialmente, superior a 0,90.¹⁷

Etapa 5. Avaliação semântica por grupo de profissionais de saúde

A escala deve ser aplicada a uma amostra de indivíduos que representa a população para a qual se destina, a fim de ter seu refinamento.¹⁸ Também é importante que os pesquisadores sejam sensíveis às respostas e preocupações dos participantes que representam o público-alvo,¹⁵ pois eles podem saber melhor que os pesquisadores sobre o tema.

Foi realizado uma consulta a um grupo de profissionais de saúde a fim de verificar se a escala é compreensível e realmente tem condições de trazer resultados isentos de interpretações erradas ou que não representem aquele ambiente de trabalho, antes de aplicado definitivamente. Esta etapa também pode ser nomeada de avaliação semântica,¹⁰ pois verifica se as questões da escala são compreensíveis e claras para os membros da população alvo, eliminando questões ambíguas, incompreensíveis, com termos vagos, duplas perguntas, jargões ou juízos de valores.¹⁹

Para a formação do grupo público-alvo, foram convidados 19 profissionais que atuam na APS, envolvidos com a gestão da instituição de saúde, ou seja, profissionais responsáveis pela equipe, enfermeiros que gerenciam a assistência, coordenadores de unidade de saúde ou profissionais indicados por gestores.

Os critérios de formação do grupo de profissionais foram: Profissionais de nível superior que atuam na Atenção Básica (AB), que podem ou não atuar na área de gestão de serviços que integram a AB e que tenham o mínimo de um ano de atuação na AB.

O material foi enviado via e-mail, com as informações de proposta do estudo e seus objetivos, instruções, Termo de Consentimento Livre e Esclarecido (TCLE) e prazo para devolução do instrumento avaliativo. Dos 19 profissionais que receberam o convite, por e-mail e aplicativo de mensagens WhatsApp, 13 responderam o instrumento de avaliação. Os profissionais foram orientados a responder primeiro a escala e depois o instrumento avaliativo. O instrumento apresentou, ao grupo de profissionais, uma escala dicotômica com as opções: Claro e Pouco claro, para avaliação de cada item. Além das opções dicotômicas, havia um espaço para comentários nas questões da escala e questões abertas para o profissional opinar sobre o título da escala, a estrutura geral, o número de questões, o formato das respostas, a compreensão das questões, a forma de apresentação e sugestões para melhorias e ajustes.

Para avaliação das respostas quantitativas, pode-se utilizar a taxa de concordância, que é obtida pelo cálculo da porcentagem de cada item.²⁰ Este é realizado por meio da seguinte fórmula:

$$\frac{\%concordância=númerodeparticipantesqueconcordaramx100}{númerototaldeparticipantes\left(13\right)}$$

Este trabalho foi aprovado pelo Comitê de Ética em Pesquisa em Seres Humanos da Universidade Federal de Santa Catarina (UFSC), sob o parecer número 5.149.063.

RESULTADOS

Apresentaremos a seguir os resultados de cada etapa desta estrutura metodológica, destacando os resultados obtidos em cada uma delas, conforme Figura 1 (síntese) e descrição detalhada.

Figura 1
Desenvolvimento da escala de avaliação do Ambiente de Trabalho na Atenção Primária à Saúde.

Etapa 1: A estrutura conceitual foi estabelecida a partir do conceito original de Ambiente de Trabalho Saudável (ATS) proposto pela OMS,⁸ de 167 códigos elaborados por meio da análise, apoiada pelo software Atlas.ti, de 507 artigos obtidos em três ciclos de revisão da literatura sobre o tema da escala. Os 167 códigos iniciais passaram por análise apurada e produziram 79 códigos revisados.

Os códigos foram agrupados em sete categorias sobre o ambiente de trabalho: condição de trabalho; administração e gestão; saúde do trabalhador; cargas de trabalho; valorização e motivação; violência; e estratégias para um ambiente de trabalho saudável.

Na Tabela 1, estão as sete categorias, separadas por artigos e a frequência dos códigos.

Tabela 1
Organização das categorias, separadas por artigos e a frequência dos códigos.

Categorias	Artigos	Códigos iniciais	Códigos revisados	%
Condição de trabalho	317	59	41	51,8
Administração e gestão	89	26	14	17,7
Saúde do trabalhador	36	13	2	2,5
Cargas de trabalho	95	19	6	7,5
Valorização e motivação	72	20	9	11,4
Violência	57	14	3	3,7
Estratégias para um ambiente de trabalho saudável.	59	16	4	5,4
Total	507 (artigos codificados)	167	79	100

• Fonte: Elaborado pelas autoras de acordo com o período bibliográfico de 2010 a 2019.

Após a construção das categorias e seus códigos explicitadores, formou-se a estrutura conceitual de ambientes de trabalho na Atenção Primária à Saúde. A estrutura conceitual também embasou a elaboração de outra ferramenta analítica, denominada KIT FAT (Ferramenta para análise de Ambientes de trabalho na Atenção Primária à Saúde⁹ ), que integra o macro projeto deste grupo de pesquisadores.

Etapas 2 e 3: Em síntese, a elaboração da lista de questões para a escala foi construída a partir dos seguintes recursos: por meio da estrutura conceitual; dos elementos do instrumento KIT FAT (Ferramenta para análise de Ambientes de trabalho na Atenção Primária à Saúde); e pela experiência de grupo de pesquisadores. A primeira versão continha 75 itens, que se transformaram em 45 questões.

Dentre as técnicas utilizadas para a formulação de escalas de respostas, as mais comuns são as de estimativa direta. Neste estudo, optou-se pela escala tipo Likert, por oferecer um nível de sensibilidade à variação de respostas, sendo inicialmente sugeridos sete pontos: 0 (Nunca); 1 (Quase nunca); 2 (as vezes); 3 (regularmente); 4 (frequentemente); 5 (quase sempre); 6 (sempre). As questões são apresentadas como assertivas sobre o ambiente de trabalho no tempo presente, indicando a frequência com que o trabalhador identifica aquela situação/percepção.

Posterior a elaboração de questões e seleção do formato de resposta, o conteúdo foi avaliado em duas rodadas por mais dois pesquisadores da equipe para revisão do conjunto de questões elaborado. Este momento foi organizado em duas etapas: no primeiro momento, de leitura separadamente, o instrumento transformou 75 itens em 45 questões; num segundo momento, utilizando a técnica de Brainstorm, reduziu o número para 36 questões. Nesta etapa, também se avançou na estruturação e organização da escala e conseguimos nomeá-la. Após esta discussão, a escala passou de 7 para 5 pontos de mensuração: 0 (Nunca); 1 (Raramente); 2 (Às vezes); 3 (Frequentemente); 4 (Sempre).

A próxima etapa, definida na sequência como 4, foi a verificação da validade de conteúdo por um grupo de pesquisadores especialistas no tema.

O perfil dos especialistas foi de pesquisadores com Mestrado (04 - 25%) ou Doutorado (12 - 75%) nas áreas de Enfermagem ou Saúde Coletiva, e todos tinham pesquisas publicadas nos últimos dois anos nos campos da Atenção Primária à Saúde/Saúde do Trabalhador e/ou na produção e validação de tecnologias/instrumentos na área da saúde. Os especialistas eram, em sua maioria, das regiões Sul e Sudeste do Brasil (Rio Grande do Sul, Santa Catarina, Paraná, Minas Gerais) e um pesquisador de Portugal, que estava realizando algumas pesquisas na temática do ambiente de trabalho, na área hospitalar. Esta etapa contou com a participação de 16 especialistas.

Esses especialistas fizeram uma análise de cunho técnico e o instrumento avaliativo foi composto por quatro partes: 1- Perfil sociodemográfico e laboral; 2- Instruções aos respondentes da escala; 3- Escala de avaliação do ambiente de trabalho na APS; 4- Instruções sobre a avaliação geral da escala (título da escala; formato do texto; escore da escala).

As partes 1, 2 e 4 eram avaliações descritivas quanto à clareza e relevância das informações. Já a parte 3, que tratava da escala, a avaliação consistia em classificar o nível de clareza, relevância e consistência de cada item da escala, assinalando na respectiva coluna o número 1, 2, 3 ou 4, de acordo com o seguinte:¹⁷ 1 - Não claro/ Não relevante/ Não consistente. 2 - Pouco Claro/ Pouco relevante/ Pouco consistente. 3 - Claro, mas precisa de pequeno ajuste/ Relevante, mas precisa de pequena alteração/ Consistente, mas precisa de pequena alteração. 4 - Muito claro/ Muito relevante/ Muito consistente.

Na orientação, para respostas 1 ou 2, foram solicitadas sugestões de mudança na coluna de Comentários/sugestões. Ao final do instrumento avaliativo, ainda havia um espaço para o especialista avaliar a conformidade da escala, com o objetivo de pesquisa e linguagem, e ainda um espaço para sugestões gerais.

A análise pelos especialistas foi realizada com cada item individualmente, e os documentos foram devolvidos pelos especialistas e suas propostas de modificações foram avaliadas e revisadas pelos pesquisadores principais.

O Índice de Validade de Conteúdo (IVC) dos especialistas para a escala foi de 0,96, não necessitando de uma nova rodada de validação. Das sugestões descritivas apresentadas pelo comitê de especialistas, uma questão foi acoplada a outra por sua semelhança e outra questão foi separada em duas. Posteriormente, a escala com 36 questões contemplada pelas sugestões apresentadas pelo comitê foi entregue novamente a cada membro. Os especialistas revisaram seus critérios de avaliação e assim foi finalizado o processo de validade de conteúdo e a versão de otimização da escala foi obtida. Nesta etapa, o nome da escala também sofreu ajuste e acrescentou a sigla ao nome: Escala de Avaliação do Ambiente de Trabalho na Atenção Primária à Saúde (AAT-APS).

Etapa 5: A última etapa do processo de construção e validação, identificada como avaliação semântica, foi alcançada junto a um grupo de profissionais de saúde. Esta etapa foi realizada com 13 indivíduos da população alvo. Estes profissionais foram escolhidos por conveniência. O contato foi feito com oito profissionais que tinham alguma proximidade com a pesquisadora principal, que indicou os outros 10 profissionais. Destes 18 profissionais, 13 retornaram com o material avaliativo.

O perfil destes profissionais foi de enfermeiros (8), médicos (4) e odontólogo (1); nove eram formados em instituição pública; atuando na AB em média há nove anos; todos de Santa Catarina (sul do Brasil); oito profissionais exerciam cargo de gestão no momento da avaliação.

O instrumento avaliativo para esta etapa foi enviado por e-mail, com todas as orientações para o processo de avaliação.²⁰ A finalidade desta etapa é identificar a clareza das questões para a população alvo, logo, a avaliação consiste em pontuar o atendimento ou não (avaliação dicotômica) do critério clareza para: facilidade de leitura; compreensão das questões; forma de apresentação; e sugestões de melhorias. A orientação é feita no sentido de que seja avaliada a redação das questões. Ou seja, se estas questões estavam redigidas de forma que o conceito esteja compreensível e se expressam adequadamente o que se espera medir.¹⁵

Com o retorno deste questionário avaliativo preenchido pelos profissionais, foram analisadas as propostas de melhorias e, em seguida, realizado os testes de porcentagem de concordância. Essa taxa é interpretada considerando que um resultado maior ou igual a 90% de concordância, significa que os domínios estão adequados.

O resultado geral foi de 96%. Das 36 questões, somente duas tiveram sugestões descritivas de ajuste de redação (questão 9, com a troca do termo “coerente” por “estão de acordo” com os objetivos da APS; e na questão 14, com a inclusão da explicação sobre cargas mecânicas). E assim, como não houve alterações significativas com impacto de mudança na questão, não foi necessário submeter à avaliação pelos membros do comitê de especialistas novamente. Terminada essa etapa, a escala ficou pronta para a fase de validação de suas propriedades psicométricas avaliadas.¹⁸

DISCUSSÃO

O uso de instrumentos de medição tem trazido importantes contribuições para a organização e avaliação de serviços, formulação de políticas e respostas às demandas específicas. Para isso, estudos metodológicos de construção, adaptação cultural e validação vêm sendo valorizados de forma crescente e se aplicam aos mais variados temas, como a avaliação da literacia em saúde,²¹ a amplitude de problemas da sociedade contemporânea que afetam a saúde das populações, de grupos²²,²³ ou de trabalhadores de saúde²⁴,²⁵ (como ansiedade, depressão, burnout), impactos emocionais como o medo²⁶ e análises de intervenções de saúde mental desenvolvidas em crises sanitárias.²⁷

Avaliar a qualidade dos serviços prestados e identificar pontos de melhoria, incluindo o ambiente de trabalho, é uma forma de contribuição para o planejamento das instituições de saúde. Considerando a importância da APS para o sistema de saúde brasileiro, a escala AAT-APS permite que gestores e profissionais de saúde tenham uma visão ampliada sobre as necessidades e demandas dos pacientes e da equipe de saúde, bem como sobre as condições físicas e organizacionais do local de trabalho.

A Escala AAT-APS proposta é constituída por um total de 36 itens e tem como base o modelo de ambiente de trabalho saudável proposto pela Organização Mundial de Saúde.⁸ Por isso, tem potencial para proporcionar análises do ambiente de trabalho de forma participativa com os profissionais de saúde, isto significa não somente contribuir para um ambiente que seja favorável para a prática, mas avançar para um ambiente saudável de trabalho, envolvendo aspectos importantes encontrados na sua estrutura conceitual.

A estrutura conceitual do ambiente de trabalho permitiu compreender a amplitude deste objeto para o trabalhador da saúde. As categorias constituintes do ambiente de trabalho na APS relacionam-se a condições de trabalho, gestão, saúde do trabalhador, cargas de trabalho, valorização e motivação, violência e estratégias para um ambiente de trabalho saudável.⁹ Os elementos que constituem essas categorias podem ser geradores de adoecimento e estresse e estão em constante associação ao contexto desse nível de atenção, à gestão política do processo de trabalho na saúde e às vivências subjetivas no trabalho.¹⁶Estudos apontam que os resultados das instituições de saúde envolvem o desempenho dos trabalhadores, que são influenciados pela sua saúde e pela organização da instituição.²⁸ Com uma abordagem no trabalho focada na promoção da qualidade de vida e nos espaços de trabalho saudáveis,²⁹,³⁰ associa-se uma maior satisfação com o trabalho, menos riscos psicossociais no trabalho e, consequentemente, melhor desempenho dos trabalhadores e satisfação por parte dos clientes.³¹ Os fatores de risco para a saúde e qualidade de vida no trabalho devem ser identificados e eliminados; quando não for possível eliminá-los, devem implementar-se estruturas e práticas que possam minimizar o seu impacto.³²,³³

No caso da Atenção Primária, uma escala específica pode ajudar a avaliar a qualidade do ambiente de trabalho e identificar áreas que precisam ser melhoradas para, assim, garantir um espaço de trabalho mais eficiente, de qualidade e com profissionais mais satisfeitos e valorizados. Por exemplo, a avaliação pode incluir aspectos como o ambiente físico, equipamentos, recursos humanos, políticas e processos organizacionais, acesso aos serviços de saúde, entre outros.³⁴ A escala poderá ser utilizada por gestores na saúde, por pesquisadores, trabalhadores e serviços que utilizem a cogestão ou gestão participativa de modo a promover intervenções para melhoria dos ambientes de trabalho, na construção de espaços mais saudáveis.A escala construída tem uma abordagem objetiva no ambiente de trabalho e traz uma oportunidade de análise a partir da visão do trabalhador e, por isso, faz referência com as possibilidades de intervir no ambiente de trabalho a partir de pontos que possam facilitar e dificultar um ambiente saudável. A escala corrobora com a recomendação do Ministério da Saúde³⁵ de que a APS seja motivada por práticas gerenciais democráticas e participativas. Neste sentido, a escala AAT-APS pode ser uma ferramenta de análise a suprir a lacuna na literatura, que traz uma gama de dificuldades para realização de práticas com as características participativas, apontando a falta de apoio aos trabalhadores atuantes e o desencadeamento de grandes dificuldades encontradas no ambiente de trabalho.⁹,³⁶

O processo de construção e validação do conteúdo com especialistas e depois com uma amostra de profissionais de saúde são etapas importantes utilizadas por estudos de elaboração de escalas,³⁴,³⁷ pois trazem segurança, uma vez que a escala foi avaliada por pessoas que se envolveram no processo e tem experiência, neste caso na atenção primária.

O processo de construção da escala seguiu a orientação proposta por DeVellis e Thorpe¹⁵ e a validação de conteúdo faz parte de um processo. Existem outras metodologias para a validação de conteúdo, como exemplo o estudo Delphi para alcançar a validade de conteúdo. São meios diferentes, mas com envolvimento de pesquisadores e o consenso entre eles em comum.³⁸ Neste consenso, a validação de conteúdo se mantém como parte do processo, denominada como evidências de validade de conteúdo.

As escalas surgiram da necessidade de mecanismos de mensuração que reflitam o construto como um todo, possibilitando a comparação entre estudos e a aplicação em diversas realidades.³⁹ DeVellis e Thorpe¹⁵ destacam que, no desenvolvimento de uma escala, os pesquisadores possuam os cuidados essenciais da revisão da literatura para a identificação e embasamento das questões iniciais a compor a escala para a verificação de possíveis inclusões, exclusões ou modificações de questões, além da consulta com especialistas na temática de estudo.

A escala construída, com seu conteúdo validado, deve passar para a etapa de validação de suas propriedades de medida, o que pode identificar potenciais melhorias e aperfeiçoamentos. A avaliação das questões é, segundo DeVellis e Thorpe,¹⁵ de muitas maneiras, o cerne do processo de desenvolvimento de uma escala e condição para as etapas seguintes, mediante futuras aplicações em variados cenários.

Além disso, a utilização de uma escala na área da saúde pode contribuir para a produção de evidências científicas sobre o ambiente de trabalho na atenção primária. Com dados coletados de forma sistemática e objetiva, é possível realizar análises estatísticas e produzir estudos que ajudem a compreender melhor o ambiente de trabalho na atenção primária, seus impactos na saúde dos trabalhadores e a qualidade dos serviços prestados. Os resultados deste tipo de uso podem fomentar processos de co-criação de intervenções em saúde pública, o que torna as soluções mais centradas nas necessidades dos envolvidos, aprimorando a governança e a participação.⁴⁰

CONCLUSÕES E IMPLICAÇÕES PARA A PRÁTICA

Após a realização do estudo metodológico para a elaboração da escala de ambiente de trabalho, pode-se concluir que a escala foi desenvolvida com base em uma revisão extensa da literatura, bem como em um processo rigoroso de validação de conteúdo.

Este estudo se propôs a apresentar a construção da escala que contempla parte de sua validação. Outras formas de validação da escala serão apresentadas em outros estudos. Como limitações deste estudo, destaca-se a amostra, por conveniência e de um único estado brasileiro, de profissionais de saúde que avaliaram o estudo, de forma que não representa todas as regiões do Brasil. Cabe também pontuar que a aplicabilidade da escala ainda não foi avaliada após sua elaboração. Assim, não há consenso de como será seu comportamento na prática.

As propostas para o processo de trabalho ou pesquisas futuras podem incluir a utilização da escala em estudos para avaliar a relação entre o ambiente de trabalho e o bem-estar dos trabalhadores. Além disso, a escala deve ser aplicada e realizados os testes psicométricos para outras validações.

A elaboração da escala de ambiente de trabalho é um passo importante para a compreensão do impacto do ambiente de trabalho na saúde e no bem-estar dos trabalhadores. A utilização dessa medida pode ajudar na identificação de áreas problemáticas e na tomada de decisões informadas sobre mudanças no ambiente de trabalho, visando a melhoria da qualidade de vida dos trabalhadores e o aumento da produtividade e eficiência das organizações.

• a
  Artigo extraído de tese de doutorado “Escala de avaliação do ambiente de trabalho na Atenção Primária à Saúde: construção e evidências de validade”. Autora: Sabrina Blasius Faust. Orientadora: Flávia Regina Souza Ramos. Programa de Pós-Graduação em Enfermagem da Universidade Federal de Santa Catarina, 2023.

• FINANCIAMENTO

  O presente estudo foi realizado com o apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), na modalidade de bolsa de doutorado concedida a Sabrina Blasius Faust, no período de outubro de 2021 a outubro de 2023.

REFERÊNCIAS

• ¹
  Medina MG, Giovanella L, Bousquat A, Mendonça MH, Aquino R, Comitê Gestor da Rede de Pesquisa em Atenção Primária à Saúde da Abrasco. Atenção primária à saúde em tempos de COVID-19: o que fazer? Cad Saude Publica. 2020;36(8):e00149720. http://dx.doi.org/10.1590/0102-311x00149720 PMid:32813791.
  » http://dx.doi.org/10.1590/0102-311x00149720
• ²
  Melo EA, Mendonça MH, Oliveira JR, Andrade GC. Mudanças na Política Nacional de Atenção Básica: entre retrocessos e desafios. Saúde Debate. 2018 set;42(spe1):38-51. http://dx.doi.org/10.1590/0103-11042018s103
  » http://dx.doi.org/10.1590/0103-11042018s103
• ³
  Giovanella L, Franco CM, de Almeida PF. Política Nacional de Atenção Básica: para onde vamos? Cien Saude Colet. 2020 abr;25(4):1475-82. http://dx.doi.org/10.1590/1413-81232020254.01842020 PMid:32267447.
  » http://dx.doi.org/10.1590/1413-81232020254.01842020
• ⁴
  Silva MC, Peduzzi M, Sangaleti CT, Silva DD, Agreli HF, West MA et al. Cross-cultural adaptation and validation of the teamwork climate scale. Rev Saude Publica. 2016;50(0):50. http://dx.doi.org/10.1590/S1518-8787.2016050006484 PMid:27556966.
  » http://dx.doi.org/10.1590/S1518-8787.2016050006484
• ⁵
  Pinheiro JMG, Macedo ABT, Antoniolli L, Vega EAU, Tavares JP, de Souza SBC. Qualidade de vida profissional e estresse ocupacional em trabalhadores de enfermagem durante pandemia por COVID-19. Rev Gaúcha Enferm. 2023 mar 24;44:e20210309. PMid:36995803.
• ⁶
  Lima GK, Gomes LM, Barbosa TL. Qualidade de Vida no Trabalho e nível de estresse dos profissionais da atenção primária. Saúde Debate. 2020 set;44(126):774-89. http://dx.doi.org/10.1590/0103-1104202012614
  » http://dx.doi.org/10.1590/0103-1104202012614
• ⁷
  Ferreira L, Barbosa JS, Esposti CD, Cruz MM. Educação Permanente em Saúde na atenção primária: uma revisão integrativa da literatura. Saúde Debate. 2019 mar;43(120):223-39. http://dx.doi.org/10.1590/0103-1104201912017
  » http://dx.doi.org/10.1590/0103-1104201912017
• ⁸
  Organização Mundial da Saúde. Ambientes de trabalho saudáveis: um modelo para ação: para empregadores, trabalhadores, formuladores de política e profissionais. Brasília: SESI/DN; 2010.
• ⁹
  Diaz PS. Ambientes de trabalho na atenção primária à saúde: subsídios teóricos e ferramentas analíticas [tese]. Florianópolis: Programa de Pós-Graduação em Enfermagem, Universidade Federal de Santa Catarina; 2020 [citado 2023 out 30]. Disponível em: https://repositorio.ufsc.br/handle/123456789/229043
  » https://repositorio.ufsc.br/handle/123456789/229043
• ¹⁰
  Gama ZAS, Saturno-Hernandez PJ, Caldas ACSG, Freitas MR, Mendonça AEO, Medeiros CAS, et al. Questionário AGRASS: Avaliação da Gestão de Riscos em Cuidados de Saúde. Rev Saude Publica. 2020 fev 6;540:21. http://dx.doi.org/10.11606/s1518-8787.2020054001335 PMid:32049211.
  » http://dx.doi.org/10.11606/s1518-8787.2020054001335
• ¹¹
  Miclos PV, Calvo MC, Colussi CF. Evaluation of the performance of actions and outcomes in primary health care. Rev Saude Publica. 2017;51:86. http://dx.doi.org/10.11606/s1518-8787.2017051006831 PMid:28954165.
  » http://dx.doi.org/10.11606/s1518-8787.2017051006831
• ¹²
  Guimarães MA, Fattori A, Coimbra AM. “PCATool versão profissionais cuidando da saúde do idoso”: adaptação, análise de conteúdo e desempenho do instrumento. Cien Saude Colet. 2022;27(7):2911-9. http://dx.doi.org/10.1590/1413-81232022277.19292021
  » http://dx.doi.org/10.1590/1413-81232022277.19292021
• ¹³
  Costa LB, Mota MV, Porto MM, Fernandes CS, Santos ET, Oliveira JP et al. Avaliação da qualidade da Atenção Primária à Saúde em Fortaleza, Brasil, na perspectiva dos usuários adultos no ano de 2019. Cien Saude Colet. 2021 jun;26(6):2083-96. http://dx.doi.org/10.1590/1413-81232021266.39722020
  » http://dx.doi.org/10.1590/1413-81232021266.39722020
• ¹⁴
  Yanarico DMI, Balsanelli AP, Gasparino RC, Bohomol EA. Classificação e avaliação do ambiente de prática profissional de enfermeiros em hospital de ensino. Rev Lat Am Enfermagem. 2020 out 19;28:e3376. http://dx.doi.org/10.1590/1518-8345.4339.3376 PMid:33084777.
  » http://dx.doi.org/10.1590/1518-8345.4339.3376
• ¹⁵
  DeVellis RF, Thorpe CT. Scale development: theory and applications. 5th ed. Thousand Oaks: Sage Publications; 2022.
• ¹⁶
  Madureira Pereira LE, Ramos FR, Brehmer LC, Diaz PD. Ambiente de trabalho saudável na Atenção Primária à Saúde: revisão integrativa da literatura. Rev Baiana Enferm. 2022;36. http://dx.doi.org/10.18471/rbe.v36.38084
  » http://dx.doi.org/10.18471/rbe.v36.38084
• ¹⁷
  Alexandre NM, Coluci MZ. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cien Saude Colet. 2011 jul;16(7):3061-8. http://dx.doi.org/10.1590/S1413-81232011000800006
  » http://dx.doi.org/10.1590/S1413-81232011000800006
• ¹⁸
  Pasquali L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Editora Vozes; 2013.
• ¹⁹
  Medeiros RLS, Ferreira Júnior MA, Pinto DPSR, Vitor AF, Santos VEP, Barichello E. Modelo de validação de conteúdo de Pasquali nas pesquisas em Enfermagem. Rev Enferm (Lisboa). 2015. http://dx.doi.org/10.12707/RIV14009
  » http://dx.doi.org/10.12707/RIV14009
• ²⁰
  Coluci MZ, Alexandre NM, Milani D. Construção de instrumentos de medida na área da saúde. Cien Saude Colet. 2015 mar;20(3):925-36. http://dx.doi.org/10.1590/1413-81232015203.04332013
  » http://dx.doi.org/10.1590/1413-81232015203.04332013
• ²¹
  Batista MJ, Marques AC, Silva Jr MF, Alencar GP, Sousa MD. Tradução, adaptação transcultural e avaliação psicométrica da versão em português (brasileiro) do 14-item Health Literacy Scale. Cien Saude Colet. 2020 jul;25(7):2847-57. http://dx.doi.org/10.1590/1413-81232020257.22282018
  » http://dx.doi.org/10.1590/1413-81232020257.22282018
• ²²
  Carvalho BF, Inocêncio CC, Guadagnin E, Amorim E, Vianna PV. Instrumento WHOQOL-100 e políticas públicas: avaliação da qualidade de vida de população alvo de política habitacional. Saude Soc. 2021;30(2):e200324. http://dx.doi.org/10.1590/s0104-12902021200324
  » http://dx.doi.org/10.1590/s0104-12902021200324
• ²³
  Warmling D, Araújo CA, Lindner SR, Coelho EB. Qualidade de vida de mulheres e homens idosos em situação de violência por parceiro íntimo. Rev Bras Geriatr Gerontol. 2021;24(6):e200268. http://dx.doi.org/10.1590/1981-22562020024.200268
  » http://dx.doi.org/10.1590/1981-22562020024.200268
• ²⁴
  Pereira AD, Souza WF. Adaptação transcultural e validade do Questionnaire on Sexual Quality of Life - Female (SQoL-F) para o Brasil. J Bras Psiquiatr. 2022;71(3):168-75. http://dx.doi.org/10.1590/0047-2085000000372
  » http://dx.doi.org/10.1590/0047-2085000000372
• ²⁵
  Zheng Y, Tang PK, Lin G, Liu J, Hu H, Wu AM et al. Burnout among healthcare providers: Its prevalence and association with anxiety and depression during the COVID-19 pandemic in Macao, China. PLoS One. 2023 mar;18(3):e0283239. http://dx.doi.org/10.1371/journal.pone.0283239 PMid:36928867.
  » http://dx.doi.org/10.1371/journal.pone.0283239
• ²⁶
  Alyami M, Henning M, Krägeloh CU, Alyami H. Psychometric Evaluation of the Arabic Version of the Fear of COVID-19 Scale. Int J Ment Health Addict. 2021;19(6):2219-32. http://dx.doi.org/10.1007/s11469-020-00316-x PMid:32427217.
  » http://dx.doi.org/10.1007/s11469-020-00316-x
• ²⁷
  Soklaridis S, Lin E, Lalani Y, Rodak T, Sockalingam S. Mental health interventions and supports during COVID- 19 and other medical pandemics: a rapid systematic review of the evidence. Gen Hosp Psychiatry. 2020 set;66:133-46. http://dx.doi.org/10.1016/j.genhosppsych.2020.08.007 PMid:32858431.
  » http://dx.doi.org/10.1016/j.genhosppsych.2020.08.007
• ²⁸
  Burton J. WHO healthy Workplaces Framework and Model: Background and Supporting Literature and Practice. Geneva: WHO; 2010.
• ²⁹
  Gaspar T. Gestão em saúde: determinantes organizacionais e individuais dos resultados em contexto hospitalar. Porto: Faculdade de Ciência da Economia e da Empresa, Universidade Lusíada. 2020.
• ³⁰
  Gaspar T, Paiva T, Matos MG. Impact of Covid-19 in global health and psychosocial risks at work. J Occup Environ Med. 2021 mar 22;63(7):581-7. http://dx.doi.org/10.1097/JOM.0000000000002202 PMid:33769333.
  » http://dx.doi.org/10.1097/JOM.0000000000002202
• ³¹
  Organisation for Economic Cooperation and Development. Health at a Glance: Europe. Health at a Glance: Europe 2020. Paris: OECD; 2020. https://doi.org/10.1787/82129230-en
  » https://doi.org/10.1787/82129230-en
• ³²
  Scott T, Mannion R, Davies H, Marshall M. The quantitative measurement of organizational culture in health care: a review of the available instruments. Health Serv Res. 2003 jun;38(3):923-45. http://dx.doi.org/10.1111/1475-6773.00154 PMid:12822919.
  » http://dx.doi.org/10.1111/1475-6773.00154
• ³³
  Gaspar T, Correia M, Machado MC, Xavier M, Guedes FB, Ribeiro JP et al. Healthy workplace ecosystems (eats): an assessment tool for healthy workplaces. Psicol Saude Doencas. 2022 mar;23(01):253-69. http://dx.doi.org/10.15309/22psd230124
  » http://dx.doi.org/10.15309/22psd230124
• ³⁴
  Hosseini-Shokouh SM, Arab M, Khoshmanzar J, Mousavi SM, Bahadori M. Design and validation of a questionnaire to assess household-level socioeconomic status: a mixed-methods study. Lancet. 2018;392:S80. http://dx.doi.org/10.1016/S0140-6736(18)32154-8
  » http://dx.doi.org/10.1016/S0140-6736(18)32154-8
• ³⁵
  Portaria nº 2.436, de 21 de setembro de 2017 (BR). Aprova a Política Nacional de Atenção Básica (PNAB), estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União, Brasília (DF), 2017.
• ³⁶
  Ferreira LR, Neves VR, Rosa AD. Desafios na avaliação da atenção básica a partir de um programa de melhoria da qualidade. Esc Anna Nery. 2022;26. https://doi.org/10.1590/2177-9465-ean-2021-0287pt
  » https://doi.org/10.1590/2177-9465-ean-2021-0287pt
• ³⁷
  Miranda LHD, Reis JS, Oliveira SR. Construction and validation of an educational tool on insulin therapy for adults with diabetes mellitus. Cien Saude Colet. 2023 maio;28(5):1513-24. http://dx.doi.org/10.1590/1413-81232023285.09502022en PMid:37194883.
  » http://dx.doi.org/10.1590/1413-81232023285.09502022en
• ³⁸
  Golz C, Hahn S, Zwakhalen S. Content validation of a questionnaire to measure digital competence of nurses in clinical practice. Cin-computers Informatics Nursing. 41(12):949-56. http://dx.doi.org/10.1097/CIN.0000000000001037
  » http://dx.doi.org/10.1097/CIN.0000000000001037
• ³⁹
  Arias de la Torre J, Vilagut G, Ronaldson A, Valderas JM, Bakolis I, Dregan A, et al. Reliability and cross-country equivalence of the 8-item version of the Patient Health Questionnaire (PHQ-8) for the assessment of depression: results from 27 countries in Europe. Lancet Reg Health Eur. 2023;31:100659. http://dx.doi.org/10.1016/j.lanepe.2023.100659 PMid:37332385.
  » http://dx.doi.org/10.1016/j.lanepe.2023.100659
• ⁴⁰
  Leask CF, Sandlund M, Skelton DA, Altenburg TM, Cardon G, Chinapaw MJM et al. Framework, principles and recommendations for utilising participatory methodologies in the co-creation and evaluation of public health interventions. Res Involv Engagem. 2019 jan 9;5:2. http://dx.doi.org/10.1186/s40900-018-0136-9 PMid:30652027.
  » http://dx.doi.org/10.1186/s40900-018-0136-9

Editado por

EDITOR ASSOCIADO

EDITOR CIENTÍFICO

Datas de Publicação

• Publicação nesta coleção
  19 Abr 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  30 Out 2023
• Aceito
  30 Jan 2024