Adaptação cultural e avaliação das propriedades de medida da Facilitator Competency Rubric para facilitadores de simulação clínica

Objective:

translate and adapt the Facilitator Competency Rubric to the Portuguese language and the Brazilian culture, and analyze the measurement properties.

Method:

methodological study that completed the steps of translation, synthesis of translations, back translation, review by a Committee of Experts composed of 7 professionals, testing of the pre-final version with 33 simulation facilitators, and submission to the author of the original instrument. For content validation, the Content Validity Index and the modified Kappa Coefficient were calculated. For reliability, Cronbach’s α and the Intraclass Correlation Coefficient were evaluated by 52 and 15 simulation facilitators, respectively.

Results:

two rounds of content evaluation were carried out, resulting in changes to 19 items in the first evaluation and 3 items in the second. The overall scale achieved a Cronbach’s α of 0.98 and an Intraclass Correlation Coefficient of 0.95 to 0.97.

Conclusion:

the Facilitator Competency Rubric was translated and culturally adapted to the Brazilian reality and presented content validity, reliability and stability, with safe results for use in teaching and research.

Descriptors:
Simulation Training; Surveys and Questionnaires; Education; Teaching; Faculty Professional Competence

Objetivo:

traducir y adaptar la Facilitator Competency Rubric a la lengua portuguesa y a la cultura brasileña, y analizar las propiedades de medición.

Método:

estudio metodológico que completó las etapas de traducción, síntesis de las traducciones, back translation , revisión por un Comité de Expertos compuesto por 7 profesionales, prueba de la versión pre-final con 33 facilitadores de simulación y presentación a la autora del instrumento original. Para la validación de contenido se calculó el Índice de Validez de Contenido y el Coeficiente Kappa modificado. Para determinar la confiabilidad, 52 y 15 facilitadores de simulación evaluaron el α de Cronbach y el Coeficiente de Correlación Intraclase, respectivamente.

Resultados:

se realizaron dos rondas de evaluación de contenidos, con modificaciones de 19 ítems en la primera evaluación y 3 ítems en la segunda. La escala general alcanzó α de Cronbach de 0,98 y Coeficientes de Correlación Intraclase de 0,95 a 0,97.

Conclusión:

la Facilitator Competency Rubric fue traducida y adaptada culturalmente a la realidad brasileña y presentó validez de contenido, confiabilidad y estabilidad, con resultados seguros para su uso en la enseñanza y la investigación.

Descriptores:
Entrenamiento Simulado; Encuestas y Cuestionarios; Educación; Enseñanza; Docentes; Competencia Profesional

Destaques:

(1) A versão brasileira da FCR tem seu conteúdo válido e é confiável para uso nacional.

(2) A FCR adaptada ao contexto brasileiro mede a competência do facilitador de simulação.

(3) Medir a competência com a FCR favorece o cenário de capacitação docente em simulação.

Introdução

A aprendizagem baseada em simulação teve um advento nos últimos anos e tem sido uma estratégia de ensino bastante utilizada por programas de graduação de diversas áreas da saúde ^{( 1 - 2 )} . Pesquisadores apontam que cerca de metade das horas referentes à experiência clínica tradicional podem ser substituídas por experiências clínicas simuladas se certas condições de boa execução forem atendidas, como treinamento formal na pedagogia de simulação, número adequado de professores para auxiliar os estudantes, presença de especialistas na condução de um debriefing baseado em evidências e recursos materiais adequados para tornar o ambiente o mais realista possível ^{( 2 )} .

Para tanto, diferentes instrumentos de medidas têm sido desenvolvidos ao longo dos anos para avaliar elementos que são necessários para a implementação dessa estratégia de ensino ou para avaliar os seus resultados, principalmente dos participantes ^{( 3 )} . Por exemplo, a National League for Nursing (NLN) e a International Nursing Association for Clinical and Simulation Learning (INACSL) disponibilizam instrumentos que foram traduzidos e validados para diferentes culturas e que focam na avaliação do desempenho de habilidades, satisfação, percepção sobre a experiência educacional, conhecimento/aprendizagem, pensamento crítico/julgamento clínico, autoconfiança/autoeficácia, debriefing , competência do facilitador, e na avaliação do nível de organização quanto ao design do cenário simulado ^{( 4 )} .

A maioria desses instrumentos avalia a experiência do estudante com a simulação, no entanto, a avaliação do indivíduo que facilita a simulação ainda é indefinida, apesar das evidências de seu desempenho estarem inseridas em outros tipos de ferramentas ^{( 5 )} . Entre as escalas com foco no facilitador, encontra-se a Facilitator Competency Rubric (FCR). Ela foi desenvolvida para avaliar e medir o nível de competência do educador ao facilitar o aprendizado com o uso da simulação, e apresenta versões nos idiomas inglês e alemão. O referencial teórico de Benner é utilizado para diferenciar os níveis de competência do facilitador, sendo representados por: iniciante, iniciante avançado, competente, proficiente e especialista ^{( 5 )} .

O facilitador é considerado o profissional educador que tem como responsabilidade acompanhar e garantir toda a experiência baseada em simulação da maneira mais segura possível para que os aprendizes trabalhem de forma coesa, com foco na compreensão dos objetivos de aprendizagem e desenvolvimento de um plano para o alcance dos resultados desejados. Ser um facilitador requer formação e habilidades para condução, apoio e busca de maneiras de ajudar os aprendizes a alcançarem os resultados esperados ^{( 6 )} .

O facilitador iniciante é uma pessoa sem experiência cujos comportamentos e decisões são direcionados por regras preestabelecidas e que pode aprender as tarefas, mas não sabe o que fazer com as informações obtidas. Já o iniciante avançado apresenta um desempenho aceitável. O competente consegue desenvolver, implementar e priorizar uma estratégia de ação para a resolução de um problema, sentindo-se no domínio da situação. O facilitador proficiente consegue ver a situação numa perspectiva mais global frente à sua experiência, agindo de maneira mais rápida e flexível em comparação com o competente. Por último, o especialista não se sustenta em regras, mas em sua experiência e intuição. Dentro do cenário de educação e ensino, os profissionais podem percorrer esses níveis à medida que mudam de responsabilidade no trabalho ou aprendem novas estratégias de ensino ^{( 5 )} .

O instrumento FCR é composto por cinco dimensões: preparo, prebriefing , facilitação, debriefing e avaliação. Para essas dimensões, tem-se um total de 29 itens, que podem ser classificados numa escala ordinal de iniciante (1) a especialista (5). O estudo de desenvolvimento da escala verificou que a confiabilidade entre avaliadores foi boa. Os coeficientes de Generalização (G), usados para avaliar a confiabilidade entre avaliadores e para determinar a quantidade de variância atribuível a eles, variaram de bom a excelente (0,80 a 0,99), e os itens prazo, dia da semana, hora do dia e tipos de simulação foram preditores significativos da pontuação global do instrumento ^{( 5 )} .

Na perspectiva de que a FCR é um instrumento que, no cenário brasileiro, pode fornecer orientação para a capacitação do corpo docente e ser utilizado como ferramenta de autoavaliação ou de avaliação formativa ou somativa de um facilitador de simulação ^{( 5 )} , propõe-se a realização deste estudo. O objetivo foi traduzir e adaptar a Facilitator Competency Rubric para o idioma português e a cultura brasileira, e analisar as propriedades de medida.

Método

Delineamento do estudo

Estudo metodológico, que cumpriu as seguintes etapas: tradução, síntese das traduções, back translation , revisão por um comitê de especialistas, teste da versão final e submissão à autora do instrumento original ^{( 7 )} . Além disso, foram realizadas a validação de conteúdo e a medida de confiabilidade. A pesquisa foi descrita a partir dos critérios adotados pelo checklist do COnsensus-Based Standards for the selection of health Measurement INstruments (COSMIN) ^{( 8 )} . A Figura 1 elucida o fluxograma metodológico do estudo.

Figura 1
- Fluxograma metodológico do estudo. Campinas, SP, Brasil, 2023

Período

O período de coleta de dados se deu após a aprovação do estudo em Comitê de Ética em Pesquisa e ocorreu entre os meses de abril e setembro de 2023.

Etapa I – Traduções

Foi realizada a tradução do instrumento do inglês para português brasileiro, obtendo-se duas versões iniciais: uma delas feita por um tradutor com conhecimento das terminologias de simulação e área da saúde e outra realizada por um tradutor sem conhecimento na área. Ambos profissionais são fluentes no idioma original do instrumento e de naturalidade brasileira, com vivência na língua-alvo da tradução, o português brasileiro. Portanto, foi de interesse a identificação de possíveis diferenças entre palavras e frases do instrumento, seguindo o modelo proposto ^{( 7 )} . Surgiram, assim, duas versões, a saber: instrumento 1 (INST1) e instrumento 2 (INST2). A primeira com uma tradução mais literal do instrumento e a segunda com uma tradução mais interpretativa, condizente com a linguagem da população.

Etapa II – Síntese das traduções

As versões INST1 e INST2 foram comparadas com o instrumento original e sintetizadas, gerando uma versão única, chamada instrumento 12 (INST12). Essa etapa foi realizada por um terceiro tradutor, que possuía o português como língua materna e fluência em inglês.

Etapa III – Back translation

A versão INST12 obtida pela síntese foi traduzida para a língua original da escala, gerando duas versões: back translation 1 (BINST1) e back translation 2 (BINST2). Essa etapa foi realizada por dois tradutores bilíngues cuja língua materna era a mesma do instrumento original (inglês). Ambos tradutores não apresentavam conhecimento prévio sobre o instrumento e sua utilização, e não possuíam formação na área. Com este processo, a intenção foi observar imprecisões conceituais na tradução e garantir que a versão traduzida fosse clara e precisa quanto ao conteúdo da versão original do instrumento.

Etapa IV – Revisão e validação de conteúdo por um comitê de especialistas

De acordo com o referencial de tradução utilizado ^{( 7 )} , esta fase é essencial para o alcance da tradução transcultural do instrumento. A formação de um comitê de especialistas é necessária para avaliar todas as versões obtidas através das etapas anteriores.

É recomendado que o número de participantes especialistas em um comitê seja de entre cinco e dez ^{( 7 - 9 )} . Os membros desse comitê foram convidados a participar a partir da análise do currículo na Plataforma Lattes . Como critério de inclusão para o convite dos especialistas foram utilizados os seguintes filtros: “Simulação Clínica” e “Estudos de Validação”. Foram extraídos aqueles currículos que estavam atualizados no ano de 2023. De maneira intencional, foram selecionados os especialistas para a composição do comitê com, no mínimo, três anos de experiência na área de simulação clínica ou em estudos de validação, experiência na prática clínica, pesquisas ou publicações sobre o tema e perícia na estrutura conceitual em simulação.

O comitê foi composto por especialistas com experiência em simulação clínica, na elaboração de cenários e em ensino em saúde, que aceitaram o convite. O objetivo foi avaliar todas as versões (INST1, INST2, INST12, BINST1 e BINST2), comparando-as com o instrumento original, para se alcançar a equivalência semântica, idiomática, experiencial e conceitual entre a versão original do instrumento e a da língua portuguesa ^{( 7 )} .

A equivalência semântica determina se há paridade no significado das palavras e na representação gramatical. Na equivalência idiomática há uma avaliação de expressões da língua original do instrumento, comparando-se com as adaptadas do instrumento traduzido para língua portuguesa. Já na equivalência experiencial é avaliado se o conteúdo descrito no instrumento é condizente para utilização na população-alvo. Por fim, na equivalência conceitual foi observado se algumas palavras possuem significados semelhantes ou se possuem a mesma importância nas línguas e culturas diferentes ^{( 7 )} .

Em seguida, esse mesmo grupo de especialistas realizou a validação do conteúdo da escala. Foram consideradas as seguintes propriedades da psicometria: abrangência da escala, clareza e relevância (ou pertinência) de cada item. Na avaliação da abrangência do instrumento, objetivou-se compreender se cada domínio ou conceito foi adequadamente atingido pelo conjunto de itens apresentados. Com relação à clareza, o foco foi na compreensão e redação dos itens, com o intuito de avaliar se cada um deles expressou efetivamente aquilo que se esperava medir. Já na relevância ou pertinência, avaliou-se a importância dos itens para o alcance dos objetivos propostos com a aplicação da escala, e se refletiam os conceitos envolvidos ^{( 7 - 8 , 10 )} .

Os especialistas preencheram um documento para medir a proporção de concordância entre eles sobre os aspectos do instrumento e seus itens, por meio de uma escala ordinal com pontuação de 1 a 4, sendo 1 = não relevante/claro/equivalente, 2 = item necessita de grande revisão para ser relevante/claro/equivalente, 3 = item necessita de pequena revisão para ser relevante/claro/equivalente e 4 = item relevante/claro/equivalente. Em seguida, foi solicitada a avaliação da abrangência da escala, que utilizou uma escala ordinal de quatro pontos, sendo 1 = não abrangente, 2 = escala necessita de grande revisão para ser abrangente, 3 = escala necessita de pequena revisão para ser abrangente e 4 = escala abrangente.

Apontamentos pertinentes acerca dos itens foram avaliados pelo pesquisador principal do estudo, que compilou as sugestões e enviou por e-mail ao Comitê de Especialistas para nova apreciação de forma online da versão traduzida.

Portanto, ao término desta etapa, foi disponibilizada a versão pré-final chamada Facilitator Competency Rubric – Brazilian Version (FCR-BV), que se consolidou pelo consenso de ideias e opiniões dos especialistas.

Etapa V – Teste da versão pré-final

O teste da versão pré-final foi importante para a estabilização do instrumento, e é uma etapa em que o mesmo é exposto a novas avaliações ^{( 7 )} .

Para a realização do teste foram convidados profissionais da saúde que fossem facilitadores de simulação clínica, selecionados a partir da Plataforma Lattes , utilizando como critério de inclusão as palavras “Simulação Clínica”. Além disso, foram contatados facilitadores de simulação membros da Sociedade Brasileira de Simulação na Saúde (SOBRASSIM). Para ambos foi solicitada a indicação de indivíduos que pudessem participar desta etapa do estudo, por meio do método de recrutamento em bola de neve ^{( 11 )} .

É recomendado que, para esse processo, o instrumento seja aplicado idealmente em uma população de 30 a 40 indivíduos ^{( 7 - 8 )} . Foram então selecionados, de maneira aleatória, no mínimo 30 profissionais para a autoaplicação do instrumento na versão pré-final. Os profissionais que aceitaram o convite para participação nesta etapa receberam a versão pré-final da Facilitator Competency Rubric - Brazilian Version para auto aplicação; uma ficha de caracterização sobre o seu perfil profissional, que incluiu tempo de experiência em simulação, características sociodemográficas e de ensino; e um documento no qual pudessem compartilhar sobre a clareza, a compreensão e a facilidade do instrumento, tempo de preenchimento e um espaço para sugestões e mudanças. No caso de sugestões que pudessem alterar o conteúdo do item, o mesmo foi novamente encaminhado para a revisão do comitê de especialistas para alinhamento e possível adequação ^{( 8 )} .

Etapa VI – Submissão e validação do instrumento pelos autores

Nesta fase, foi enviado um relatório para a autora do instrumento original, contendo todo o processo de formação da versão final, incluindo as versões anteriores originadas das traduções diversas.

Etapa de validação - Teste de confiabilidade

Foi avaliada a confiabilidade por meio da análise da consistência interna e da estabilidade da rubrica. A abordagem desses indivíduos ocorreu de duas formas: em um evento internacional sobre simulação realística e pela seleção do currículo Lattes , conforme descrito na etapa V. Os participantes foram convidados a preencher um formulário na plataforma Google Forms , com o mesmo instrumento de caracterização utilizado na fase de pré-teste e versão final do instrumento FCR-VB. Os participantes que concordaram foram contatados novamente depois de 15 dias para uma nova aplicação da escala para avaliação do teste-reteste ^{( 10 , 12 - 13 )} .

Análise dos resultados e estatística

As equivalências e a validação de conteúdo foram avaliadas de maneira quantitativa por meio do cálculo do Índice de Validade de Conteúdo (IVC) e do Coeficiente Kappa modificado. Foram considerados como aceitáveis valores mínimos de 0,90 e 0,74, respectivamente ^{( 8 , 13 )} . Para os itens que não alcançaram o escore mínimo estabelecido, as sugestões dos especialistas foram analisadas e incorporadas ao instrumento ^{( 8 , 14 )} .

Os dados obtidos foram tabulados em planilhas do Microsoft Excel for Windows ^® , nas quais as medidas das variáveis quantitativas e as medidas de frequência das variáveis qualitativas foram calculadas. O IVC foi calculado pela soma das concordâncias dos itens classificados como “3” ou “4” pelos especialistas e dividido pelo número total de respostas do instrumento. Aqueles itens que receberam a pontuação “1” ou “2” foram revisados pelo Comitê. Já o Coeficiente Kappa modificado foi obtido pela razão da proporção de vezes que os especialistas concordaram com a proporção máxima de vezes que eles poderiam concordar ^{( 8 , 10 , 13 )} .

A medida de confiabilidade da escala foi realizada pela análise da consistência interna, através do Coeficiente alfa de Cronbach ^{( 10 )} . Considerou-se os valores superiores a 0,7 para a avaliação da consistência do instrumento ^{( 10 , 13 )} .

Para avaliar a concordância entre as medidas obtidas no teste e reteste com relação aos escores do instrumento foi aplicado o Coeficiente de Correlação Intraclasse ^{( 10 , 13 )} . A escala foi aplicada em dois momentos distintos, com o intuito de verificar se os resultados obtidos seriam similares, ou seja, estimar se havia consistência frente às repetições das medidas. É esperado que a competência do facilitador seja a mesma nos dois momentos da aplicação do instrumento ^{( 10 , 13 )} . Valores maiores ou iguais a 0,70 foram considerados como indicativos de boa confiabilidade ^{( 8 , 10 , 13 )} .

Em todas as análises foi utilizado o Statistical Analysis Software ^® (SAS), versão 9.4.

Aspectos éticos

Para a realização da tradução e adaptação transcultural foi solicitada a autorização da autora do instrumento original e recebida a devolutiva positiva sobre o uso. O projeto foi aprovado pelo Comitê de Ética em Pesquisa, seguido de todas as informações de aprovação (número CAAE: 68093623.2.0000.5374).

Resultados

As três primeiras etapas transcorreram sem dificuldade e foram realizadas por profissionais experientes na área.

Referente à etapa IV do estudo, cerca de 16 especialistas foram convidados a participar do comitê. Desses, apenas 12 retornaram o contato. Dois se negaram a participar, e dez especialistas aceitaram, no entanto, apenas sete retornaram com o instrumento preenchido e compuseram o comitê de especialistas. Este foi formado exclusivamente por mulheres, sendo duas atuantes na região Nordeste do Brasil e o restante na região Sudeste, três pós-doutoras, duas doutoras, uma mestra e uma especialista, com média de 14,42 anos (desvio-padrão=3,35) de tempo de formação em suas áreas. O comitê tinha média de oito (desvio-padrão=5,44) anos de tempo de docência; com média de 6,57 (desvio-padrão=3,40) anos trabalhando com simulação clínica e com um total de 21 artigos publicados sobre o tema.

Foram realizadas duas rodadas de análise pelo comitê de especialistas, uma antes do pré-teste final da versão disponibilizada e outra depois do pré-teste final. Na primeira, foram calculados os valores de IVC e de Kappa modificado para todos os itens do instrumento, como mostra a Tabela 1 .

Tabela 1
- Resultados do Índice de Validade de Conteúdo (IVC ^* ) obtidos na primeira rodada de avaliação de especialistas. Campinas, SP, Brasil, 2023

	Equivalências								Clareza		Relevância
Item - Domínio	Semântica		Idiomática		Conceitual		Cultural
	IVC *	Kappa	IVC *	Kappa	IVC *	Kappa	IVC *	Kappa	IVC *	Kappa	IVC *	Kappa
1.2 - Domínio 1	0,857	0,857	0,893	0,893	0,893	0,893	0,929	0,928	0,893	0,893	1,00	1,00
1.4 - Domínio 1	0,857	0,857	0,893	0,893	0,929	0,928	0,929	0,929	0,964	0,964	0,857	0,857
1.5 - Domínio 1	0,893	0,893	0,929	0,929	0,964	0,964	0,964	0,964	0,929	0,929	0,964	0,964
1.6 - Domínio 1	0,857	0,857	0,929	0,929	1,00	1,00	1,00	1,00	1,00	1,00	1,00	1,00
1.1 - Domínio 2	0,893	0,893	0,964	0,964	0,964	0,964	0,964	0,964	0,964	0,964	0,964	0,964
1.2 - Domínio 3	0,893	0,893	0,929	0,929	0,964	0,964	0,964	0,964	0,964	0,964	0,964	0,964
1.6 - Domínio 4	0,893	0,893	0,929	0,929	0,964	0,964	0,964	0,964	0,929	0,929	1,00	1,00

• ^*
  IVC = Índice de Validade de Conteúdo

Onze itens (1.1, 1.3, 1.7 do Domínio 1; 1.3 do Domínio 2; 1.3, 1.5 do Domínio 3; 1.2, 1.4, 1.8 do Domínio 4; 1.1, 1.2 do Domínio 5) não aparecem na Tabela 1 pois, apesar de terem tido valores de IVC e Kappa modificado aceitáveis, receberam sugestões gramaticais e sofreram reformulações pontuais.

Apesar de não haver IVC inferior a 0,9, o item que descreve os conceitos de classificação do facilitador recebeu uma sugestão que foi aceita como proposta de modificação. A classificação “iniciante experiente” na versão síntese foi substituída por “iniciante avançado”, conforme sugestão dos especialistas. Na Figura 2 são detalhadas todas as modificações realizadas pelo comitê ao avaliar a versão síntese.

Para a realização do teste da versão pré-final na etapa V do estudo, foram enviados 134 convites para especialistas selecionados pela Plataforma Lattes , e apenas 33 profissionais aceitaram participar. Desses participantes, 66,7% (22) eram do sexo feminino, e 51,5% (17) tinham o doutorado como nível mais elevado de formação. Com relação à graduação, 63,6% (21) eram enfermeiros, 27,3% (9) eram médicos e o restante era médico veterinário (1), fisioterapeuta (1) e pedagogo (1). A amostra de facilitadores em simulação tinha média de 19,5 anos de formação em suas áreas (desvio-padrão=12,91) e 14,2 anos de tempo em docência (desvio-padrão=12,11). Todos tinham uma média de 6,7 anos (desvio-padrão=4,08) de experiência com simulação clínica. A média de tempo gasto para responder o instrumento foi de 11,6 minutos (desvio-padrão=8,31). Todos os participantes consideraram o instrumento adequado ou parcialmente adequado para avaliar a competência do facilitador em simulação e acharam os itens compreensíveis ou parcialmente compreensíveis. Foi aberto um espaço para sugestões, que foram posteriormente levadas ao comitê de especialistas em uma segunda rodada de avaliação para análise e incorporação de propostas feitas. Foram realizadas 10 propostas, no entanto, apenas duas foram acatadas pelo comitê. Nenhuma das propostas afetou o conteúdo dos itens. A Figura 3 mostra as mudanças realizadas nessa segunda rodada de avaliação do instrumento.

Figura 2
- Versão síntese e versão resultado da avaliação do comitê de especialistas. Campinas, SP, Brasil, 2023

Item	Versão síntese	Versão resultante da avaliação do comitê de especialistas
Conceitos	Iniciante (1) a iniciante experiente (2)	Iniciante (1) a iniciante avançado (2)
1.1 Domínio 1 - Programação	- Consegue identificar a necessidade de pequenos grupos à beira do leito. - Tem criatividade para programar as atividades. - Consegue programar a experiência de aprendizagem de tal modo que seja ideal.	- Identifica a necessidade de pequenos grupos à beira do leito. - Demonstra criatividade para programar as atividades. - Programa a experiência de aprendizagem de tal modo que seja ideal.
1.2 Domínio 1 - Objetivos de aprendizagem	- Contempla os domínios de aprendizagem cognitivo, afetivo e psicomotor. - Correlaciona os objetivos de todos os domínios à escolaridade ou à experiência dos participantes.	- Aborda os domínios de aprendizagem cognitivo, afetivo e psicomotor. - Correlaciona os objetivos de todos os domínios ao nível educacional
1.3 Domínio 1 - Processo de planejamento	- Informa a equipe do laboratório de que será conduzida uma simulação. - Trabalha junto com a equipe do laboratório pelo pleno cumprimento dos objetivos de aprendizagem. - Analisa as simulações clínicas prévias, visando melhorar a experiência de aprendizagem.	- Informa a equipe do laboratório sobre os planos para conduzir a simulação. - Colabora com a equipe do laboratório para o pleno cumprimento dos objetivos de aprendizagem. - Revisa as simulações clínicas prévias para melhorar a experiência de aprendizagem.
1.4 Domínio 1 - Nível de fidelidade (p. ex., ambiente, modalidade de simulação)	- Planeja um nível de fidelidade que contemple os desfechos desejados.	- Planeja o nível de fidelidade que contemple os resultados desejados.
1.5 Domínio 1 - Disponibilidade de suprimentos/equipamentos	- Elenca os suprimentos e equipamentos necessários na simulação. - Organiza os materiais de aprendizagem necessários por prioridade. - Desenvolve ou melhora os materiais para estimular o pensamento crítico dos aprendizes.	- Elenca os suprimentos e equipamentos necessários para a simulação. - Organiza por prioridade os materiais de ensino. - Desenvolve ou melhora os materiais para estimular o pensamento crítico dos participantes.
1.6 Domínio 1 - Requisitos de preparo	- Informa os participantes do necessário para que se preparem antes da simulação. - Consegue avaliar se os participantes estão preparados para a simulação.	- Informa os participantes sobre o necessário para que se preparem antes da simulação. - Determina se os participantes estão preparados para a simulação.
1.7 Domínio 1 - Métodos de avaliação	- Busca usar boas ferramentas psicométricas de avaliação.	- Planeja usar ferramentas de avaliação com boas propriedades psicométricas.
1.3 Domínio 2 - Identificação de papéis	- Analisa que papel deve ser dado a qual participante para otimizar a aprendizagem, considerando os pontos fortes e fracos já identificados.	- Analisa qual papel deve ser dado a cada participante para otimizar a aprendizagem, considerando os pontos fortes e fracos já identificados.
1.3 Domínio 3 - Envolvimento dos participantes	- Durante a simulação, dá boas indicações ou estímulos para que todos os participantes se envolvam. - Emprega métodos diversos para envolver aqueles que não estão participando muito.	- Fornece pistas ou estímulos para que todos os participantes se envolvam durante a simulação. - Emprega métodos diversos para envolver aqueles que não estão participando muito da simulação.
1.5 Domínio 3 - Tempo/duração	- Dá continuidade no cenário escrito, independentemente do manejo de tempo. - Adapta-se no decorrer da experiência, buscando contemplar todos os objetivos de aprendizagem dentro do tempo alocado.	- Dá continuidade no cenário conforme o script , sem se preocupar com o gerenciamento do tempo. - Adapta-se no decorrer da experiência, buscando contemplar todos os objetivos de aprendizagem dentro do tempo estabelecido.
1.2 Domínio 4 - Facilita a reflexão	- Estimula a análise profunda dos processos de escolha e o pensamento de ordem superior.	- Estimula a análise profunda dos processos de tomada de decisão, do pensamento crítico e da resolução de problemas.
1.4 Domínio 4 - Escuta ativa	- Na discussão, contribui mais que os próprios participantes.	- Contribui mais que os próprios participantes durante a discussão.
1.6 Domínio 4 - Objetivos de aprendizagem	- Atenção nos eventos do cenário. - Consegue avaliar se os objetivos de aprendizagem foram assimilados. - Auxilia os participantes na avaliação do nível de assimilação dos objetivos de aprendizagem.	- Centra a sua atenção nos eventos do cenário. - Consegue avaliar se os objetivos de aprendizagem foram alcançados. - Auxilia os participantes a determinar o alcance dos objetivos de aprendizagem.
1.8 Domínio 4 - Resumo	- Ajuda os participantes para que eles façam um resumo da simulação.	- Apoia os participantes enquanto eles resumem a simulação.
1.1 Domínio 5 - Experiência	- Usa métodos desenhados para coletar dados dos participantes, da equipe e do corpo docente sobre a simulação.	- Usa métodos estruturados para coletar dados dos participantes, da equipe e do corpo docente sobre a simulação.
1.2 Domínio 5 - Participantes	- Usa métodos desenhados para coletar dados sobre os participantes e a aprendizagem.	- Usa métodos estruturados para coletar dados sobre os participantes e a aprendizagem.

Figura 3
- Versão pré-final e versão final resultada da 2ª avaliação do comitê de especialistas. Campinas, SP, Brasil, 2023

Item	Versão pré-final	Versão resultante da 2ª avaliação do comitê de especialistas (Versão final)
Texto introdutório	Nenhum conteúdo	Prezado, caso você esteja realizando sua autoavaliação ou avaliando um profissional por meio da versão brasileira da Facilitator Competency Rubric (FCR), informamos que as competências para um facilitador são avaliadas por meio de cinco domínios (preparo, prebriefing , facilitação, debriefing e avaliação). Para cada domínio, há uma lista de itens. Recomendamos que você leia atentamente cada item e escolha a classificação que melhor o representa ou representa o profissional que você está avaliando: (1) Iniciante; (2) Iniciante Avançado; (3) Competente; (4) Proficiente; (5) Especialista Ao final, você encontrará a pontuação esperada para cada domínio.
Linha da pontuação em cada domínio	Gabarito do total das três colunas — Seção “Preparo” 0-14 = “Iniciante” a “Iniciante avançado” (carece de supervisão de um facilitador “Proficiente” a “Especialista”). 15-27 = “Competente”. 28-35 = “Proficiente” a “Especialista” (apto a supervisionar um facilitador “Iniciante” a “Iniciante avançado”).	Gabarito do total das três colunas — Seção “Preparo” 0-14 = “Iniciante” a “Iniciante avançado” (necessita de supervisão de um facilitador “Proficiente” a “Especialista”). 15-27 = “Competente”. 28-35 = “Proficiente” a “Especialista” (apto a supervisionar um facilitador “Iniciante” a “Iniciante avançado”).

Na Figura 3 , observa-se que foi proposta a inclusão de um texto introdutório para orientar o facilitador sobre o preenchimento do instrumento, o que obteve 100% de concordância entre os avaliadores.

Ao término de todas as etapas, a versão final da Facilitator Competency Rubric - Versão brasileira (FCR-VB) foi encaminhada para a autora do instrumento original, que aprovou o processo de adaptação.

Referente à medida da confiabilidade da FCR-VB, 52 facilitadores de simulação realizaram o autopreenchimento do instrumento. Desses participantes, 78,85% (41) eram do sexo feminino, 73,1% (38) eram enfermeiros, 17,3% (9) eram médicos, 5,77% (3) eram farmacêuticos, 1,93% (1) eram nutricionistas e 1,93% (1) eram biólogos. Cerca de 38,5% (20) desses profissionais tinham como nível maior de formação Doutorado, 25% (13) Especialização, 23% (12) Mestrado e 13,5% (7) Pós Doutorado. Além disso, os profissionais tinham 17,19 anos de média de tempo de formação (desvio-padrão=8,24), com 10,98 anos de média de tempo de atuação no ensino (desvio-padrão=6,61), e utilizavam a simulação em sua prática de ensino/trabalho há 6,4 anos em média (desvio-padrão=5,28). A Tabela 2 apresenta a classificação dos facilitadores em simulação e os resultados das medidas de confiabilidade da versão brasileira da FCR, verificados a partir dos dados do alfa de Cronbach, mensurados para cada domínio e para a escala geral, e os valores do Coeficiente de Correlação Intraclasse (ICC).

Tabela 2
- Classificação dos participantes no teste das versões pré-final e final e confiabilidade da versão brasileira da Facilitator Competency Rubric . Campinas, SP, Brasil, 2023

Domínios da escala	Classificação	Teste da versão pré-final (n=33)	Teste de Confiabilidade (n=52)	Alfa de Cronbach (n=52)	ICC * (n=15)
Preparo		Média † =24,54 (DP ‡ =7,30)	Média † =25,11 (DP ‡ =6,25)	0,911	0,95
	Iniciante a Iniciante Avançado	12,1% (4)	3,8% (2)
	Competente	51,5% (17)	57,7% (30)
	Proficiente a Especialista	36,4% (12)	38,5% (20)
Prebriefing		Média † =14,69 (DP ‡ =3,99)	Média † =13,82 (DP ‡ =4,26)	0,876	0,96
	Iniciante a Iniciante Avançado	9,1% (3)	9,6% (5)
	Competente	42,4% (14)	55,8% (29)
	Proficiente a Especialista	48,5% (16)	34,6% (18)
Facilitação		Média † =22,42 (DP ‡ =5,89)	Média † =22,82 (DP ‡ =4,93)	0,906	0,95
	Iniciante a Iniciante Avançado	12,1% (4)	1,9% (1)
	Competente	27,3% (9)	53,8% (28)
	Proficiente a Especialista	60,6% (20)	44,3% (23)
Debriefing		Média † =30,51 (DP ‡ =7,45)	Média † =29,56 (DP ‡ =7,08)	0,947	0,97
	Iniciante a Iniciante Avançado	6,1% (2)	5,8% (3)
	Competente	39,4% (13)	55,7% (29)
	Proficiente a Especialista	54,5% (18)	38,5% (20)
Avaliação		Média † =14,06 (DP ‡ =3,85)	Média † =13,76 (DP ‡ =3,57)	0,878	0,97
	Iniciante a Iniciante Avançado	9,1% (3)	9,6% (5)
	Competente	48,5% (16)	61,5% (32)
	Proficiente a Especialista	42,4% (14)	28,9% (15)
				Total=0,980	-

• ^*
  ICC = Coeficiente de Correlação Intraclasse;
• ^†
  Média da pontuação por domínio;
• ^‡
  DP = Desvio-padrão por domínio

No teste da estabilidade da escala, 35 desses participantes aceitaram contribuir com o estudo, no entanto, apenas 15 retornaram com o instrumento preenchido após 15 dias de autoaplicação.

Discussão

A versão brasileira da Facilitator Competency Rubric e seu processo de adaptação obtiveram êxito em diferentes âmbitos, além de apresentar medidas confiáveis de consistência interna e validade de conteúdo.

A adoção de um referencial teórico e metodológico para o processo de adaptação cultural de um instrumento está diretamente associada à qualidade do resultado obtido posteriormente a todas as etapas realizadas. O rigor e a complexidade exigidos para tornar equivalentes os itens entre as versões original e adaptada de um instrumento são fundamentais para subsidiar o uso qualificado desse material. A garantia da equivalência entre as duas versões começa pela escolha de uma metodologia apropriada ^{( 7 , 15 )} . Todo esse processo foi seguido na adaptação cultural da FCR para o contexto brasileiro neste estudo.

Estudos que compararam métodos de adaptação cultural e suas validações evidenciaram que a etapa de back translation não é obrigatória, pois não há diferença significativa no resultado final do instrumento. No entanto, essa etapa pode ser útil como ferramenta de comunicação com o autor do instrumento original ^{( 16 - 17 )} . Além disso, a participação efetiva do comitê de especialistas é fundamental para a garantia das equivalências, e o retorno constante dos apontamentos gerados pela etapa do teste da versão pré-final a essa equipe multidisciplinar permite a precisão do conteúdo dos itens no comparativo entre as versões original e traduzida do instrumento ^{( 16 - 17 )} . Neste estudo, houve o cumprimento dessas duas etapas, conforme previsto no referencial metodológico escolhido ^{( 7 )} .

Ressalta-se que, para a composição do comitê de especialistas, foram buscados perfis de participantes que se adequassem ao que é recomendado pela literatura ^{( 7 - 8 )} . Um grupo multidisciplinar com atuação em diferentes frentes na simulação e em estudos de validação reforçam a qualidade e o cuidado que o presente estudo teve em garantir uma melhor validação do conteúdo do instrumento. Ademais, a escolha do valor de IVC de 0,9 incrementa a segurança e rigor do processo, como visto em outros estudos ^{( 18 - 20 )} .

A autora do instrumento original apresentou em seu estudo que a FCR foi projetada para ser usada na observação do facilitador de simulação, o que torna o corpo docente mais relutante em ser avaliado enquanto exerce seu papel de professor. No entanto, os resultados evidenciam que o uso autoaplicado do instrumento fornece mais credibilidade aos achados e orienta o desenvolvimento do corpo docente ^{( 5 )} . Portanto, o presente estudo escolheu a estratégia de auto aplicação do instrumento para obtenção dos resultados.

Outra importante escolha no processo de validação da FCR-VB foi a inclusão de participantes com experiência em simulação clínica e de um texto que orienta o seu preenchimento. A escolha por incluir somente pessoas com experiência no uso da simulação baseou-se no estudo alemão de tradução do instrumento, em que os autores destacaram que a inclusão de participantes com baixa ou nenhuma formação em simulação pode ter interferido nos resultados alcançados ^{( 21 )} . Tal observação revela que o indivíduo que preenche o instrumento necessita ter o mínimo de conhecimento sobre simulação clínica e sobre os domínios que o questionário se propõe a avaliar.

Além disso, a inclusão do texto de orientação não interferiu diretamente no conteúdo do instrumento original, e foi sugerida também pelos participantes da pesquisa. Sem dúvida, a disponibilização de um roteiro de orientação é fundamental para assessorar o profissional que aplica a estratégia de ensino na compreensão dos objetivos para se autoavaliar como facilitador.

Os profissionais que participaram da etapa V do estudo apresentaram sugestões pertinentes no que tange a realidade da temática. Isso reforça o que a literatura compartilha como importante: a inclusão do público alvo na coleta de dados e suas contribuições para aperfeiçoar a compreensão do instrumento, e facilitar a adesão ao seu uso dentro da prática e a obtenção de informações e resultados que sejam verídicos e de qualidade ^{( 18 - 19 )} .

No presente estudo, apesar de não existirem relatos anteriores sobre o tempo gasto para preencher a FCR dentro ou fora do cenário de simulação ^{( 5 , 21 )} , houve uma grande disparidade no registro de tempo para o preenchimento do instrumento. Foi verificada uma variação de dois a 40 minutos de tempo para preenchimento da escala, e emanaram comentários realizados pelos facilitadores sobre a grande quantidade de itens (29) presentes no instrumento, o que pode estar associado à maior quantidade de tempo para finalizar a autoavaliação.

Quanto à análise da consistência interna, os resultados do Brasil são semelhantes aos da versão alemã ^{( 21 )} , com valores acima de 0,8 para todos os domínios. Não foi possível comparar com os valores encontrados no estudo original, uma vez que a medida da consistência interna foi realizada de modo diferente, empregando o Coeficiente G, que mostrou resultados de bom a excelente ^{( 5 )} , verificados também na versão brasileira.

Para a medida da estabilidade da escala, verificada por meio do teste-reteste, as três versões apresentaram ICC acima dos valores de referência de 0,70 ^{( 14 - 15 )} , o que ressalta como são estáveis as medidas que o instrumento avalia em momentos distintos.

Este estudo não ficou isento de limitações. Na etapa do teste da versão pré-final não foi possível calcular a taxa de resposta, pois foi adotado o recrutamento em bola de neve para autopreenchimento do instrumento, o que pode ser considerado um viés amostral. Ainda, o número de indivíduos que participaram da etapa de teste-reteste para a medida da confiabilidade foi inferior ao recomendado em literatura, que prevê um mínimo de 50 indivíduos ^{( 8 , 13 - 14 )} . Recomendamos que, em estudos futuros e com maior tamanho amostral, sejam realizadas avaliações da estrutura da escala, por meio da análise fatorial exploratória, seguida da análise fatorial confirmatória, para confirmar a disposição dos itens nos domínios do instrumento.

O fornecimento da versão brasileira da FCR com as propriedades de medidas testadas e validadas para o cenário acadêmico e institucional contribui para o avanço das boas práticas de simulação clínica em escopos de prática cada vez mais utilizados na área da saúde. A partir da utilização da rubrica, o facilitador poderá reconhecer seus pontos fortes e suas limitações para aplicar a metodologia da simulação, ou seja, a versão brasileira da FCR pode ser utilizada no desenvolvimento de profissionais como facilitadores em simulação clínica, ao pontuar as competências que ainda devem ser desenvolvidas. Com isso, os profissionais que pretendem atuar no papel de facilitadores de forma efetiva e eficiente poderão buscar uma capacitação mais pertinente aos seus objetivos para favorecer melhores condições de ensino e aprendizagem, utilizando todas as potencialidades que a simulação clínica oferece. Também não podemos excluir as vantagens do avanço da ciência no campo da pesquisa em simulação com a veiculação desse instrumento.

Conclusão

O processo de tradução e adaptação da FCR seguiu criteriosamente os passos descritos como referência na literatura internacional. A inclusão desse instrumento no cenário nacional da simulação clínica brasileira pode incrementar o conhecimento sobre as competências de facilitadores e o desenvolvimento de novas habilidades para profissionais que utilizam essa estratégia de ensino. A versão brasileira da FCR mostrou-se adequada para o uso e autoavaliação. Estudos com um maior tamanho amostral e com avaliação de diferentes propriedades de medida são recomendados para aumentar a precisão e a validade do instrumento.

Agradecimentos

Agradecemos à autora do instrumento original, Prof.ª Dra. Kim Leighton, pela autorização de uso do documento e por auxiliar na validação da pesquisa ao final de todas as etapas.

References

• ^1.
  Duchatelet D, Jossberger H, Rausch A. Assessment and evaluation of simulation-based learning in higher education and professional training: An introduction. Stud Educ Eval. 2022;75:101210. https://doi.org/10.1016/j.stueduc.2022.101210 .
  » https://doi.org/10.1016/j.stueduc.2022.101210.
• ^2.
  Koukourikos K, Tsaloglidou A, Kourkouta L, Papathanasiou IV, Iliadis C, Fratzana A, et al. Simulation in Clinical Nursing Education. Acta Inform Med. 2021;29(1):15-20. https://doi.org/10.5455/aim.2021.29.15-20
  » https://doi.org/10.5455/aim.2021.29.15-20
• ^3.
  Román-Cereto M, Martí-García C, García-Mayor S, Kaknani-Uttumchandani S, García-Gámez M, Ordoñez EF, et al. Spanish validation of the national league for nursing questionnaires for clinical simulation. Teach Learn Nurs. 2022;17(2):174-9. https://doi.org/10.1016/j.teln.2021.11.011
  » https://doi.org/10.1016/j.teln.2021.11.011
• ^4.
  International Nursing Association for Clinical and Simulation Learning. Repository of Instruments Used in Simulation Research [Internet]. Chicago, IL: INACSL; c2021 [cited 2023 May 17]. Available from: https://www.inacsl.org/index.php?option=com_content&view=article&id=108:repository-of-instruments&catid=20:site-content&Itemid=149
  » https://www.inacsl.org/index.php?option=com_content&view=article&id=108:repository-of-instruments&catid=20:site-content&Itemid=149
• ^5.
  Leighton K, Mudra V, Gilbert GE. Development and psychometric evaluation of the Facilitator Competency Rubric. Nurs Educ Perspect. 2018;39(6):E3-E9. https://doi.org/10.1097/01.NEP.0000000000000409
  » https://doi.org/10.1097/01.NEP.0000000000000409
• ^6.
  International Nursing Association for Clinical and Simulation Learning. Healthcare Simulation Standards of Best Practice [Internet]. Chicago, IL: INACSL; c2021 [cited 2024 Mar 13]. Available from: https://inacsl.memberclicks.net/assets/INACSL_HSSOBP_Portuguese.pdf.pdf
  » https://inacsl.memberclicks.net/assets/INACSL_HSSOBP_Portuguese.pdf.pdf
• ^7.
  Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the cross-cultural adaptation of the DASH & QuickDASH outcome measures [Internet]. Toronto: Institute for Work & Health; 2007 [cited 2023 Apr 15]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
  » https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
• ^8.
  Gagnier JJ, Lai J, Mokkink LB, Terwee CB. COSMIN reporting guideline for studies on measurement properties of patient-reported outcome measures. Qual Life Res. 2021;30(8):2197-218. https://doi.org/10.1007/s11136-021-02822-4
  » https://doi.org/10.1007/s11136-021-02822-4
• ^9.
  Almanasreh E, Moles R, Chen TF. Evaluation of methods used for estimating content validity, Res Social Adm Pharm. 2019;15(2):214-21. https://doi.org/10.1016/j.sapharm.2018.03.066
  » https://doi.org/10.1016/j.sapharm.2018.03.066
• ^10.
  Polit D, Beck CT. Essentials of Nursing Research: Appraising Evidence for Nursing Practice. 10 ^th ed. Philadelphia, PA: Wolters Kluwer; 2022.
• ^11.
  Leighton K, Kardong-Edgren S, Schneidereith T, Foisy-Doll C. Using Social Media and Snowball Sampling as an Alternative Recruitment Strategy for Research. Clin Simul Nurs. 2021;55:37-42. https://doi.org/10.1016/j.ecns.2021.03.006
  » https://doi.org/10.1016/j.ecns.2021.03.006
• ^12.
  Mondal D, Vanbelle S, Cassese A, Candel MJ. Review of sample size determination methods for the intraclass correlation coefficient in the one-way analysis of variance model. Stat Methods Med Res. 2024;33(3). https://doi.org/10.1177/09622802231224657
  » https://doi.org/10.1177/09622802231224657
• ^13.
  Terwee CB, Prinsen CAC, Chiarotto A, Westerman MJ, Patrick DL, Alonso J, et al. COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res. 2018;27:1159-70. https://doi.org/10.1007/s11136-018-1829-0
  » https://doi.org/10.1007/s11136-018-1829-0
• ^14.
  Prinsen CAC, Mokkink LB, Bouter LM, Alonso J, Patrick DL, de Vet HCW, et al. COSMIN guideline for systematic reviews of patient-reported outcome measures. Qual Life Res. 2018;27(5):1147-57. https://doi.org/10.1007/s11136-018-1798-3
  » https://doi.org/10.1007/s11136-018-1798-3
• ^15.
  Teig CJP, Bond MJ, Grotle M, Kjøllesdal M, Saga S, Cvancarova MS, et al. A novel method for the translation and cross-cultural adaptation of health-related quality of life patient-reported outcome measurements. Health Qual Life Outcomes. 2023;21:13. https://doi.org/10.1186/s12955-023-02089-y
  » https://doi.org/10.1186/s12955-023-02089-y
• ^16.
  Epstein J, Santo RM, Guillemin F. A review of guidelines for cross-cultural adaptation of questionnaires could not bring out a consensus. J Clin Epidemiol. 2015;68(4):435-41. https://doi.org/10.1016/j.jclinepi.2014.11.021
  » https://doi.org/10.1016/j.jclinepi.2014.11.021
• ^17.
  Epstein J, Osborne RH, Elsworth GR, Beaton DE, Guillemin F. Cross-cultural adaptation of the Health Education Impact Questionnaire: experimental study showed expert committee, not back-translation, added value. J Clin Epidemiol. 2015;68(4):360-9. https://doi.org/10.1016/j.jclinepi.2013.07.013
  » https://doi.org/10.1016/j.jclinepi.2013.07.013
• ^18.
  Dias FCP, Baitelo TC, Toso BRGO, Sastre-Fullana P, Oliveira-Kumakura ARS, Gasparino RC. Adaptation and validation of the Advanced Practice Nursing Competency Assessment Instrument. Rev Bras Enferm. 2022;75(5):e20210582. https://doi.org/10.1590/0034-7167-2021-0582
  » https://doi.org/10.1590/0034-7167-2021-0582
• ^19.
  Costa TF, Pimenta CJ, Silva CR, Bezerra TA, Viana LR, Ferreira GR, et al. Cross-cultural adaptation of the Bakas Caregiving Outcome Scale to Brazilian Portuguese. Acta Paul Enferm. 2021;34:eAPE01861. https://doi.org/10.37689/acta-ape/2021AO01861
  » https://doi.org/10.37689/acta-ape/2021AO01861
• ^20.
  Góes FGB, Ledo BC, Santos AST, Pereira-Ávila FMV, Silva ACSS, Christoffel MM. Cultural adaptation of Infant Feeding Intentions Scale (IFI) for pregnant women in Brazil. Rev Bras Enferm. 2020;73(Suppl 4):e20190103. https://doi.org/10.1590/0034-7167-2019-0103
  » https://doi.org/10.1590/0034-7167-2019-0103
• ^21.
  Forbrig TA, Gellert P, Biniok M, Gräske J. Facilitator competency rubric in nursing simulations: transcultural adaptation and validation of the German version. BMC Nurs. 2023;22:139. https://doi.org/10.1186/s12912-023-01317-6
  » https://doi.org/10.1186/s12912-023-01317-6

• Como citar este artigo
  Campos DG, Silva JLG, Silva RLF, Almeida AO, Lira ALBC, Oliveira-Kumakura ARS. Cultural adaptation and evaluation of the measurement properties of the Facilitator Competency Rubric for clinical simulation facilitators. Rev. Latino-Am. Enfermagem. 2024;32:e4257 [cited ano mês dia]. Available from: URL . https://doi.org/10.1590/1518-8345.7214.4257

Editado por

Editora Associada:

Rosana Aparecida Spadoti Dantas

Datas de Publicação

• Publicação nesta coleção
  29 Jul 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  13 Dez 2023
• Aceito
  26 Mar 2024