Adaptação transcultural do SETQ Smart para preceptores no BrasilRESUMO
Introdução: A avaliação do preceptor é fundamental para assegurar a qualidade da formação dos residentes na pós-graduação médica. No Brasil, há uma escassez de instrumentos validados que avaliem as competências dos preceptores, especialmente no contexto clínico.
Objetivo: Este estudo teve como objetivo adaptar transculturalmente para o contexto brasileiro a versão de autoavaliação do System for Evaluation of Teaching Qualities (SETQ) Smart, voltada para médicos preceptores.
Método: Trata-se de um estudo metodológico e transversal de adaptação transcultural, conduzido segundo diretrizes internacionais. As etapas incluíram: tradução inicial para o português brasileiro, síntese das versões traduzidas, retrotradução, análise por um comitê de especialistas para verificar a equivalência idiomática e cultural, e pré-teste com médicos preceptores. A validade de conteúdo foi avaliada por um painel de juízes especialistas.
Resultado: Na fase de pré-teste, participaram 38 médicos preceptores, dos quais 57,9% eram homens. Com exceção do enunciado inicial, 80% dos participantes consideraram os domínios do SETQ Smart claros e culturalmente apropriados. Para análise de validade de conteúdo, um painel de dez preceptores especialistas foi formado, com mediana de idade de 43 anos (intervalo: 38,0-46,8) e tempo de atuação como preceptor de 10,5 anos (intervalo: 5,8-15,0). A concordância entre os juízes superou 80% em todos os itens avaliados.
Conclusão: A versão de autoavaliação do SETQ Smart para médicos preceptores foi adaptada culturalmente para o contexto brasileiro. O estudo forneceu evidências preliminares de validade de conteúdo, demonstrando que a ferramenta é compreensível, adequada e potencialmente útil para avaliação no ensino clínico da residência médica no Brasil.
Palavras-chave:
Educação Médica; Residência Médica; Preceptor; Autoavaliação
ABSTRACT
Introduction: The evaluation of clinical preceptors is essential to ensure the quality of resident training in medical postgraduate education. In Brazil, there is a shortage of validated instruments to assess preceptors’ competencies, especially in the clinical context.
Objective: This study aimed to perform the cross-cultural adaptation of the self-assessment version of the System for Evaluation of Teaching Qualities (SETQ) Smart for use by physician preceptors in the Brazilian context.
Method: This was a methodological and cross-sectional study of cross-cultural adaptation, conducted according to international guidelines. The stages included: initial translation into Brazilian Portuguese, synthesis of the translated versions, back-translation, analysis by an expert committee to assess idiomatic and cultural equivalence, and pre-testing with physician preceptors. Content validity was assessed by a panel of expert judges.
Result: In the pre-test phase, 38 physician preceptors participated, of whom 57.9% were male. Except for the initial prompt, 80% of participants considered the SETQ Smart domains clear and culturally appropriate. For content validity analysis, a panel of 10 expert preceptors was formed, with a median age of 43 years (range: 38.0-46.8) and median time working as preceptors of 10.5 years (range: 5.8-15.0). Agreement among the judges exceeded 80% for all items evaluated.
Conclusion: The self-assessment version of the SETQ Smart for physician preceptors was culturally adapted for the Brazilian context. The study provided preliminary evidence of content validity, demonstrating that the instrument is understandable, appropriate and potentially useful for evaluation in clinical teaching in medical residency programs in Brazil.
Keywords:
Assessment Medical education; Medical residency; Preceptor; Self-assessment
INTRODUÇÃO
A residência médica (RM) é um programa de aprendizado em serviço que requer avaliações periódicas, conforme estabelecido pela Comissão Nacional de Residência Médica (CNRM)1. A avaliação contínua é fundamental não apenas para os residentes, mas também para os preceptores, garantindo um ensino de qualidade1)-(3. A CNRM tem a responsabilidade de promover a capacitação contínua e avaliar regularmente o desempenho dos preceptores com critérios bem definidos, assegurando que eles tenham acesso aos resultados das avaliações2.
O ensino no ambiente clínico apresenta desafios específicos, muitas vezes realizado sem preparo pedagógico formal. O preceptor clínico precisa ir além da competência técnica, desenvolvendo habilidades educacionais que o diferenciam de docentes em ambientes acadêmicos tradicionais. Embora a maioria possua formação sólida em conhecimentos médicos, a capacitação pedagógica ainda é uma lacuna significativa4),(5.
Estudos demonstram que muitos educadores clínicos têm percepção limitada sobre seu próprio desempenho, reforçando a necessidade de avaliações estruturadas3. Com a crescente carga assistencial, o tempo destinado ao ensino é reduzido, tornando essencial a aplicação de metodologias educacionais eficazes. No entanto, a falta de diretrizes claras e ferramentas de avaliações estruturadas e institucionalizadas compromete a avaliação precisa das competências dos preceptores4),(6)-(13.
Para garantir a qualidade da RM, a avaliação de preceptores deve ser centrada em resultados e incluir múltiplos critérios, como formação acadêmica, feedback e práticas reflexivas de autoavaliação14)-(16. Instrumentos validados são essenciais para mensurar o desempenho docente. Embora a CNRM não prescreva ferramentas específicas, há um esforço crescente na identificação de competências essenciais para educadores médicos eficazes5. Entretanto, o Brasil ainda enfrenta desafios na estruturação de um sistema padronizado de avaliação de preceptores, resultando em abordagens heterogêneas4),(6),(9)-(13.
Uma revisão sistemática revelou que muitos instrumentos avaliativos carecem de arcabouço teórico claro e não incorporam variáveis cruciais17)-(20. Entre os poucos sistemas robustos, destaca-se o System for Evaluation of Teaching Qualities (SETQ), desenvolvido na Holanda e baseado nos princípios do Canadian Medical Education Directions for Specialists (CanMEDS)21),(22)-(26. O SETQ Smart, uma versão aprimorada, combina autoavaliação dos preceptores e feedback dos residentes, promovendo melhorias contínuas na docência clínica23. Estudos indicam que a aplicação repetida do SETQ melhora a percepção dos preceptores sobre suas habilidades e áreas de aprimoramento, tornando-se um modelo confiável de feedback e desenvolvimento docente3),(23.
Considerando que a avaliação dos médicos preceptores desempenha um papel essencial na garantia da qualidade dos programas de RM, e que estudos indicam que a combinação entre autoavaliação e feedback dos residentes é uma estratégia eficaz para o aprimoramento das competências docentes, torna-se fundamental a adoção de um instrumento estruturado que contribua para o fortalecimento da formação desses profissionais. Esse aprimoramento não apenas impacta diretamente a qualificação dos futuros especialistas, mas também reflete na melhoria da assistência em saúde prestada à população.
Entretanto, observa-se no Brasil uma carência de ferramentas nacionais padronizadas para a avaliação de preceptores, sobretudo aquelas que priorizam a autoavaliação como estratégia central de desenvolvimento profissional. Diante dessa lacuna, este estudo propõe a tradução transcultural e a adaptação da versão de autoavaliação do SETQ Smart para médicos preceptores, com o objetivo de viabilizar sua aplicação no contexto brasileiro. A implementação desse instrumento pode representar um avanço significativo na qualificação dos preceptores, promovendo uma prática docente mais reflexiva e alinhada às exigências da formação médica no país.
MÉTODO
Desenho do estudo e preceitos éticos
Trata-se de um estudo metodológico e de delineamento transversal, cujo projeto de pesquisa foi submetido ao Comitê de Ética Institucional (CAAE nº 60372322.6.1001.0121) com parecer favorável para sua execução, e todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido.
Instrumento
O SETQ Smart é um sistema composto de dois questionários, sendo um deles para autoavaliação de médicos preceptores24)-(26. A versão voltada para médicos preceptores apresentou fortes evidências de validade.
O instrumento, que possui 30 itens e seis domínios, engloba sete categorias para o ensino clínico com escala de resposta Likert de sete pontos (discordo totalmente - concordo totalmente), além de um item complementar que analisa, em uma escala de dez pontos, a performance geral.
Etapas e participantes do estudo
A etapa da adaptação transcultural adotou as recomendações internacionais, e a adaptação transcultural foi realizada por meio da tradução do SETQ Smart para o idioma falado no Brasil27)-(29. O instrumento na sua versão original em inglês foi traduzido por dois tradutores brasileiros fluentes na língua inglesa que, de forma independente, elaboraram duas versões denominadas T1 e T2. Duas autoras e um terceiro pesquisador bilíngue reuniram-se para discutir inconsistências e relevâncias com o objetivo de sintetizar as versões T1 e T2 em uma única versão do SETQ para o português falado no Brasil, denominada T1,2. Essa versão foi submetida à retrotradução para a língua inglesa por dois tradutores nativos de países de língua inglesa, fluentes em português falado no Brasil e sem acesso ao instrumento de origem. Ambos os tradutores elaboraram de forma independente duas versões do SETQ em língua inglesa denominada RT1 e RT2. Foi organizado um comitê de especialistas por três especialistas em pesquisas de adaptação transcultural (sendo um deles licenciado em Letras Português-Inglês) e três profissionais da área da saúde com experiência em pesquisa. Os objetivos foram comparar e avaliar as seguintes versões: original, T1, T2, RT1 e RT2 para discutirem sobre as disparidades identificadas. Cada membro enviou suas considerações acerca de cada item avaliado, e, com base nos resultados obtidos, as pesquisadoras elaboraram a versão pré-final. Com essa versão, executou-se o pré-teste aplicado à população-alvo - médicos preceptores - para avaliar a clareza e a adequação cultural. A seleção da amostra foi por conveniência, e, de acordo com a literatura adotada, são necessários de 30 a 40 participantes27.
A etapa da validade de conteúdo foi conduzida com a composição do painel de juízes especialistas para obter as primeiras fontes de evidências de validade. A seleção da amostra foi intencional, e incluíram-se médicos preceptores brasileiros, de ambos os sexos e vinculados a qualquer especialidade médica, com experiência de pelo menos dois anos em preceptoria e especialização em RM.
Excluíram-se do estudo médicos estrangeiros e todos que não estavam disponíveis para responder a todos os itens do questionário, tanto para a etapa da adaptação transcultural quanto para a validade de conteúdo.
Coleta de dados
A coleta de dados foi realizada por meio do formulário eletrônico Google Forms, contendo todos os componentes para a versão de autoavaliação do preceptor. Os participantes responderam ao formulário e avaliaram, com base em uma escala Likert de três pontos, a clareza (“nada claro”, “parcialmente claro” e “totalmente claro”) e a adequação cultural (“nada adequado para a cultura brasileira”, “parcialmente adequado para a cultura brasileira” e “totalmente adequado para a cultura brasileira”). Um novo formulário eletrônico foi organizado, com os resultados obtidos na fase pré-teste, para examinar a validade de conteúdo realizada pelo painel de juízes especialistas. Os participantes avaliaram a clareza, a adequação cultural e a relevância de cada item. Em todas as etapas da coleta, os participantes contavam com uma área para sugestões ou comentários ao final de cada domínio, se houvesse necessidade.
Análise dos dados
Os dados foram armazenados em planilhas Microsoft Excel® e analisados com uso da linguagem R de programação 4.1.030. Utilizou-se a estatística descritiva, com medidas de tendência central e variabilidade para análise de variáveis numéricas, e frequências absoluta e relativa para variáveis categóricas31.
Quanto ao valor mínimo para que fossem asseguradas a clareza e a adequação dos itens incluídos no instrumento, ainda não há consenso na literatura. Portanto, foi convencionada a obtenção de, no mínimo, 80% de respostas “totalmente claro” e “totalmente adequado para cultura brasileira” para esse tipo de avaliação. Para avaliar o grau de concordância entre os especialistas, utilizou-se o percentual de concordância. O cálculo considerou a proporção de itens que atingiram um índice de concordância igual ou superior a 80%. O número desses itens foi dividido pelo total de itens do instrumento e, posteriormente, multiplicado por cem para expressar o resultado em percentual32.
A porcentagem de concordância entre os juízes foi o parâmetro utilizado para a análise da validade de conteúdo, também com padrão mínimo aceitável de 80% de concordância33.
RESULTADO
Adaptação transcultural do SETQ Smart
Realizou-se a adaptação de três itens que eram relativos à especialidade de anestesiologia, antes de dar sequência à fase do pré-teste. Apesar de a ferramenta SETQ ter sido validada para diferentes especialidades e contextos clínicos, a sua versão aprimorada, SETQ Smart, foi redesenhada com base em um estudo multicêntrico desenvolvido em seis países e validada com residentes e preceptores do campo da anestesiologia. Dessa forma, os itens 6 (“Teach residents the full spectrum of perioperative care”), 23 (“Adhere to professional practice standards in the field of anaesthesiology”) e 26 (“Teach residents organizational aspects of perioperative practice”) tiveram retificações da versão inicial para serem aplicadas a diferentes contextos clínicos e cirúrgicos dentro dos serviços da pós-graduação médica.
Na etapa do pré-teste, participaram 38 preceptores com mediana de idade de 43,0 (38,0-46,8) anos, entre os quais 22 (57,9%) eram do sexo masculino e 16 (42,1%) do sexo feminino. A mediana do tempo de atuação como preceptor foi 10,5 (5,8-15,0) anos. Dentre os médicos preceptores entrevistados, 60,3% faziam parte do corpo clínico do Hospital Universitário da Universidade Federal de Santa Catarina (HU/UFSC) e 39,5% da Escola de Saúde Pública de Florianópolis (ESP).
As áreas de atuação dos preceptores participantes eram: cardiologia (um), cirurgia de cabeça e pescoço (um), cirurgia do aparelho digestivo (quatro), cirurgia vascular (dois), clínica médica (dois), coloproctologia (um), cuidados paliativos (um), endocrinologia e metabologia (um), gastroenterologia (dois), gastroenterologia pediátrica (um), ginecologia e obstetrícia (dois), medicina de família e comunidade (15), pediatria (dois), psiquiatria (um) e reumatologia (um).
Exceto o enunciado, todos os domínios foram considerados claros e adequados por mais de 80% dos juízes (Figura 1).
Validade de conteúdo do SETQ Smart
O painel de juízes foi composto de seis (60%) indivíduos do sexo feminino e quatro (40%) do sexo masculino, totalizando dez participantes com mediana de idade de 41,5 (34,0-48,5) anos. No que se refere ao tempo de atuação dos preceptores, a mediana foi de 15,0 (5,8-17,3) anos.
Entre os participantes, 70% pertenciam à instituição HU/UFSC e 30% à ESP. Quanto às especialidades, 30% atuavam em medicina de família e comunidade; 10%, em anestesiologia; 10%, em cirurgia geral; 10%, em clínica médica; 10%, em dermatologia; 10%, em ginecologia e obstetrícia; 10%, em pediatria; e 10%, em psiquiatria.
A validade de conteúdo do instrumento foi avaliada por um painel de juízes especialistas com base em quatro critérios principais: 1. estrutura gramatical e ortográfica; 2. clareza e adequação cultural ao público-alvo; 3. representatividade do item em relação ao domínio que pretende avaliar; e 4. pertinência para permanência no instrumento. Os dados obtidos foram organizados por critério, do maior para o menor percentual de concordância entre os avaliadores (Quadro 1).
De forma geral, os resultados indicaram alto grau de consenso entre os avaliadores, com a maioria dos itens apresentando níveis iguais ou superiores a 90,0% em todos os critérios. A predominância de percentuais elevados reforçou a adequação linguística, cultural e conceitual do SETQ Smart. Apenas um número reduzido de itens (especificamente nos critérios de estrutura, clareza e permanência) obteve 80,0%, o que não comprometeu a validade global, mas sugere possíveis ajustes finos na linguagem ou no foco de determinados itens.
Desenvolvimento da versão final da autoavaliação do SETQ Smart para o preceptor
Com base nos resultados obtidos nas fases de pré-teste e de validade de conteúdo, o questionário foi reformulado com o objetivo de gerar sua versão definitiva. No enunciado de cada domínio, acrescentaram-se as expressões “quanto à/ao” e “eu”. Por exemplo, a primeiro domínio - “Ambiente de aprendizagem” - passou a ser “Quanto ao ambiente de aprendizagem eu”. A adição dessa expressão surgiu após sugestões do comitê de especialistas a fim de fornecer maior fluidez ao questionário e conectar o enunciado aos itens subsequentes.
Os primeiros parágrafos do início do questionário introduzem os conteúdos a serem avaliados, apontando o sentido da aplicação do instrumento adotado. Esse tópico, relativo ao enunciado e à escala de respostas, foi considerado pelos preceptores o com menor nível de clareza na avaliação, 28,9% dos preceptores classificaram essa introdução como parcialmente clara, apontando a necessidade de mais precisão no texto introdutório quanto (1) aos objetivos do questionário, (2) ao modo de avaliação dos domínios e (3) à escala de aferição utilizada. Uma reformulação do enunciado do questionário foi necessária, e as modificações estão representadas na Quadro 2.
O Questionário SETQ Smart foi aprimorado por meio da utilização da escala de resposta Likert de sete pontos, diferentemente da versão original. Isso permitiu a realização de avaliações mais diferenciadas12. Em nosso estudo, o enunciado, que também compreende a escala de resposta, foi parcialmente claro para 33,2% dos participantes, mais precisamente a diferenciação entre discordo e discordo parcialmente e entre concordo e concordo parcialmente, incluídos nas opções de resposta (discordo totalmente; discordo; discordo parcialmente; neutro(a); concordo parcialmente; concordo; concordo totalmente e não aplicável/não posso avaliar). Por se tratar de uma análise efetivada com um número reduzido de participantes, consultamos a conceptora do instrumento sobre a possibilidade de processar as avaliações mediante uma escala de apenas cinco pontos em proposta de avaliações futuras em estudos de validação subsequentes do instrumento. Todavia, na investigação da variabilidade das avaliações dos residentes mobilizando o SETQ com escalas diferenciadas de resposta de cinco e sete pontos, constatou-se que uma escala de sete pontos oferece mais vantagens34, pois geralmente os supervisores recebiam notas muito altas no SETQ a partir de uma avaliação de escala de apenas cinco pontos. Contudo, as evidências disponíveis indicam que pessoas com alto nível de escolaridade preferem dispor de mais opções de resposta no preenchimento de questionários. Dessa forma, após a revisão da literatura e levando em consideração o estudo realizado por Debets et al.34) sobre a variabilidade das avaliações dos residentes sobre o desempenho do corpo docente medido por escalas de resposta de cinco e sete pontos, a versão final da autoavaliação dos preceptores manteve-se com a escala de sete pontos. No entanto, supõe-se que, no Brasil, essa opção deveria ser testada posteriormente em estudos mais abrangentes e apoiados em dados quantitativos.
Diante das restrições impostas pela pandemia da covid-19 e das circunstâncias em que a presença física se mostrava difícil ou arriscada, a adoção da educação a distância tornou-se uma alternativa fundamental para garantir a continuidade da supervisão, da orientação e do treinamento, mesmo em contextos de interação pessoal limitada. A partir dessa experiência, consolidou-se o uso de tecnologias educacionais nesse perfil, o que motivou o aprimoramento do tópico 9 no âmbito “Atitude profissional do preceptor”. Nesse contexto, a frase original “… facilmente acessível durante o sobreaviso” foi adaptada para “… facilmente acessível durante o sobreaviso e supervisão à distância”.
Devido às ponderações apresentadas pelos preceptores a respeito da interpretação dos termos utilizados, no desenvolvimento dos itens 19 e 20 emergiu a necessidade de empregar exemplos a fim de facilitar a compreensão das expressões “feedback positivo” e “feedback negativo” no contexto de processos de avaliação de desempenho. Como resultado desse refinamento, a expressão “feedback positivo” foi substituída por “Realço comportamentos desejáveis/adequados já alcançados”, enquanto a expressão “feedback negativo” foi modificada para “Aponto comportamentos profissionais ainda não alcançados e os indesejáveis que precisam ser modificados”. Essas alterações estão apresentadas separadamente no Quadro 2.
Em face das divergências relacionadas à tradução de alguns conceitos originais, a elaboração da versão definitiva exigiu ainda uma consulta aos proponentes da versão original do instrumento. Certas nomenclaturas em inglês, apesar de poderem ser traduzidas de forma coerente para a língua portuguesa, têm sido aplicadas com diferentes conotações ou até mesmo deixaram de ser utilizadas ao longo do tempo nas rotinas da prática médica, como o termo “compaixão”. Nesse sentido, alguns integrantes da fase de pré-teste adotavam esse termo de uma conotação restritiva no sentido de “ter pena de alguém”. Além disso, trata-se de um termo pouco utilizado na prática médica, nos currículos e nos treinos usuais de habilidades de comunicação em grupo. Pelas respostas elaboradas por participantes do estudo, observamos a preferência pelo termo “empatia” em vez de “compaixão”, numa formulação alternativa do item 24 do domínio profissionalismo. Todavia, após uma consulta à desenvolvedora do instrumento e diante da revisão de literatura pertinente, decidimos reformular o enunciado original da seguinte forma: “Demonstro empatia e integridade em minhas relações com pacientes e familiares e ajo com compaixão para aliviar o sofrimento do paciente”.
Importa salientar ainda outras dificuldades encontradas na tradução de alguns termos para o português. No caso do item 17 do domínio da avaliação, por exemplo, a expressão specific patients pode ser traduzida como “pacientes específicos”, abrindo pelo menos duas possibilidades de entendimento. Por um lado, a imagem de um paciente com diagnóstico ou condições de alta complexidade; e por outro, a de pacientes a serem avaliados em contextos específicos. Nesse caso, além do grupo de especialistas, consultamos dois experts familiarizados com a terminologia médica adotada em países de língua inglesa para interpretar a mesma sentença com diferentes sinônimos para os termos nela inseridos. Assim, a formulação inicial do item 17 do questionário do preceptor “Evaluate residents’ application of knowledge to specific patients regularly” foi substituída por “Avalio com regularidade a aplicação do conhecimento dos residentes para cada tipo de paciente”.
O estudo dedicou-se a aprimorar uma versão brasileira que se conciliasse à original e, paralelamente, mantivesse a originalidade do questionário. Houve modificações que se limitaram a questões estruturais e gramaticais, além das mencionadas previamente. Após as considerações levantadas no pré-teste, pelos juízes especialistas participantes da validação de conteúdo, e em consultas com a autora principal do instrumento, foram realizadas as adaptações apresentadas no Quadro 2.
Desse modo, após a tradução da versão final do SETQ Smart de autoavaliação dos preceptores realizada por um tradutor nativo da língua inglesa e fluente no idioma português falado no Brasil, o instrumento foi enviado para aprovação da autora principal e validado. Essa versão final do questionário para o médico residente está disponível em: https://github.com/NaaraiCamboim/Questionario_preceptor.
DISCUSSÃO
Os resultados do estudo indicam que, embora todos os elementos do questionário tenham sido considerados claros e apropriados para a cultura brasileira, bem como relevantes para o conceito em estudo e representativos de seus respectivos domínios, houve variação nas respostas. Essa variação foi observada quando comparada a um estudo anterior que utilizou a versão do SETQ Smart com foco na perspectiva dos residentes13. No contexto da autoavaliação dos preceptores com o SETQ Smart, as considerações levantadas pelos participantes foram minuciosas, destacando-se a análise crítica detalhada de praticamente todos os itens do construto, o que resultou em uma diversidade de respostas. Esse detalhamento reflete a complexidade da função de preceptoria no âmbito da pós-graduação médica5)-(7.
Além disso, é necessário destacar a heterogeneidade da formação dos preceptores, os distintos tipos de formação dentro das diferentes especialidades médicas, uma vez que este estudo propôs abranger tanto os preceptores clínicos como cirúrgicos dentro das pós-graduações médicas, e as limitações nas competências pedagógicas aplicadas ao cenário clínico-educacional. Enquanto a maioria dos preceptores é treinada em conhecimentos médicos e habilidades clínicas, observa-se uma lacuna na capacitação para o ensino propriamente dito4)-(7. Poucas instituições oferecem suporte contínuo aos preceptores no papel de educadores, além de haver uma escassez de programas regulares de formação e aprimoramento, fundamentais para a construção de um ambiente de aprendizado adequado para que o preceptor exerça seu papel de maneira eficaz4),(5.
A aplicação do SETQ nos diversos ambientes clínicos tendo em vista as diferentes especialidades médicas, incluindo as cirúrgicas, foi baseada em estudos anteriores que validaram o instrumento. Um estudo multicêntrico, por exemplo, aplicou a versão original do SETQ a 546 residentes e 629 professores/preceptores em 29 programas de residência de diferentes especialidades, exceto a cirúrgica35. Em outro estudo, um modelo de coorte prospectivo multicêntrico confirmou a confiabilidade e validade do SETQ para avaliações de preceptores cirúrgicos, envolvendo 343 cirurgiões e 320 residentes36. Da mesma forma, um estudo realizado em quatro hospitais universitários no Bahrein relatou a adaptação e validade dessa ferramenta para a autoavaliação de preceptores em diferentes contextos clínicos37. Apesar da adaptação transcultural bem-sucedida nesse estudo, destaca-se a necessidade de uma amostra maior para alcançar múltiplas fontes de evidências de validade, o que não foi possível em nosso estudo devido ao curto período de coleta de dados.
O conceito de empatia e compaixão gerou discussões em nosso estudo, refletindo divergências já documentadas na literatura38. Enquanto a empatia é amplamente compreendida como a capacidade de se colocar no lugar do paciente, compreendendo seus sentimentos e suas perspectivas, a compaixão expande essa ideia ao incluir a motivação ativa para aliviar o sofrimento do outro, traduzindo-se em ações concretas de cuidado.
Observamos que os participantes do estudo demonstraram familiaridade com o conceito de empatia, uma vez que ele é frequentemente utilizado na comunicação médico-paciente. No entanto, o termo compaixão foi menos compreendido como adequado para a cultura brasileira por alguns participantes do estudo, o que sugere a necessidade de uma reflexão mais aprofundada dessa temática e sobre sua importância na formação médica. Considerando que tanto a empatia quanto a compaixão são aspectos essenciais na prática clínica e no desenvolvimento profissional de médicos residentes e preceptores, optamos por reformular o item 24 do questionário, incorporando ambos os termos. Essa necessidade de uma discussão mais aprofundada desse conceito foi levantada principalmente pelos preceptores, enquanto os residentes demonstraram menor ênfase nesse aspecto em suas respostas13. Esse achado merece uma investigação mais aprofundada para compreender se as argumentações dos preceptores se limitaram apenas à definição do termo ou se há uma necessidade de observar, no futuro, possíveis mudanças na compaixão ao longo do tempo de atuação.
No que diz respeito ao conceito de feedback, nossas análises revelaram uma ampla variação de interpretações. A literatura já aponta que o entendimento sobre feedback pode diferir dependendo do contexto e da forma como é aplicado na prática médica39. Independentemente das definições, destaca-se que o feedback tem um papel fundamental no ensino clínico, ao promover reflexão e metacognição, e contribuir para o aprimoramento do desempenho dos preceptores, desde que seja oportuno e adaptado às necessidades específicas de cada profissional e instituição40.
Outro ponto a ser ressaltado é a escassez de estudos brasileiros que tenham como ferramenta a autoavaliação de preceptores. Alguns desses estudos utilizaram questionários não validados no Brasil, enquanto outros adaptaram suas ferramentas a partir da perspectiva de estudantes de graduação em Medicina, e não de médicos residentes. Alguns outros estudos foram validados para determinada especialidade com foco específico nesse perfil de preceptores, o que gera dificuldade para que a instituição tenha um modelo de uma avaliação institucional mais sistemática para avaliar o quadro geral das competências padronizadas a todo o grupo de preceptores. Além disso, outras ferramentas de autoavaliação do preceptor não se restringem exclusivamente às competências pedagógicas do preceptor, conforme a matriz de competências do ensino, mas abrangem outros pontos relacionado ao programa de residência, e esse escopo ampliado pode desviar a atenção do preceptor da reflexão específica sobre sua atuação docente, comprometendo a avaliação direcionada ao desenvolvimento de suas habilidades educacionais4),(9)-(13.
A necessidade de uma autoavaliação também se relaciona à abordagem do aprendizado do adulto. Esse modelo enfatiza que adultos devem ser responsáveis por suas próprias decisões educacionais, participando ativamente do planejamento e da avaliação de sua formação. Além disso, a motivação para o aprendizado adulto é mais eficaz quando baseada em fatores internos, como crescimento pessoal e desenvolvimento profissional, em vez de estímulos externos41. O SETQ, ao contrastar a percepção do preceptor sobre seu ensino com a percepção dos residentes, gera reflexões sobre o impacto do ensino clínico na prática diária e contribui para o aprimoramento contínuo da preceptoria.
Entre as limitações deste estudo, destaca-se o fato de que a pesquisa foi conduzida em um centro urbano do Sul do Brasil, o que pode limitar a generalização dos achados para outros programas de RM em diferentes contextos geográficos e especialidades. Além disso, o número relativamente pequeno de preceptores participantes restringe a robustez das conclusões.
Entretanto, considerando a carência de ferramentas validadas para autoavaliação de preceptores no Brasil e a evidência de que educadores clínicos frequentemente não têm clareza sobre seu próprio desempenho, este estudo reforça a necessidade de implementação de práticas de autoavaliação nos programas de RM. Estudos anteriores já demonstraram que, por meio de ciclos repetidos de avaliação, os preceptores desenvolvem uma melhor percepção de seus pontos fortes e das áreas que necessitam de aprimoramento. Além disso, pesquisas indicam que a implementação do SETQ tem contribuído para melhorar os resultados educacionais e o apoio aos preceptores3.
Diante dessas constatações, sugerimos que as instituições médicas estabeleçam um sistema estruturado de avaliação que permita identificar as forças pedagógicas dos preceptores e as áreas que precisam de aperfeiçoamento. Esse sistema deve estar integrado à prática institucional, com aplicação regular e periódica, a fim de promover monitoramento contínuo e estimular a reflexão sobre o ensino clínico.
Atualmente, um estudo multicêntrico está em andamento no Brasil com o objetivo de aprofundar as investigações sobre a aplicabilidade do SETQ Smart. Esse esforço visa validar a ferramenta em uma amostra maior, abrangendo diferentes áreas da pós-graduação médica, e fornecer evidências mais robustas sobre sua eficácia no contexto brasileiro. Dessa forma, recomenda-se a realização de novas pesquisas que possam expandir a aplicabilidade e a validade do SETQ Smart no país.
CONSIDERAÇÕES FINAIS
Este estudo desenvolveu a versão brasileira do SETQ Smart com o objetivo de avaliar as competências pedagógicas de médicos preceptores por meio da autoavaliação. Os itens do instrumento foram considerados claros, válidos e adequados à cultura brasileira em todas as etapas do processo de adaptação, fornecendo evidências preliminares de validade de conteúdo.
Tanto na fase de pré-teste quanto na avaliação por um painel de juízes especialistas, todos os itens foram avaliados positivamente, demonstrando que essa versão do SETQ Smart é uma ferramenta potencialmente válida para aplicação no Brasil.
REFERÊNCIAS
-
1 Brasil. Decreto nº 7.562, de 15 de setembro de 2011. Dispõe sobre a Comissão Nacional de Residência Médica - CNRM e o exercício das funções de regulação, supervisão e avaliação de instituições que ofertam residência médica e de programas de residência médica. Diário Oficial da União; 16 set 2011. p. 3 [acesso em 21/02/2025]. Disponível em: Disponível em: http://www.abmes.org.br/arquivos/legislacoes/Decreto-7562-2011-09-15.pdf
» http://www.abmes.org.br/arquivos/legislacoes/Decreto-7562-2011-09-15.pdf -
2 Brasil. Resolução CNRM nº 16, de 30 de setembro de 2022. Dispõe sobre estrutura, organização e funcionamento das Comissões de Residência Médica (COREMEs) nas instituições de saúde que oferecem os Programas de Residência Médica (PRMs) e dá outras providências. Brasília: Ministério da Educação, Secretaria de Educação Superior; 2022 [acesso em 21/02/2025]. Disponível em: Disponível em: https://abmes.org.br/arquivos/legislacoes/Resolucao-CNRM-016-2022-09-30.pdf
» https://abmes.org.br/arquivos/legislacoes/Resolucao-CNRM-016-2022-09-30.pdf -
3 Boerebach BCM. Evaluating clinicians’ teaching performance. Perspect Med Educ. 2015;4(5):264-7. https://doi.org/10.1007/s40037-015-0215-7.
» https://doi.org/https://doi.org/10.1007/s40037-015-0215-7 -
4 Ruiz, PFC. Preceptoria em residência médica: uma avaliação sob a perspectiva dos preceptores. Rev Bras Educ Med. 2024;48(4):e116. https://doi.org/10.1590/1981-5271v48.4-2023-0280.
» https://doi.org/https://doi.org/10.1590/1981-5271v48.4-2023-0280 -
5 Carvalho Filho AM, Santos AA, Wyszomirska RMAF, Gauw JH, Gaia IMSRS, Houly RM. Formação na residência médica: visão dos preceptores. Rev Bras Educ Med . 2022;46(2):e052. https://doi.org/10.1590/1981-5271v46.1-20210237.
» https://doi.org/https://doi.org/10.1590/1981-5271v46.1-20210237 -
6 Ferreira IG, Cazella SC, Costa MR. Medical preceptorship: perceptions and perspectives of new family doctors in Brazil. Rev Bras Educ Med . 2023;47(2):1-11. https://doi.org/10.1590/1981-5271v47.2-20220299.ING.
» https://doi.org/https://doi.org/10.1590/1981-5271v47.2-20220299.ING -
7 Ramani S, Leinster S. AMEE Guide nº 34: Teaching in the clinical environment. Med Teach. 2008;30(4):347-64. https://doi.org/10.1080/01421590802061613.
» https://doi.org/https://doi.org/10.1080/01421590802061613 -
8 Johnson CE, Keating JL, Leech M, Congdon P, Kent F, Farlie MK, et al. Development of the Feedback Quality Instrument: a guide for health professional educators in fostering learner-centred discussions. BMC Med Educ. 2021;21(382):1-17. https://doi.org/10.1186/s12909-021-02722-8.
» https://doi.org/https://doi.org/10.1186/s12909-021-02722-8 - 9 Lawall PZM. A formação do preceptor médico em medicina de família e comunidade: uma proposta de diálogo com a andragogia [dissertação]. Brasília: Fundação Oswaldo Cruz; 2019.
-
10 Costa LB, Castro SS, Dourado DXC, Praxedes BS, Mota TC, Tavares TMRL. Adaptação transcultural do questionário EFFECT para português brasileiro. Rev Bras Educ Med . 2021;45(3):1-11. https://doi.org/10.1590/1981-5271v45.3-20200527.
» https://doi.org/https://doi.org/10.1590/1981-5271v45.3-20200527 -
11 Oliveira Filho GR de, Dal Mago AJ, Garcia JHS, Goldschmidt R. An instrument designed for faculty supervision evaluation by anesthesia residents and its psychometric properties. Anesth Analg. 2008;107(4):1316-22. https://doi.org/10.1213/ane.0b013e318182fbdd.
» https://doi.org/https://doi.org/10.1213/ane.0b013e318182fbdd -
12 Miranda PR, Romano VF. Uma proposta de instrumento de avaliação pedagógica da preceptoria para residências em medicina de família e comunidade. Rev Bras Med Fam Comunidade. 2021;16(43):1-9. https://doi.org/10.5712/rbmfc16(43)2680.
» https://doi.org/https://doi.org/10.5712/rbmfc16(43)2680 -
13 Bezerra NC, Lombarts KMJMH, Naiz SCDR, Castanhel FD, Grosseman S. System for Evaluation of Teaching Qualities (SETQ) Smart para o uso no Brasil: versão para residente. Rev Bras Educ Med . 48(3):e076, 2024. doi: https://doi.org/10.1590/1981-5271v48.3-2023-0217.
» https://doi.org/https://doi.org/10.1590/1981-5271v48.3-2023-0217 -
14 O’Sullivan PS, Irby DM. Reframing research on faculty development. Acad Med. 2011;86(4):421-8. https://doi.org/10.1097/ACM.0b013e31820dc058.
» https://doi.org/https://doi.org/10.1097/ACM.0b013e31820dc058 -
15 Heath JK, Dine CJ, Andolsek KM, Burke AE. Teaching the teachers with milestones: using the ACGME milestones model for professional development. J Gr Med Educ. 2021;13:124-6. https://doi.org/10.4300/JGME-D-20-00891.1.
» https://doi.org/https://doi.org/10.4300/JGME-D-20-00891.1 -
16 Johnson CE, Keating JL, Boud DJ, Dalton M, Kiegaldie D, Hay M, et al. Identifying educator behaviours for high quality verbal feedback in health professions education: literature review and expert refinement. BMC Med Educ . 2016;16(96):1-12. https://doi.org/10.1186/s12909-016-0613-5.
» https://doi.org/https://doi.org/10.1186/s12909-016-0613-5 -
17 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Med Educ. 2015;49(6):560-75. https://doi.org/10.1111/medu.12678.
» https://doi.org/https://doi.org/10.1111/medu.12678 -
18 Fluit CRMG, Bolhuis S, Grol R, Laan R, Wensing M. Assessing the quality of clinical teachers identification of studies: a systematic review of content and quality of questionnaires for assessing clinical teachers. J Gen Intern Med. 2010;25(12):1337-45. https://doi.org/10.1007/s11606-010-1458-y.
» https://doi.org/https://doi.org/10.1007/s11606-010-1458-y -
19 Tigelaar DE, Dolmans DH, Wolfhagen IH, van der Vleuten CP. The development and validation of a framework for teaching competencies in higher education. High Educ. 2004;48(2):253-68. https://doi.org/10.1023/B:HIGH.0000034318.74275.e4.
» https://doi.org/https://doi.org/10.1023/B:HIGH.0000034318.74275.e4 -
20 Holmboe ES, Ward DS, Reznick RK, Katsufrakis PJ, Leslie KM, Patel VL, et al. Faculty development in assessment: the missing link in competency-based medical education. Acad Med . 2011;86(4):460-7. https://doi.org/10.1097/ACM.0b013e31820cb2a7.
» https://doi.org/https://doi.org/10.1097/ACM.0b013e31820cb2a7 -
21 van der Meulen MW, Smirnova A, Heeneman S, Oude Egbrink MGA, van der Vleuten CPM, Lombarts KMJMH. Exploring validity evidence associated with questionnaire-based tools for assessing the professional performance of physicians: a systematic review. Acad Med . 2019;94(9):1384-97. https://doi.org/10.1097/ACM.0000000000002767.
» https://doi.org/https://doi.org/10.1097/ACM.0000000000002767 -
22 CanMEDS 2000: Extract from the CanMEDS 2000 Project Societal Needs Working Group Report. Med Teach . 2000;22(6):549-54. https://doi.org/10.1080/01421590050175505.
» https://doi.org/https://doi.org/10.1080/01421590050175505 -
23 Lombarts KMJMH, Ferguson A, Hollmann MW, Malling B, Arah OA. Redesign of the System for Evaluation of Teaching Qualities in Anesthesiology Residency Training (SETQ Smart). Anesthesiology. 2016;125(5):1056-65. https://doi.org/10.1097/ALN.0000000000001341.
» https://doi.org/https://doi.org/10.1097/ALN.0000000000001341 -
24 Lombarts KMJMH, Bucx MJL, Arah OA. Development of a system for the evaluation of the teaching qualities of anesthesiology faculty. Anesthesiology . 2009;111(4):709-16. https://doi.org/10.1097/ALN.0b013e3181b76516.
» https://doi.org/https://doi.org/10.1097/ALN.0b013e3181b76516 - 25 Lombarts M, Bucx M, Rupp I, Keijzers P, Kokke S, Schlack W. An instrument for the assessment of the training qualities of clinician-educators. Ned Tijdschr Geneeskd. 2007;151(36):2004-8.
-
26 van der Leeuw R, Lombarts K, Heineman MJ, Arah O. Systematic evaluation of the teaching qualities of obstetrics and gynecology faculty: reliability and validity of the SETQ tools. PLoS One. 2011;6(5):1-7. https://doi.org/10.1371/journal.pone.0019142.
» https://doi.org/https://doi.org/10.1371/journal.pone.0019142 -
27 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976). 2000;25(24):3186-91. https://doi.org/10.1097/00007632-200012150-00014.
» https://doi.org/https://doi.org/10.1097/00007632-200012150-00014 - 28 Anunciação L. Conceitos e análises estatísticas com R e JASP. São Paulo: Nila Press; 2021.
-
29 Terwee CB, Prinsen CAC, Chiarotto A, Westerman MJ, Patrick DL, Alonso J, et al. COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res. 2018;27(5):1159-70. https://doi.org/10.1007/s11136-018-1829-0.
» https://doi.org/https://doi.org/10.1007/s11136-018-1829-0 - 30 R Core Team. A language and environment for statistical computing. Vienna: R Foundation for Statistical Computing; 2020.
- 31 Field A, Miles J, Field Z. Discovering statistics using R. Thousand Oaks: Sage Publications; 2012.
-
32 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva. 16(7):3061-3068, 2011. https://doi.org/10.1590/S1413-81232011000800006
» https://doi.org/https://doi.org/10.1590/S1413-81232011000800006 - 33 Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-6.
-
34 Debets MPM, Scheepers RA, Boerebach BCM, Arah OA, Lombarts KMJMH. Variability of residents’ ratings of faculty’s teaching performance measured by five- and seven-point response scales. BMC Med Educ . 2020;20(1):325. https://doi.org/10.1186/s12909-020-02244-9.
» https://doi.org/https://doi.org/10.1186/s12909-020-02244-9 -
35 Arah OA, Heineman MJ, Lombarts KMJMH. Factors influencing residents’ evaluations of clinical faculty member teaching qualities and role model status. Med Educ . 2012;46(4):381-9. https://doi.org/10.1111/j.1365-2923.2011.04176.x.
» https://doi.org/https://doi.org/10.1111/j.1365-2923.2011.04176.x -
36 Boerebach BCM, Arah OA, Busch ORC, Lombarts KMJMH. Reliable and valid tools for measuring surgeons’ teaching performance: residents’ vs. self evaluation. J Surg Educ. 2012;69(4):511-20. https://doi.org/10.1016/j.jsurg.2012.04.003.
» https://doi.org/https://doi.org/10.1016/j.jsurg.2012.04.003 -
37 Al Ansari A, Strachan K, Hashim S, Otoom S. Analysis of psychometric properties of the modified SETQ tool in undergraduate medical education. BMC Med Educ . 2017;17(56):1-9. https://doi.org/10.1186/s12909-017-0893-4.
» https://doi.org/https://doi.org/10.1186/s12909-017-0893-4 -
38 Perez-Bret E, Altisent R, Rocafort J. Definition of compassion in healthcare: a systematic literature review. Int J Palliat Nurs. 2016;22(12):599-606. https://doi.org/10.12968/ijpn.2016.22.12.599.
» https://doi.org/https://doi.org/10.12968/ijpn.2016.22.12.599 -
39 Jamtvedt G, Young JM, Kristoffersen DT, Thomson O’Brien MA, Oxman AD. Audit and feedback: effects on professional practice and health care outcomes. Cochrane Database Syst Rev. 2003;(3). https://doi.org/10.1002/14651858.cd000259.
» https://doi.org/https://doi.org/10.1002/14651858.cd000259 -
40 Paterson C, Paterson N, Jackson W, Work F. What are students’ needs and preferences for academic feedback in higher education? A systematic review. Nurse Educ Today. 2020;85:104236. https://doi.org/https://doi.org/10.1016/j.nedt.2019.104236.
» https://doi.org/https://doi.org/https://doi.org/10.1016/j.nedt.2019.104236 -
41 Loeng S. Self-directed learning: a core concept in adult education. Educ Research Int. 2020;(1):1-12. https://doi.org/https://doi.org/10.1155/2020/3816132.
» https://doi.org/https://doi.org/https://doi.org/10.1155/2020/3816132
Os dados de pesquisa só estão disponíveis mediante solicitação.
