System for Evaluation of Teaching Qualities (SETQ) Smart para o uso no Brasil: versão para residente

RESUMO

Introdução:

Já se reconhece que o incremento do potencial de aprendizagem dos alunos está diretamente relacionado às qualidades do preceptor. Nesse sentido, a avaliação da prática dos docentes impõe-se como um elemento essencial da garantia de qualidade na formação de novos especialistas. Todavia, no contexto da educação médica no Brasil, existem atualmente poucas pesquisas sobre avaliação de preceptores e escassez de instrumentos para essa finalidade. Um dos instrumentos atualmente disponíveis é o System for Evaluation of Teaching Qualities (SETQ).

Objetivo:

Este estudo teve como objetivo executar a adaptação transcultural e a validade de conteúdo do SETQ para uso no Brasil.

Método:

Esse instrumento é composto por duas versões, e neste estudo foi adaptada a versão dos residentes para avaliação do preceptor. A adaptação cultural seguiu cinco etapas: duas traduções iniciais do inglês para o português brasileiro; duas traduções de síntese; duas retrotraduções; uma avaliação do comitê de especialistas em termos de análise conceitual, equivalência semântica, idiomática e cultural; e um pré-teste. Além disso, um painel de juízes especialistas conduziu a validação de conteúdo.

Resultado:

Quarenta médicos residentes, com idade mediana de 30 anos (IQR = 6,25), participaram do pré-teste. Oitenta por cento dos participantes classificaram os componentes que compõem o SETQ Smart como claros e culturalmente apropriados, exceto pelo enunciado do questionário. O painel de juízes especialistas incluiu dez residentes, 70% do sexo feminino. As taxas de concordância variaram de 80% a 100% em relação à clareza, adequação cultural, representatividade dos itens dentro de seus respectivos domínios e permanência de cada item nas avaliações do instrumento.

Conclusão:

Este estudo adaptou culturalmente uma das duas versões do SETQ Smart para uso no Brasil e forneceu evidências preliminares de validade dessa versão por meio da validação de conteúdo.

Palavras-chave:
Educação Médica; Residência Médica; Qualidades do Preceptor; Avaliação

ABSTRACT

Introduction:

It is commonly recognized that the enhancement of students’ learning potential is directly related to preceptors’ qualities. In this sense, the assessment of teachers’ practice becomes an essential element in ensuring the quality in the training of new specialists. However, in the context of medical education in Brazil, there are currently few studies on the evaluation of preceptors and a shortage of instruments for this purpose. One of the currently available instruments is the System for Evaluation of Teaching Qualities (SETQ) Smart.

Objective:

To conduct a cross-cultural adaptation and content validity of SETQ for use in Brazil.

Methods:

This instrument comprises two versions and, in this study, the version for residents was adapted for preceptor assessment. The cultural adaptation followed five steps: two initial English to Brazilian Portuguese translations; two synthesis translations; two back-translations; an expert committee assessment of conceptual analysis, semantic, idiomatic and cultural equivalences; and a pre-test. In addition, a panel of expert judges conducted the content validation.

Results:

Forty resident physicians, with a median age of 30 (IQR = 6.25), participated in the pre-test. Eighty percent of the participants rated the components that make up the SETQ Smart as clear and culturally appropriate, except for the title statement. The expert panel of judges comprised ten residents, 70% female. The agreement rates ranged from 80 to 100% regarding clarity, cultural adequacy, item representativeness within their respective domains and each item permanence in the instrument assessments.

Conclusion:

This study culturally adapted one of the two versions of the SETQ Smart for use in Brazil and provided preliminary evidence sources of validity of the versions through content validation.

Keywords:
Medical Education; Medical Residency; Preceptor Qualities; Evaluation

INTRODUÇÃO

A residência médica é uma etapa bem estabelecida e fundamental rumo à especialização de médicos formados, utilizada por diferentes países para padronizar o desenvolvimento e aprofundar o conhecimento adquirido pelos médicos durante a graduação em Medicina^1),(2. No Brasil, apenas em 1981 estabeleceu-se a definição de residência médica, quando foi institucionalizada pela primeira vez pela Comissão Nacional de Residência Médica (CNRM) como um programa educacional em serviço de instituição médica que exige avaliação periódica³.

A partir da implementação de um programa de residência médica, é necessária uma avaliação contínua para garantir o monitoramento ativo, desenvolvimento e controle de qualidade. De acordo com as recomendações da CNRM, essas avaliações educacionais devem incluir não apenas a avaliação dos residentes, mas também a qualificação dos preceptores, supervisores e coordenadores dos médicos residentes⁴. Apesar da exigência formal de avaliações contínuas dos preceptores, esse papel carece de definições, diretrizes e padronização, bem como de ferramentas embasadas e provindas de evidências de validade, para possibilitar uma avaliação confiável do conjunto de habilidades desejáveis a serem desenvolvidas pelos grupos de preceptores médicos⁵.

O residente desempenha um papel central nos programas de residência médica, em que é fundamentalmente esperado que os preceptores atuem como facilitadores na oferta de um ambiente de aprendizado enriquecedor. Para tal, há a necessidade de desenvolvimento contínuo dos preceptores em termos de atualização de conhecimentos, habilidades e atitudes em sua área e na área da educação médica^6),(7.

Porém, há carência de diretrizes e ferramentas que viabilizem uma aferição confiável do leque de competências desejáveis a serem estimuladas nos grupos de médicos preceptores⁵.

A avaliação regular de preceptores e educandos constitui, portanto, um pré-requisito fundamental para garantir a qualidade do programa, além de contribuir para aprimorar o processo de seleção de preceptores/professores, com base em diversos requisitos, entre eles o perfil de formação⁸. A oportunidade de fornecer e receber feedbacks para aprimoramento é outro benefício importante a ser considerado na pactuação das rotas a serem percorridas⁹. Entretanto, apesar das evidências disponíveis, ainda hoje nosso país convive com a ausência de um sistema estruturado de avaliação, além da falta de padronização, regularidade e acompanhamento, e isso se reflete na variedade de avaliações institucionais que têm sido feitas, o que resulta em abordagens heterogêneas, dificulta o monitoramento do desempenho ao longo do tempo, prejudica a adaptação às necessidades de cada serviço e afeta o desenvolvimento dos preceptores^10)-(12.

Fluit et al.¹³, em revisão sistemática sobre instrumentos de avaliação de docentes clínicos no período de 1976 a 2010, concluíram que a maioria deles não oferecia uma abordagem satisfatória das variáveis cruciais a serem levadas em conta. Além disso, de um total de 32 instrumentos, aqueles mais frequentemente utilizados careciam de um quadro teórico claro e bem articulado, dificultando a transformação das práticas rotineiras^13)-(15.

Posteriormente, Van Der Meulen et al.¹⁶ conduziram uma busca sistemática da literatura com o propósito de localizar artigos sobre ferramentas baseadas em questionários para avaliar desempenho profissional dos médicos entre 1966 a 2016. Todavia, apenas 12 (23%) dos 53 artigos continham evidências apoiadas em todos os quatro componentes dos critérios de validade propostos por Kane: pontuação, generalização, extrapolação e implicações. Dentre eles, apenas dois buscaram mais evidências por meio de fator de análise confirmatória, destacando-se o instrumento System for Evaluation of Teaching Qualities (SETQ).

O SETQ é o instrumento de avaliação do ensino clínico mais amplamente utilizado na Holanda, tendo sido traduzido e validado para vários outros países^17)-(20. Sua construção foi fundamentada nos construtos teóricos relacionados à aprendizagem no local de trabalho e ensino, abrangendo o conjunto de competências adotadas pelo Canadian Medical Education Directions for Specialists (CanMEDS), órgão que define os parâmetros indispensáveis ao êxito da formação de médicos especialistas^17)-(19. Além disso, o SETQ vem sendo validado e aprimorado continuamente pela comunidade científica internacional ao longo dos últimos 12 anos e já dispõe de uma plataforma virtual, que facilita a avaliação e o feedback para o preceptor^17)-(19. Baseado inicialmente no Stanford Faculty DevelopmenDt Program (SFDP26)^20),(21, o SETQ²² transformou-se ao longo do tempo no SETQ Smart¹⁷, adquirindo um formato mais amplo e discriminativo.

Considerando a importância da avaliação dos preceptores e da oferta de feedback para aprimorar suas habilidades, com a evidência de validade do SETQ Smart e a ausência de um instrumento nacional composto de um sistema de autoavalição do preceptor em interface com a avaliação do preceptor pelo residente, este artigo foi escrito. Este estudo teve como objetivos adaptar culturalmente o SETQ Smart para residentes médicos no Brasil e avaliar a validade de conteúdo dessa versão traduzida do SETQ Smart para a língua portuguesa falada no Brasil.

MÉTODO

Desenho do estudo e preceitos éticos

Trata-se de um estudo metodológico e transversal, aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos institucional (CAAE nº 60372322.6.1001.0121).

Instrumento

O SETQ Smart¹⁷ é um sistema que utiliza dois questionários^19),(23: um para autoavaliação de médicos preceptores e outro para avaliação dos preceptores pelos residentes. Ele tem forte evidência de validade por meio de análises fatoriais exploratória e confirmatória. O instrumento é multidimensional e abrange as sete categorias para um bom ensino clinico, com o total de 30 itens e seis domínios, incluindo aspectos do modelo como profissional, respondidos em escala Likert de sete pontos (de discordo totalmente a concordo totalmente), e um item adicional para avaliar a performance geral em uma escala contínua de dez pontos¹⁷. Além disso, a versão destinada aos residentes possui duas questões abertas sobre os pontos fortes e as lacunas no desempenho dos preceptores avaliados.

Adaptação transcultural do SETQ Smart para médicos residentes

Etapas e participantes do estudo

A adaptação transcultural seguiu as recomendações internacionais^24)-(26. Iniciou-se o processo pela tradução SETQ Smart para o português falado no Brasil, de forma independente, por dois tradutores brasileiros fluentes na língua inglesa, um com domínio sobre o tema e outro sem domínio, gerando as traduções T1 e T2. Duas das autoras e os dois tradutores reuniram-se para comparar a versão original com as versões produzidas, resolvendo as divergências encontradas, e, em consenso, geraram uma tradução comum para o português que foi traduzida de volta para o inglês (backtranslation) de forma independente por dois tradutores nativos de países de língua inglesa e fluentes na língua portuguesa e sem acesso à versão original. Foram geradas então duas traduções em inglês do SETQ Smart (RT1 e RT2). A versão original e as traduções produzidas nas fases anteriores foram comparadas e avaliadas por um comitê de juízes especialistas, composto por três profissionais da área da saúde com experiência em pesquisa e três profissionais com expertise em pesquisas de adaptação transcultural, sendo um deles profissional licenciado em Letras Português-Inglês. Após sua avaliação, elaborou-se a versão pré-final do instrumento, então aplicada em um pré-teste, avaliada por médicos residentes.

Os participantes do pré-teste foram selecionados por conveniência. Consideraram-se elegíveis para participar dessa etapa médicos residentes brasileiros, de ambos os sexos e vinculados a qualquer especialidade médica. Para médicos residentes, exigiu-se que comprovassem envolvimento no programa pelo menos nos últimos seis meses.

Após a etapa do pré-teste, analisaram-se a validade de conteúdo e a forma de cada versão gerada por um painel de juízes, cuja seleção foi intencional e com iguais critérios de elegibilidade que a fase do pré-teste.

Para o pré-teste e o painel de juízes, selecionaram-se participantes do programa de residência médica de duas instituições públicas localizadas em Santa Catarina. Todos os participantes foram convidados via correio eletrônico e/ou telefone institucional.

Em todas as etapas, a autora do instrumento original foi contatada para dirimir dúvidas relativas a alguns termos usados.

Coleta de dados

As variáveis avaliadas pelos participantes no pré-teste foram clareza e adequação cultural dos componentes do SETQ Smart, respondidas em escala Likert de três pontos para clareza (“nada claro”, “parcialmente claro” e “totalmente claro”) e adequação cultural (“nada adequado para a cultura brasileira”, “parcialmente adequado para a cultura brasileira” e “totalmente adequado para a cultura brasileira”). Além disso, havia espaço abaixo de cada domínio para que os participantes fizessem suas sugestões ou comentários.

A partir dos resultados obtidos do pré-teste, deu-se sequência à avaliação da validade de conteúdo pelo painel de juízes especialistas. Os participantes forneceram resposta com sua concordância ou não com a formulação de cada componente quanto à clareza, adequação cultural, relevância de cada item incluído nos respectivos domínios e necessidade de seu reordenamento. Abaixo de cada componente avaliado, havia um espaço para que os participantes pudessem deixar sugestões para refinar o instrumento, caso necessário.

O meio de coleta de dados foi o formulário eletrônico Google Forms para o pré-teste e a avaliação da validade de conteúdo.

Estabeleceu-se como suficiente para esse tipo de avaliação a obtenção de 80% de respostas “totalmente claro” e “totalmente adequado para a cultura brasileira”.

Realizou-se a análise da validade de conteúdo pela porcentagem de concordância entre os juízes, obtida pela soma do total de concordantes dividido pelo total de participantes, e o resultado do valor total foi multiplicado por 100. Geralmente, o padrão mínimo aceitável é de 80% de concordância²⁷.

Todas as análises foram executadas por meio da linguagem R de programação versão 4.0.1²⁸.

RESULTADOS

Adaptação transcultural do SETQ Smart

Levando em conta que alguns elementos do SETQ Smart referiam-se também a residentes vinculados ao campo da anestesiologia, com autorização da autora principal do instrumento, na formulação da versão pré-final, os itens 6 - Teach residents the full spectrum of perioperative care -, 23 - Adhere to professional practice standards in the field of anaesthesiology - e 26 -Teach residents organizational aspects of perioperative practice - foram reformulados para atender às necessidades do conjunto das especialidades médicas - clínicas e cirúrgicas.

Participaram do pré-teste do SETQ para residentes 40 médicos residentes, nove do sexo masculino (22,5%) e 31 feminino (77,5%), com mediana de idade de 30 anos (IIQ = 6,25).

Os médicos residentes atuavam nas seguintes especialidades: anestesiologia (dois), cirurgia geral (dois), clínica médica (um), endocrinologia (um), ginecologia e obstetrícia (dois), hematologia e hemoterapia pediátrica (dois), medicina da família e comunidade (14), nefrologia pediátrica (um), pediatria (13), psiquiatria (um) e terapia intensiva (um). Desses, 65% pertenciam à instituição Hospital Universitário da Universidade Federal de Santa Catarina (HU/UFSC), e 35%, à Escola de Saúde Pública (ESP) de Florianópolis.

O Gráfico 1 mostra a avaliação dos participantes da etapa do pré-teste sobre a clareza e adequação cultural de todos os domínios que compõem o SETQ Smart. Pode ser observado que, com exceção do enunciado, todos os demais foram considerados claros e adequados por mais de 80% deles.

Gráfico 1
SETQ Smart para médicos residentes: resultado da etapa do pré-teste

Validade de conteúdo do SETQ Smart

O painel de juízes para a versão médicos residentes teve a participação de dez indivíduos, sete (70%) do sexo feminino e três do sexo masculino (30%), com mediana de idade de 29,0 anos (IIQ = 2,5). Em relação ao ano de residência, 30% encontravam-se no primeiro; 60%, no segundo; e 10%, no terceiro. Sobre a especialidade médica, 30% atuavam em medicina de família e comunidade; 10%, em anestesiologia; 10%, em cirurgia geral; 10%, em clínica médica; 10% dermatologia; 10%, em ginecologia e obstetrícia; 10%, em pediatria; e 10%, em psiquiatria. Desses, 70% pertenciam à instituição HU/UFSC; e 30 %, à ESP.

A porcentagem de concordância alcançou valores adequados conforme preconiza a literatura²⁹, tornando desnecessária uma reavaliação do instrumento pelo conjunto. Com exceção de cinco itens - 6, 12, 17, 24, 26 -, todos os demais elementos avaliados alcançaram 100% de concordância entre os juízes especialistas.

No tocante à dimensão “Adequação cultural e clareza para o público-alvo”, verificou-se que os itens de números 6, 17 e 24 alcançaram uma concordância de 90%. Em relação à afirmativa “A disposição e a ortografia deste elemento estão adequadamente estruturadas”, o item 12 obteve uma concordância de 80%, sendo sujeito a uma adaptação e subsequente reapreciação pelo painel de especialistas, resultando em uma concordância de 100% após os ajustes de forma e conteúdo. No que diz respeito à proposição “Este componente deve ser mantido no escopo do instrumento”, o item 26 obteve uma concordância de 90%.

O Quadro 1 ilustra as modificações efetuadas nos componentes que integram o SETQ Smart, com base nos resultados advindos das fases de pré-teste e validação de conteúdo. Conforme evidenciado, os itens submetidos à reformulação compreenderam os de números 6, 9, 17, 19, 20 e 24.

Quadro 1
Reformulação dos elementos que compõem o SETQ Smart com base nos resultados obtidos nas etapas de pré-teste e validade de conteúdo

Elementos reformulados	Versão pré-final - médico residente	Versão final - médico residente
Enunciado	Durante minha residência, esse médico(a)/preceptor (a) geralmente [...].	Por favor, avalie o desempenho do preceptor do(a) preceptor(a)/médico(a) que o(a) supervisiona, assinalando com um “x” o quadrado que condiz com seu grau de concordância com as afirmativas a seguir, em uma escala de […].
No enunciado de cada domínio, foram acrescentadas as expressões “quanto à/ao” e “ele/a”	Ambiente de aprendizagem	Quanto ao ambiente de aprendizagem ele/ela [...].
Item 1	Estimula os residentes a apresentarem problemas.	Estimula os residentes a falarem sobre problemas.
Item 6	Ensina todos os aspectos da atenção médica, em seus diversos contextos, aos residentes.	Ensina todos os aspectos da atividade/cuidado médica, relativos à especialidade, aos residentes.
Item 9	É facilmente acessível durante o sobreaviso.	É facilmente acessível durante o sobreaviso e em supervisão a distância.
Item 17	Avalia a aplicação do conhecimento dos residentes na prática diária.	Avalia com regularidade a aplicação do conhecimento dos residentes para cada tipo de paciente.
Item 19	Fornece feedback positivo aos residentes.	Realça comportamentos desejáveis/adequados já alcançados.
Item 20	Fornece feedback corretivo aos residentes.	Aponta comportamentos profissionais ainda não alcançados e os indesejáveis que precisam ser modificados.
Item 24	Demonstra compaixão e integridade em suas relações com pacientes e familiares.	Demonstra empatia e integridade em suas relações com pacientes e familiares e age com compaixão para aliviar o sofrimento do paciente.
Modelo como profissional	O modelo que os médicos(as)/preceptores(as) representam abrange diferentes componentes que podem ser expressos em 3 tipologias de modelos. Por favor, avalie os seguintes tipos de modelo caso você considere que esse(a) médico(a)/preceptor(a) é um modelo para você. Durante minha residência, esse(a) preceptor(a) geralmente [...].	O papel do(a) preceptor(a)/professor(a) é exemplo em diferentes aspectos, que podem ser expressos em um modelo como professor, médico e pessoa. Por favor, indique seu grau de concordância com o desempenho do(a) preceptor(a) em cada uma dessas funções.

• SETQ Smart = System for Evaluation of Teaching Qualities14.
• Fonte: Elaborado pelas autoras.

O tópico relativo ao enunciado e à escala de respostas alcançou o menor nível de clareza na avaliação. Consideraram esse tópico parcialmente claro 37,5% dos residentes, colocando em destaque a falta de conexão da introdução com os itens a serem avaliados posteriormente e indicando a necessidade de um texto introdutório mais preciso em relação ao instrumento. Um enunciado alternativo foi formulado, porém, após consultarmos a conceptora do instrumento, manteve-se a escala Likert de sete pontos, e não apenas de cinco, como sugerido por alguns participantes. Dispondo de uma amostra limitada se comparada com os estudos conduzidos, com base no instrumento SETQ validado internacionalmente, após a revisão da literatura pertinente³⁰, pareceu-nos mais adequado manter uma escala com maior pontuação ajustada ao protocolo do SETQ Smart.

No enunciado de cada domínio, também foram acrescentadas as expressões “quanto à/ao” e “ele/a”. Por exemplo, o domínio avaliação passou a ser redigido da seguinte forma: “Quanto à avaliação, ele/a”. Apresentamos essa reformulação no Quadro 1.

Além disso, considerando as limitações impostas pelo contexto da pandemia e o apelo crescente à mobilização de tecnologias de ensino a distância, optamos por complementar o item 9 com “em supervisão a distância”.

No que tange aos itens 19 e 20, tornou-se imperativo apresentar exemplos a fim de otimizar a compreensão dos conceitos de “feedback positivo” e “feedback corretivo” no contexto de processos de avaliação de desempenho. A terminologia “feedback corretivo” foi identificada como carecedora de clareza, abrindo possibilidade para outras interpretações. A necessidade de fornecer definições mais precisas para “feedback positivo” e “feedback corretivo” surgiu como uma preocupação premente, sendo aprofundada considerando as sugestões dos residentes em busca de elucidações adicionais. Essa ampliação das discussões ocorreu no contexto do domínio “feedback aos residentes”. Uma alternativa viável foi construáda a partir dessas considerações e está apresentada no Quadro 1.

No nosso estudo também optamos por avaliar os dados referentes à identificação e aos dados profissionais do respondente do questionário, e, diante das considerações expostas, adicionamos no item de identificação do sexo (feminino e masculino) a consideração do gênero, abrindo a possibilidade de inclusão e abrangendo outras formas de interpretação desse conceito.

Uma preferência emergiu como uma alternativa à formulação do item 24, para troca do termo compaixão por empatia, o que demandou a realização de uma consulta à autora da versão original. Entendendo a amplitude desses conceitos, o item 24 foi acrescido de mais clareza e exemplificação, passando a ser redigido da seguinte forma: “Demonstra empatia e integridade em suas relações com pacientes e familiares e age com compaixão para aliviar o sofrimento do paciente”, cuja reformulação tambem está apresentada no Quadro 1.

No que diz respeito ao item 17 no âmbito do domínio da avaliação, devido à sua semelhança com o item 15 dentro do mesmo domínio, conforme relatado pelos participantes do pré-teste, e considerando sua conexão com o estudo realizado acerca da versão de autoavaliação do preceptor, decidiu-se por ajustá-lo de acordo com a versão correspondente à autoavaliação do preceptor. Essa decisão foi influenciada pela observação de que todos os outros itens das diferentes versões da ferramenta SETQ são avaliados a partir de duas perspectivas distintas (preceptor e residente), formando uma relação de espelhamento entre os questionários. Essa abordagem de paralelismo entre os itens enriquece as possibilidades de compreensão, uma vez que um mesmo item é avaliado por dois grupos distintos de avaliadores nas diferentes versões apresentadas.

Além dessas modificações, as demais restringiam-se a problemas de ordem estrutural e gramatical, como as vistas no item 1 e no modelo como profissional, elencadas no Quadro 1, dada a nossa intenção de aprimorar a versão brasileira e, ao mesmo tempo, preservar ao máximo a originalidade do instrumento como um todo.

Assim, a versão final do SETQ Smart de avaliações dos preceptores pelos residentes foi traduzida para o inglês e enviada para apreciação da autora principal do instrumento, que a aprovou. Essa versão final do questionário para o médico residente está disponível em: https://github.com/NaaraiCamboim/Questionario_residente/blob/main/Questionario_Residente.pdf.

DISCUSSÃO

Este estudo produziu uma versão do SETQ Smart para os médicos residentes avaliarem seus preceptores, com achados semelhantes à versão para a autoavaliação do médico preceptor para uso no Brasil³¹.Tanto no pré-teste quanto no painel de juízes especialistas, constatou-se que todos os itens do instrumento foram considerados claros e adequados culturalmente para a cultura brasileira, bem como relevantes para o construto e representativos para seus respectivos domínios.

Quanto à adaptação de três itens que eram relativos ao campo de anestesiologia, foi baseada levando em consideração estudos com a versão original do SETQ, a exemplo dois estudos multicêntricos com mais de 1.500 participantes médicos residentes e preceptores em mais de 29 programas de residência de diferentes especialidades - clínicas e cirúrgicas^32),(33.

Encontramos divergências sobre o conceito de compaixão e empatia, indo ao encontro das controvérsias a respeito do seu significado na literatura³⁴. Apesar das considerações acerca do uso dessa terminologia, houve o entendimento da importância da avaliação, utilizando esse conceito, dentro das competências do preceptor. Dessa forma, essa temática foi mais minuciosamente abordada e discutida pelos médicos preceptores no estudo que adaptou a versão da autoavaliação do SETQ Smart para médicos preceptores³¹. Embora distintos, ambos os conceitos descrevem dimensões importantes das interações humanas e têm relevância particular no contexto da educação médica.

A “empatia” refere-se à capacidade de uma pessoa se colocar no lugar de outra, enquanto a “compaixão” envolve a manifestação de cuidado, e, embora esses termos estejam relacionados, eles têm nuances distintas, porém fundamentais para a prática médica ética e eficaz, contribuindo para uma abordagem humanizada e centrada no paciente³⁵.

Quanto ao feedback, em nossa pesquisa encontramos diferentes percepções e considerações relacionadas a esse domínio. Essa discrepância tem sido registrada com frequência na literatura, uma vez que as denominações e funções do feedback variam e podem ter diferentes modos de aplicação na prática diária^36),(37.

Cabe reconhecer também a ausência de comparações consistentes com outros estudos brasileiros de avaliação de preceptores por médicos residentes na literatura disponível. Essa lacuna se justifica se levarmos em conta que, mesmo considerando os poucos questionários adaptados e validados a determinadas áreas de especialização médica brasileira^{10)-(12),(38),(39}, nenhum deles dispõe da interface do sistema de avaliação dada a integração da avaliação do residentes com a autoavaliação do preceptor, e, além disso, alguns desses estudos realizaram a adaptação de suas ferramentas sob a perspectiva de estudantes da graduação em Medicina e não por médicos residentes, no contexto de processos de avaliação de desempenho nos serviços da pós-graduação médica. Tais estudos permanecem aquém do nível de abrangência do SETQ, pois, como já foi destacado, instrumentos com esse perfil ainda não foram criados e/ou validados no Brasil.

Nossos achados vão também ao encontro das pesquisas de Al Ansari et al.⁴⁰ quanto à aplicação do SETQ aos mais diversos ambientes clínicos. No entanto, além do quesito de adaptabilidade em termos transculturais, esses pesquisadores analisaram também a confiabilidade do instrumento.

Uma limitação adicional deste estudo está relacionada à sua amostra, a qual se restringe a uma área geográfica no Sul do Brasil e não abrange todas as especialidades do campo médico. Essa delimitação geográfica implica, por sua vez, uma representatividade limitada das diferenças culturais e possivelmente de abordagens pedagógicas, as quais podem variar significativamente em distintas regiões do país. Reconhecemos, portanto, que os resultados obtidos nesta pesquisa possuem uma generalização restrita, devido à natureza específica da amostra. Em pesquisas futuras, consideramos a expansão do escopo geográfico, abrangendo a totalidade do território nacional e incluindo diversas especialidades médicas, a fim de proporcionar uma análise mais abrangente e elucidativa das variáveis em estudo.

Diante dessas constatações, sugerimos que as instituições médicas delineiem uma trajetória para a eficaz implementação de programas contínuos de desenvolvimento profissional destinados aos preceptores em instituições de ensino médico. Tais programas devem enfatizar a atualização clínica, as técnicas pedagógicas avançadas e o treinamento em comunicação eficaz, alinhando-se com as responsabilidades atribuídas aos grupos de residentes. Para esse objetivo, é relevante que as instituições de ensino adotem ferramentas previamente validadas para a avaliação e construção de um sistema de desenvolvimento do preceptor. Alternativamente, que validem os instrumentos já em uso, uma vez que a avaliação do preceptor faz parte do monitoramento ativo, desenvolvimento e controle de qualidade, conforme preconizado pelas recomendações da CNRM.

Além disso, os resultados obtidos neste estudo promovem a propagação de uma cultura institucional que valoriza a educação médica e a implementação de feedback construtivo, contribuindo, assim, para a melhoria do processo de ensino. Nesse sentido, propõe-se a aplicação dessa abordagem como fundamento para a introdução de um sistema de avaliações regulares de desempenho do preceptor, visando fornecer feedback contínuo e identificar áreas específicas de aprimoramento. A incorporação dessas práticas, de maneira sistemática, demonstra fortalecer a formação dos residentes e, em última análise, elevar os padrões de prestação de cuidados médicos.

Pesquisas adicionais com o SETQ Smart para propiciar análises adicionais de evidências de sua validade estão sendo conduzidas em um estudo multicêntrico no Brasil para disponibilizar uma ferramenta com ampla amostragem, a fim de alcançar múltiplas fontes de evidências de validade, para uso em diferentes campos de ensino na pós-graduação médica no país.

CONSIDERAÇÕES FINAIS

Este estudo produziu uma versão do SETQ Smart para uso no Brasil visando avaliar o desempenho de médicos preceptores do ponto de vista de médicos residentes. Tanto na fase do pré-teste quanto no contexto do painel de juízes especialistas, todos os itens no instrumento foram considerados claros, válidos e adequados à especificidade da cultura brasileira, apresentando assim fontes de evidências preliminares de validade dessa versão.

AGRADECIMENTOS

Ao estimado professor Paulo Henrique Freire Viera que dedicou sua vida à educação, cujos ensinamentos deixaram marcas de sabedoria em minha jornada. Agradeço as leituras e discussões na caminhada desse trabalho, cuja memória inspiradora ressoa neste artigo. Agradeço ainda a busca pela compreensão abrangente da essência humana ampliada pela autorreflexão e avaliação constante, de modo a criticar os cárceres do sistema e da alma, tentar abranger a ecoformação transdisciplinar e conectar tudo isso com abordagens colaborativas e cooperativas. Além de reconhecer o valor dos recursos intelectuais e de saúde na promoção de uma sociedade mais justa e sustentável, com o propósito de construir verdadeiros commons.

REFERÊNCIAS

• ¹
  Weisz G. Divide and conquer: a comparative history of medical specialization. Cary, NC: Oxford University Press; 2005.
• ²
  Wright JR, Schachar, NS. Necessity is the mother of invention: William Stewart Halsted’s addiction and its influence on the development of residency training in North America. Can J Surg. 2020;63(1):13-9. doi: https://doi.org/10.1503/cjs.003319.
  » https://doi.org/https://doi.org/10.1503/cjs.003319
• ³
  Brasil. Lei nº 6.932/81, de 7 de julho de 1981. Dispõe sobre as atividades do médico residente e dá outras providências. Diário Oficial da União; 9 jul 1981. Seção 1, p. 12789-90.
• ⁴
  Brasil. Decreto nº 7.562, de 15 de setembro de 2011. Dispõe sobre a Comissão Nacional de Residência Médica - CNRM e o exercício das funções de regulação, supervisão e avaliação de instituições que ofertam residência médica e de programas de residência médica. Diário Oficial da União ; 16 set 2011. p. 3.
• ⁵
  Sam AH, Fung CY, Barth J, Raupach T. A weighted evaluation study of clinical teacher performance at five hospitals in the UK. Adv Med Educ Pract. 2021;12:957-63. doi: https://doi.org/10.2147/AMEP.S322105.
  » https://doi.org/https://doi.org/10.2147/AMEP.S322105
• ⁶
  Johnson CE, Keating JL, Leech M, et al. Development of the feedback quality instrument: a guide for health professional educators in fostering learner-centred discussions. BMC Med Educ. 2021;21(382):1-17. doi: https://doi.org/10.1186/s12909-021-02722-8.
  » https://doi.org/https://doi.org/10.1186/s12909-021-02722-8
• ⁷
  Ferreira IG, Cazella SC, Costa MR da. Medical preceptorship: perceptions and perspectives of new family doctors in Brazil. Rev Bras Educ Med. 2023;47(2):1-11. doi: https://doi.org/10.1590/1981-5271v47.2-20220299.ING.
  » https://doi.org/https://doi.org/10.1590/1981-5271v47.2-20220299.ING
• ⁸
  Heath JK, Dine CJ, Andolsek KM, Burke AE. Teaching the teachers with milestones: using the ACGME Milestones Model for Professional Development. J Gr Med Educ. 13:124-6. doi: https://doi.org/10.4300/JGME-D-20-00891.1.
  » https://doi.org/https://doi.org/10.4300/JGME-D-20-00891.1
• ⁹
  Johnson CE, Keating JL, Boud DJ, et al. Identifying educator behaviours for high quality verbal feedback in health professions education: literature review and expert refinement. BMC Med Educ . 2016;16(96):1-12. doi: https://doi.org/10.1186/s12909-016-0613-5.
  » https://doi.org/https://doi.org/10.1186/s12909-016-0613-5
• ¹⁰
  Lawall PZM. A formação do preceptor médico em medicina de família e comunidade: uma proposta de diálogo com a andragogia [dissertação]. Brasília: Fundação Oswaldo Cruz; 2019.
• ¹¹
  Costa LB, Castro SS, Dourado DXC, Praxedes BS, Mota TC, Tavares TMRL. Adaptação transcultural do questionário EFFECT para português brasileiro. Rev Bras Educ Med . 2021;45(3):1-11. doi: https://doi.org/10.1590/1981-5271v45.3-20200527.
  » https://doi.org/https://doi.org/10.1590/1981-5271v45.3-20200527
• ¹²
  de Oliveira Filho GR , Mago AJD, Garcia JHS, Goldschmidt R. An instrument designed for faculty supervision evaluation by anesthesia residents and its psychometric properties. Anesth Analg. 2008;107(4):1316-22. doi: https://doi.org/10.1213/ane.0b013e318182fbdd.
  » https://doi.org/https://doi.org/10.1213/ane.0b013e318182fbdd
• ¹³
  Fluit CRMG, Bolhuis S, Grol R, Laan R, Wensing M. Assessing the quality of clinical teachers identification of studies: a systematic review of content and quality of questionnaires for assessing clinical teachers. J Gen Intern Med. 2010;25(12):1337-45. doi: https://doi.org/10.1007/s11606-010-1458-y.
  » https://doi.org/https://doi.org/10.1007/s11606-010-1458-y
• ¹⁴
  Tigelaar DE, Dolmans DH, Wolfhagen IH, et al. The development and validation of a framework for teaching competencies in higher education. High Educ. 2004;48(2):253-68. doi: https://doi.org/10.1023/B:HIGH.0000034318.74275.e4.
  » https://doi.org/https://doi.org/10.1023/B:HIGH.0000034318.74275.e4
• ¹⁵
  Holmboe ES, Ward DS, Reznick RK, et al. Faculty development in assessment : the missing link in competency-based medical education. Acad Med. 2011;86(4):460-7. doi: https://doi.org/10.1097/ACM.0b013e31820cb2a7.
  » https://doi.org/https://doi.org/10.1097/ACM.0b013e31820cb2a7
• ¹⁶
  Van Der Meulen MW, Smirnova A, Heeneman S, Oude Egbrink MGA, Van Der Vleuten CPM, Lombarts KMJMH. Exploring validity evidence associated with Questionnaire-Based Tools for Assessing the Professional Performance of Physicians: a systematic review. Acad Med . 2019;94(9):1384-97. doi: https://doi.org/10.1097/ACM.0000000000002767.
  » https://doi.org/https://doi.org/10.1097/ACM.0000000000002767
• ¹⁷
  Lombarts KMJMH, Ferguson A, Hollmann MW, Malling B, Arah OA. Redesign of the System for Evaluation of Teaching Qualities in anesthesiology residency training. Anesthesiology. 2016;125(5):1056-65. doi: https://doi.org/10.1097/ALN.0000000000001341.
  » https://doi.org/https://doi.org/10.1097/ALN.0000000000001341
• ¹⁸
  CanMEDS 2000: Extract from the CanMEDS 2000 Project Societal Needs Working Group Report. Med Teach. 2000;22(6):549-4. doi: https://doi.org/10.1080/01421590050175505.
  » https://doi.org/https://doi.org/10.1080/01421590050175505
• ¹⁹
  Lombarts KMJMH, Bucx MJL, Arah OA. Development of a system for the evaluation of the teaching qualities of anesthesiology faculty. Anesthesiology . 2009;111(4):709-16. doi: https://doi.org/10.1097/ALN.0b013e3181b76516.
  » https://doi.org/https://doi.org/10.1097/ALN.0b013e3181b76516
• ²⁰
  Litzelman DK, Stratos GA, Marriott DJ, Skeff KM. Factorial validation of a widely disseminated educational framework for evaluating clinical teachers. Acad Med . 1998;73(6):688-95. doi: https://doi.org/10.1097/00001888-199806000-00016.
  » https://doi.org/https://doi.org/10.1097/00001888-199806000-00016
• ²¹
  Litzelman DK, Westmoreland GR, Skeff KM, Stratos GA. Factorial validation of an educational framework using residents’ evaluations of clinician-educators. Acad Med . 1999;74(10):S25-S27. doi: https://doi.org/10.1097/00001888-199910000-00030.
  » https://doi.org/https://doi.org/10.1097/00001888-199910000-00030
• ²²
  Lombarts MJ, Bucx MJ, Rupp I, Keijzers PJ, Kokke SI, Schlack W. An instrument for the assessment of the training qualities of clinician-educators. Ned Tijdschr Geneeskd. 2007;151(36):2004-8.
• ²³
  Van der Leeuw R, Lombarts K, Heineman MJ, Arah O. Systematic evaluation of the teaching qualities of obstetrics and gynecology faculty: reliability and validity of the SETQ tools. PLoS One. 2011;6(5):1-7. doi: https://doi.org/10.1371/journal.pone.0019142.
  » https://doi.org/https://doi.org/10.1371/journal.pone.0019142
• ²⁴
  Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976). 2000;25(24):3186-91. doi: https://doi.org/10.1097/00007632-200012150-00014.
  » https://doi.org/https://doi.org/10.1097/00007632-200012150-00014
• ²⁵
  Anunciação L. Conceitos e análises estatísticas com R e JASP. São Paulo: Nila Press; 2021.
• ²⁶
  Terwee CB, Prinsen CAC, Chiarotto A, Westerman MJ, Patrick DL, Alonso J, et al. COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res. 2018;27(5):1159-70. doi: https://doi.org/10.1007/s11136-018-1829-0.
  » https://doi.org/https://doi.org/10.1007/s11136-018-1829-0
• ²⁷
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saude Colet. 2011;16(7):3061-8. doi: https://doi.org/10.1590/S1413-81232011000800006.
  » https://doi.org/https://doi.org/10.1590/S1413-81232011000800006
• ²⁸
  R Core Team. A language and environment for statistical computing. Vienna: R Foundation for Statistical Computing; 2020.
• ²⁹
  Hyrkäs K, Appelqvist-Schmidlechner K, Oksa L. Validating an instrument for clinical supervision using an expert panel. Int J Nurs Stud. 2003;40(6):619-25. doi: https://doi.org/10.1016/s0020-7489(03)00036-1.
  » https://doi.org/https://doi.org/10.1016/s0020-7489(03)00036-1
• ³⁰
  Debets MPM, Scheepers RA, Boerebach BCM, Arah OA, Lombarts KMJMH. Variability of residents’ ratings of faculty’s teaching performance measured by five- and seven-point response scales. BMC Med. Educ. 2020;20(1):325. doi: https://doi.org/10.1186/s12909-020-02244-9.
  » https://doi.org/https://doi.org/10.1186/s12909-020-02244-9
• ³¹
  Bezerra CN. Adaptação transcultural e validade de conteúdo do System for Evaluation of Teaching Qualities (SETQ) Smart para o uso no Brasil [dissertação]. Florianópolis: Universidade Federal de Santa Catarina; 2021.
• ³²
  Arah OA, Heineman MJ, Lombarts KMJMH. Factors influencing residents’ evaluations of clinical faculty member teaching qualities and role model status. Med Educ. 2012;46(4):381-9. doi: https://doi.org/10.1111/j.1365-2923.2011.04176.x.
  » https://doi.org/https://doi.org/10.1111/j.1365-2923.2011.04176.x
• ³³
  Boerebach BCM, Arah OA, Busch ORC, Lombarts KMJMH. Reliable and valid tools for measuring surgeons’ teaching performance: residents’ vs. self evaluation. J Surg Educ. 2012;69(4):511-20. doi: https://doi.org/10.1016/j.jsurg.2012.04.003.
  » https://doi.org/https://doi.org/10.1016/j.jsurg.2012.04.003
• ³⁴
  Perez-Bret E, Altisent R, Rocafort J. Definition of compassion in healthcare: a systematic literature review. Int J Palliat Nurs. 2016;22(12):599-606. doi: https://doi.org/10.12968/ijpn.2016.22.12.599.
  » https://doi.org/https://doi.org/10.12968/ijpn.2016.22.12.599
• ³⁵
  Sinclair S, Norris JM, McConnell SJ, Chochinov HM, Hack TF, Hagen NA, et al. Compassion: a scoping review of the healthcare literature. BMC Palliat Care. 2016;15(6):1-16. doi: https://doi.org/10.1186/s12904-016-0080-0.
  » https://doi.org/https://doi.org/10.1186/s12904-016-0080-0
• ³⁶
  Jamtvedt G, Young JM, Kristoffersen DT, Thomson O’Brien MA, Oxman AD. Audit and feedback: effects on professional practice and health care outcomes. Cochrane Database Syst Rev. 2003;(3). doi: https://doi.org/10.1002/14651858.CD000259.
  » https://doi.org/https://doi.org/10.1002/14651858.CD000259
• ³⁷
  Paterson C, Paterson N, Jackson W, Work F. What are students’ needs and preferences for academic feedback in higher education? A systematic review. Nurse Educ Today. 2020 Fev;85:104236. doi: https://doi.org/10.1016/j.nedt.2019.104236.
  » https://doi.org/https://doi.org/10.1016/j.nedt.2019.104236
• ³⁸
  Miranda PR, Romano VF. Uma proposta de instrumento de avaliação pedagógica da preceptoria para residências em Medicina de Família e Comunidade. Rev Bras Med Fam Comunidade. 2021;16(43):1-9. doi: https://doi.org/10.5712/rbmfc16(43)2680.
  » https://doi.org/https://doi.org/10.5712/rbmfc16(43)2680
• ³⁹
  Gomes OV, Morais RJL, Schwigel PA, Vasconcelos PT, Lima TRM, Andreto LM, et al. Validade e confiabilidade do Maastricht Clinical Teaching Questionnaire para língua portuguesa. Rev Bras Educ Med . 2019;43(2):15-24. doi: https://doi.org/10.1590/1981-52712015v43n2RB20180061.
  » https://doi.org/https://doi.org/10.1590/1981-52712015v43n2RB20180061
• ⁴⁰
  Al Ansari A, Strachan K, Hashim S, Otoom S. Analysis of psychometric properties of the modified SETQ tool in undergraduate medical education. BMC Med Educ. 2017;17(56):1-9. doi: https://doi.org/10.1186/s12909-017-0893-4
  » https://doi.org/10.1186/s12909-017-0893-4

• 3
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz. Editor associado: Carlos Collares

Datas de Publicação

• Publicação nesta coleção
  08 Jul 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  13 Set 2023
• Aceito
  06 Maio 2024