Adaptação transcultural do questionário EFFECT para português brasileiro

Resumo:

Introdução:

O ensino clínico é baseado em ambiente de trabalho real, em cenários de prática profissional, como serviços e unidades de saúde, sob a supervisão do preceptor. Proporcionar aos docentes de graduação médica uma avaliação sobre suas habilidades de ensino é uma ferramenta poderosa para melhorar a aprendizagem clínica dos estudantes em formação. Nesse contexto, o questionário Evaluation and Feedback for Effective Clinical Teaching (EFFECT) foi desenvolvido por pesquisadores holandeses em 2012 para avaliação docente, sendo validado com base na literatura sobre o ensino médico em local de trabalho. Esse instrumento incorpora as competências do currículo baseado em competências canadense.

Objetivo:

Este estudo teve como objetivos traduzir, adaptar transculturalmente para português do Brasil e validar o questionário EFFECT para avaliação docente por estudantes de Medicina.

Método:

A adaptação transcultural empregou as seguintes fases: tradução inicial da versão em inglês; síntese de versões traduzidas; tradução reversa; criação de versão consensual em português do Brasil, com adaptação, revisão e análise de validade de conteúdo por comitê de especialistas; pré-teste com entrevista retrospectiva de esclarecimento e análise de confiabilidade por análise fatorial e teste de consistência interna (coeficiente alfa de Cronbach).

Resultado:

Nas etapas de tradução e tradução reversa, as discordâncias relacionaram-se ao uso de sinônimos, e nenhum dos itens foi modificado em relação ao seu entendimento, e sim na adequação para a realidade brasileira. A avaliação do comitê de especialistas demonstrou que as versões mantinham a equivalência semântica e idiomática do conteúdo. Participaram do pré-teste 89 alunos. A consistência interna do EFFECT em português do Brasil mostrou-se excelente para todos os domínios, com coeficiente alfa de Cronbach variando de 0,82 a 0,94.

Conclusão:

A versão traduzida e adaptada do questionário EFFECT em português do Brasil possui equivalência cultural com o instrumento original e evidência de alta validade e confiabilidade, podendo constituir-se em instrumento nacional de avaliação da eficiência do ensino clínico de docente de Medicina.

Palavras-chave:
Avaliação Educacional; Ensino; Medicina; Tradução

Abstract:

Introduction:

Clinical teaching is based on a real work environment, in professional practice settings, such as health services and units, under the supervision of the preceptor. Providing medical teachers with an assessment of their teaching skills is a powerful tool for improving clinical learning for students in training. In this context, the EFFECT (Evaluation and Feedback for Effective Clinical Teaching) questionnaire was developed by Dutch researchers in 2012 for teacher evaluation, being validated based on the literature about medical teaching in the workplace and incorporates the skills of the Canadian competency-based medical curriculum.

Objective:

To translate and cross-culturally adapt into Brazilian Portuguese and to validate the EFFECT questionnaire for teacher evaluation by Medical students.

Method:

Cross-cultural adaptation with the following steps: initial translation of the English version, synthesis of translated versions, back-translation, creation of a consensual version in Brazilian Portuguese, with adaptation, review, and analysis of content validity by an expert committee, pre-test with retrospective clarification interview, and reliability analysis by factorial analysis and internal consistency test (Cronbach’s alpha coefficient).

Result:

In the translation and back-translation stages, the disagreements were related to the use of synonyms and none of the items were modified in terms of their understanding, but in terms of adaptation into the Brazilian context. The evaluation of the expert committee showed the versions maintained the semantic and idiomatic equivalences of the content. Eighty-nine students participated in the pre-test. The internal consistency of the EFFECT questionnaire in Brazilian Portuguese was excellent for all domains, with Cronbach’s alpha coefficient ranging from 0.82 to 0.94.

Conclusion:

The translated and adapted version of the EFFECT questionnaire into Brazilian Portuguese is equivalent to the original instrument and has evidence of high validity and reliability, being able to constitute a national tool to evaluate the efficiency of clinical medicine teaching.

Keywords:
Educational Assessment; Teaching; Medicine; Translation

INTRODUÇÃO

As diversas mudanças ocorridas no campo da educação médica nas últimas décadas, em direção à construção de currículos baseados em competências (CBC) e à avaliação de resultados e performance^1),(2, têm levado a várias propostas de intervenção na formação de profissionais de saúde, gerando uma nova missão social das instituições de ensino superior (IES)³. Matrizes de competências para o ensino médico, tanto para graduação, como a proposta pela Association of American Medical Colleges (AAMC), quanto para residência médica, como o CanMEDS, do Royal College of Physicians and Surgeons canadense, e o Milestones Project, do Accreditation Council for Graduate Medical Education norte-americano, formam a base de treinamento para a maioria dos jovens aprendizes médicos no mundo ocidental e são exemplos para escolas médicas em todo o mundo^4)-(8.

No Brasil, as Diretrizes Curriculares Nacionais (DCN) propõem a centralização do ensino da formação médica na atenção primária à saúde (APS)^9),(10. Desse modo, há um crescente interesse pela busca de maneiras inovadoras de ensino que envolvam uma formação ética, crítica, reflexiva e transformadora¹⁰ e que atraiam os estudantes para APS e saúde coletiva^8),(11. Preconiza-se a criação de currículos integrados que apresentem a integração precoce dos estudantes desde os primeiros anos da graduação com profissionais e usuários dos serviços de saúde, em práticas clínicas de forma longitudinal^12)-(14.

Paralelamente ao desenvolvimento dos conceitos relacionados ao ensino, ao longo dos anos no Brasil, sistemas nacionais de avaliação institucional do ensino superior foram criados e aprimorados, incluindo processos de acreditação¹⁵. Usualmente, a avaliação engloba aspectos relacionados à concordância com as DCN, entre outros: o ensino, a pesquisa, a extensão, a responsabilidade social, as instalações, o desempenho dos alunos e o corpo docente¹⁶.

A integração ensino-serviço indicada pelas DCN pode encontrar obstáculos, como a presença de preceptores e professores com formação insuficiente para a docência¹⁴. O docente exerce papel de protagonista nas mudanças curriculares¹⁷, e, para sua efetivação, é necessário desenvolver instrumentos de avaliação do processo de ensino e de avaliação global dos programas e currículos¹⁸.

Em sua maioria, as pesquisas sobre a avaliação do ensino médico focam o uso de vários instrumentos, baseados na visão da competência formada por conhecimentos, habilidades e atitudes, de forma desintegrada^19)-(21. Quanto à avaliação docente, não há padronização, sendo a maioria das iniciativas baseada em avaliações feitas por estudantes, com critérios excessivamente amplos, subjetivos, muitas vezes respondidos com base na personalidade do professor e não em suas competências, sujeitos a fatores de confusão^22)-(25.

Um método avaliativo de docentes precisa apresentar algumas características para ser eficaz: ser contínuo e sistemático; incluir todos os atores envolvidos no processo de ensino-aprendizagem; gerar informações sobre o diagnóstico educacional; levar a reflexões que possam contribuir para melhorias do curso e aprimoramento docente. Há também a necessidade de assegurar o anonimato dos estudantes e garantir que os professores não estejam presentes durante a avaliação²⁶.

A maioria dos professores de Medicina é formada por um modelo hospitalocêntrico, no qual a maior parte de suas experiências deriva mais do seu conhecimento clínico do que de uma formação específica em docência. Assim, é fundamental o aperfeiçoamento do professor para o desenvolvimento da educação baseada em competências, visto que é inegável que o treinamento clínico isolado não fornece preparo adequado para o desenvolvimento de profissionais de saúde em professores¹⁷.

Compreendendo a importância da avaliação dos docentes, principalmente preceptores clínicos, e constatando a escassez de instrumentos e avaliação da prática e formação de competências médicas de maneira satisfatória, um grupo de pesquisadores holandeses desenvolveu um instrumento para avaliação docente por residentes chamado Evaluation and Feedback for Effective Clinical Teaching (questionário EFFECT), validado com base na literatura sobre ensino médico no local de trabalho e incorporando as competências do CanMEDS^27),(28.

Para o melhor desempenho estudantil e para a formação de novos médicos, percebe-se quão fundamentais são os processos contínuos de formação do corpo docente e de preceptores clínicos, e a maior aplicação das ferramentas que auxiliam esse processo. Portanto, é indubitável a relevância da tradução e adaptação para a realidade brasileira de um instrumento de avaliação capaz de avaliar de forma ampla todos os aspectos inerentes à prática docente, visando ao estímulo à avaliação contínua entre discentes, docentes e instituição de ensino, e à promoção da integração teórico-prática e ensino-sociedade.

Este artigo tem como objetivo apresentar o processo de tradução e adaptação transcultural do questionário EFFECT para português do Brasil, que inclui a testagem da sua validade e confiabilidade, a fim de que possa ser utilizado para a avaliação docente por estudantes em cursos de Medicina brasileiros.

MÉTODOS

Delineamento do estudo

Na tradução e adaptação transcultural, empregaram-se as seguintes fases^29)-(33: 1. tradução inicial da versão original; 2. síntese de versões traduzidas; 3. tradução reversa; 4. criação de versão consensual em português do Brasil, com adaptação e revisão por comitê de especialistas; 5. pré-teste inicial, com entrevista retrospectiva de esclarecimento; e 6. análise de confiabilidade. Este estudo foi realizado na Universidade de Fortaleza (Unifor), no Ceará, entre junho de 2019 e abril de 2020. O estudo recebeu aprovação do Comitê de Ética em Pesquisa da Unifor (Parecer n° 3.341.518, de 22 de maio de 2019).

Questionário EFFECT

O EFFECT objetiva fornecer aos preceptores clínicos e tutores uma avaliação sobre as qualidades deles como docentes na prática clínica²⁷. O questionário foi validado originalmente por seus autores com base na literatura sobre o ensino médico no local de trabalho e incorpora as competências do CanMEDS. Trata-se de um questionário autoaplicável com 58 questões, sendo 55 objetivas agrupadas em sete domínios (o(a) preceptor(a) como modelo; atribuição de tarefas; planejamento de atividades de treinamento; fornecendo feedback; habilidades de ensino; características gerais do(a) preceptor(a); e avaliação). As respostas para cada questão objetiva são graduadas em uma escala do tipo Likert de 6 pontos (em português: 1 = “crítico, impossível continuar assim”; 2 = “insatisfatório, muitas melhorias necessárias”; 3 = “médio, precisa melhorar alguns pontos”; 4 = “satisfatório, pode melhorar em detalhes”; 5 = “bom, continue assim”; 6 = “excelente, exemplo para os outros”; e NAE = “not-yet able to evaluate” ou “ainda não é capaz de avaliar”). A opção NAE pode ser escolhida se um item específico (ainda) não ocorreu durante o processo de ensino. As três últimas questões abertas servem de comentários complementares para o docente. É necessário um tempo de oito a dez minutos para completar o questionário. O questionário não gera uma nota final; em vez disso, cada docente avaliado pelo método recebe um relatório com as pontuações médias de cada item do questionário (mínimo 1 e máximo 6) baseado nos resultados dos respondentes, além das respostas abertas na íntegra. O EFFECT foi desenvolvido originalmente em holandês com médicos residentes²⁷ e traduzido pelos próprios autores originais para o inglês, versão esta não publicada. O instrumento já foi também validado para o lituano, em um estudo com residentes de várias especialidades médicas³⁴. Assim, como o EFFECT mostrou-se adequado quando utilizado no contexto do ensino clínico de diferentes residências médicas, assumiu-se neste trabalho que ele poderia ser testado no contexto ambulatorial de APS durante a graduação médica, não descaracterizando o processo de tradução e adaptação. Obteve a cessão da versão em inglês, e o uso neste estudo foi autorizado pelos criadores do instrumento.

Ao questionário foram acrescentados dois itens para caracterização dos participantes: idade e período do curso de Medicina.

Participantes

Constituíram a amostra desta pesquisa 89 estudantes do curso de Medicina da Unifor, com no mínimo 18 anos de idade, que concordaram em participar do estudo e tinham disponibilidade de tempo e acesso à internet. O recrutamento da amostra para participação na pesquisa foi realizado por chamamento público com divulgação ampla da pesquisa, de forma física por meio de cartazes na instituição de ensino e de forma virtual via aplicativo de comunicação próprio da universidade. O questionário foi enviado de forma virtual, com o Termo de Consentimento Livre e Esclarecido, para a obtenção das respostas on-line, utilizando a plataforma Google Forms® (https://www.google.com/forms/about/).

Procedimentos

• Primeira etapa: dois tradutores bilíngues juramentados, de maneira independente, realizaram, no período de junho a julho de 2019, a tradução inicial da versão em inglês para o português do Brasil. Somente um dos tradutores estava ciente dos conceitos que o questionário pretende medir, para fornecer uma tradução que mais se assemelha ao instrumento na versão em inglês. Houve uma terceira tradução por um dos autores do estudo, fluente em inglês. Assim foram geradas as versões traduzidas T1, T2 e T3.

• Segunda etapa: síntese pelos autores de uma versão traduzida, T12.

• Terceira etapa: dois tradutores bilíngues - um do Projeto de Extensão Letrare da Universidade Federal do Ceará - UFC (formado por jovens tradutores do curso de Letras) e uma estudante norte-americana de Medicina fluente em português do Brasil - traduziram a versão-síntese T12 reversamente do português do Brasil para inglês de forma independente, para garantir a precisão da tradução. Assim, originaram-se as versões reversamente traduzidas para inglês: BT1 e BT2. Os itens de BT1 e BT2 foram comparados com a versão em inglês, e depois se realizou a escolha da melhor versão de cada item para ajuste de T12. Esse é um processo de verificação de validade para garantir que a versão traduzida está refletindo o mesmo conteúdo do item que a versão em inglês. Essa etapa frequentemente amplia o texto pouco claro, destacando inconsistências grosseiras ou erros conceituais na tradução.

• Quarta etapa: um grupo de seis especialistas (incluindo professores de Medicina, especialistas em educação médica, profissionais familiarizados com o construto de interesse e os tradutores), por meio do índice de validade de conteúdo (IVC)^29),(34, definiu, com os autores deste estudo, uma versão consensual em português brasileiro (VCPB) adaptada às características culturais do Brasil. O IVC mede a proporção ou a porcentagem de juízes em concordância sobre determinados aspectos de um instrumento e de seus itens. Consiste em uma escala de Likert com pontuação de 1 (item não equivalente) a 4 (item absolutamente equivalente). Os itens que receberam pontuação de 1 ou 2 foram revisados. O índice de concordância aceitável do conteúdo entre os membros do comitê de especialistas deve ser de, no mínimo, 0,80 e, preferencialmente, maior que 0,90^29),(34. O comitê foi responsável por uma revisão de todas as etapas da tradução e avaliou se, entre as versões traduzidas (T1, T2, T3, T12, VCPB), as reversas (BT1 e BT2) e a versão em inglês, havia equivalência semântica, idiomática, experimental e conceitual³⁵.

• Quinta etapa: com a versão final em português do Brasil (VFPB), realizou-se a aplicação dessa versão em um pré-teste, em novembro de 2019, respondido por 89 participantes. Além disso, adicionou-se uma pergunta ao final do questionário para sugestão de possíveis mudanças. O número mínimo de respondentes recomendados para um pré-teste é de 30 a 40 sujeitos^32),(36),(37.

Os pesquisadores solicitaram aos estudantes participantes que respondessem ao questionário pensando em seu atual ou último preceptor de APS (disciplina prática assistencial, longitudinal, que acontece ao longo de todo o currículo da Unifor). Após o preenchimento dos questionários pelos próprios indivíduos respondentes, os autores realizaram uma entrevista retrospectiva de esclarecimento com 12 participantes para verificar se havia itens de difícil compreensão, irrelevantes ou ofensivos, e a fim de verificar a compreensão de cada item por meio da técnica de sondagem verbal (entrevista cognitiva em que o entrevistador realiza questões de investigação especificamente elaboradas para extrair informações mais detalhadas além daquelas usualmente fornecidas pelos entrevistados)³⁸. Como critério de revisão e modificação da versão traduzida, estabeleceu-se a compreensão dos itens por menos de 80% dos entrevistados ou sugestão de modificações por mais de 20% dos respondentes³⁹.

• Sexta etapa: validação da versão final por meio de testes psicométricos de avaliação de estrutura dimensional (análise fatorial exploratória - AFE)^40),(41 e teste de confiabilidade alfa de Cronbach (consistência interna)^42),(43.

Análise dos dados

Realizou-se a análise estatística descritiva com apresentação de médias, desvios padrão e carga fatorial de cada uma das 55 variáveis do questionário traduzido⁴⁰. A análise fatorial (AF) é utilizada para investigar as relações latentes para um número grande de variáveis (no caso, itens do questionário) e determinar se a informação pode ser resumida a um conjunto menor de fatores. Assim, podemos avaliar se um instrumento de pesquisa, como um questionário, está medindo aquilo que se propõe a medir. O fator pode ser definido como uma combinação linear das variáveis originais. Os fatores representam as dimensões latentes (também chamados de construtos), que resumem o conjunto original de variáveis, mantendo a representatividade das características das variáveis originais. A análise pode ser fatorial exploratória (AFE) ou fatorial confirmatória (AFC). A dimensionalidade constatada em estudos anteriores pode ser acessada inicialmente por AFE^40),(41, técnica usada no presente estudo. Dessa forma, temos vários itens para medir cada construto latente (fator), que não é observável diretamente. O coeficiente de correlação é a covariância corrigida pelas diferenças em desvio padrão. Assim, a AF identifica as variáveis que apresentam a mesma estrutura subjacente.

Para a verificação da consistência interna de cada domínio e das questões como um todo, foi usado o coeficiente alfa de Cronbach, considerado como padrão aceitável valores acima de 0,7^42),(43. O coeficiente alfa de Cronbach avalia o grau em que os itens de uma matriz de dados estão correlacionados entre si. É o método mais utilizado em estudos transversais.

Todas as análises foram executadas pelo software Stata 15.1© (StataCorp LLC, College Station, TX, EUA).

RESULTADOS

Participaram do estudo 89 alunos, divididos por semestre do curso de Medicina: 15 do terceiro (16,9%), quatro do quarto (4,5%), 16 do quinto (18%), 12 do sexto (13,5%), 17 do sétimo (19,1%), 12 do oitavo (13,5%) e 13 do primeiro semestre do internato médico (14,6%) (Tabela 1). A média de idade dos participantes foi de 22,9 anos (mín. 19, máx. 41, DP 4,29).

Tabela 1
Distribuição de participantes de acordo com o período do curso.

Período do curso	N (total = 89)	%
I1	13	14,6
S3	15	16,9
S4	4	4,5
S5	16	18,0
S6	12	13,5
S7	17	19,1
S8	12	13,5

• I = internato; S = semestre do curso de Medicina.

Uma vez que este artigo tem dois objetivos relacionados, mas diferentes, a apresentação dos resultados será feita em duas seções distintas. A primeira delas trabalhará com os resultados do processo de tradução e adaptação transcultural do questionário; e a segunda apresentará os dados pertinentes à descrição das características das variáveis e aos dados psicométricos da consistência interna.

Tradução e adaptação transcultural de conteúdo do questionário EFFECT

Durante o processo inicial de tradução da versão em inglês para português, puderam-se observar, nas duas traduções (T1 e T2), algumas discordâncias entre os tradutores. As diferenças, no entanto, eram mínimas, como utilizar palavras sinônimas e formas de redação que não alteravam o significado. Por exemplo, o tradutor 1 traduziu a expressão “treat patients respectfully” como “tratar os(as) pacientes de maneira respeitosa”, enquanto o tradutor 2 traduziu como “tratar o paciente de forma respeitosa”. Os itens mais críticos foram revistos nas etapas seguintes de análise pelo comitê de especialistas e após a entrevista com respondentes do pré-teste.

Na etapa de tradução reversa, não houve dificuldades em retrotraduzir os itens. Apesar de as versões BT1 e BT2 não possuírem grande quantidade de itens literais quanto à versão em inglês, elas mantinham a equivalência semântica.

No decorrer da etapa de adaptação, ocorreram modificações de palavras, expressões e conjugação verbal, com o intuito de melhorar a compreensão do sujeito no contexto brasileiro. Além disso, nessa etapa, possíveis erros de gramática, grafia, digitação e formatação foram observados e corrigidos. O nível de concordância entre os especialistas, em que se utilizou o IVC, variou de 1 a 0,833 para todos os enunciados e itens do questionário.

Ao longo dos enunciados, as palavras “instructor/supervisor” foram traduzidas por “preceptor/supervisor”. No item 1, originalmente “ask for a patients history”, optou-se pela tradução literal “perguntar o histórico do(a) paciente” no lugar das expressões “realizar anamnese” ou “coletar história”, corriqueiras no Brasil, para manter maior equivalência de tradução. A expressão “have a bad news conversation” do item 11 foi mudada para “transmitir más notícias ao paciente”. O item 31, “how I monitor the boundaries of my clinical work”, foi traduzido como “minha postura ética durante meu trabalho clínico” devido à estranheza da tradução literal “como eu monitoro as fronteiras do meu trabalho clínico”.

Algumas expressões foram modificadas devido à adaptação cultural. O item 34, “how I make my reports”, no contexto da prática clínica, refere-se à atividade de registrar a evolução do paciente em prontuário, e, por isso, optou-se pela tradução “como faço o registro nos prontuários”. O item 53, na versão em inglês “reviews my portfolio during the assessment”, foi traduzido como “avalia meu portfólio durante a avaliação”. Porém, observou-se, após respostas e entrevistas com os alunos respondentes no pré-teste, o desconhecimento de alguns da palavra “portfólio”, provavelmente por ser um método avaliativo não padronizado para todos os cursos ou IES. Por isso, foi adicionado um texto curto explicativo após o item. No enunciado da seção “avaliação”, viu-se a necessidade de acrescentar as palavras “formativa” e “somativa” para facilitar o entendimento da sentença: “Durante seu treinamento, ocorreram várias entrevistas sobre o seu progresso. Puderam-se enfatizar - quando necessário - os ajustes (durante uma revisão de progresso - formativa) ou a conclusão de parte da sua formação (durante uma avaliação de rodízio ou entrevista de avaliação - somativa)”.

Em múltiplas ocasiões, verbos em inglês seguidos do pronome “me” foram invertidos, como o caso de “gives me”, traduzido para “me dá”, por constituir expressão idiomática mais popular na língua portuguesa falada.

A palavra “feedback”, que pode ser traduzida como “retroalimentação” ou “retorno”, foi mantida em inglês pelo seu vasto uso no contexto educacional e já bastante difundido na língua portuguesa.

Descrição das variáveis e análise da validade de construto e consistência interna das questões

O estudo das características das questões mostra médias variando de 4,96 (item 28 - “retorna ao feedback dado anteriormente”) a 5,81 (item 43 - “me trata respeitosamente”).

As cargas fatoriais variaram de 0,2816 (item 3 - “realizar abordagens clínicas”) a 0,9109 (item 33 - “como explico minhas escolhas por uma abordagem particular”) (Tabela 2). A carga fatorial pode ser definida como a correlação da variável (item) com o fator, indicando quanto cada variável contribui para o fator (construto do questionário). Se essa carga assume um valor positivo, isso significa que a variável está positivamente correlacionada com o fator, e, se assume valor negativo, essa correlação é negativa. São consideradas significativas quando elas excedem o valor absoluto 0,30⁴⁴. Assim, observa-se que, com exceção do item 3, todos os itens do questionário traduzido se mostraram positivamente relacionados aos domínios analisados.

Tabela 2
Características das questões da versão traduzida do EFFECT.

Domínios/questões	Média	DPa	Carga fatorial	NAEb (n)	NAE (%)
O(a) preceptor(a) como modelo. Ao observar meu(minha) preceptor(a), aprendo como:
1 perguntar o histórico do(a) paciente.	5,47	0,760	0,6650	8	6,4
2 examinar um(a) paciente.	5,42	0,776	0,7290	6	4,8
3 realizar abordagens clínicas.	5,57	0,746	0,2816	8	6,4
4 cooperar com outros(as) profissionais de saúde na atenção ao(à) paciente e aos seus familiares.	5,43	0,899	0,5971	10	8,0
5 me comunicar com os(as) pacientes.	5,56	0,794	0,5017	9	7,2
6 aplicar resultados de pesquisas acadêmicas.	4,66	1,327	0,6944	20	16,0
7 organizar meu próprio trabalho de forma adequada.	5,21	1,088	0,6288	6	4,8
8 aplicar diretrizes e protocolos.	5,48	0,789	0,7026	11	8,8
9 tratar os(as) pacientes de maneira respeitosa.	5,80	0,499	0,7801	10	8,0
10 lidar com queixas e incidentes.	5,53	0,720	0,6744	12	9,6
11 transmitir más notícias ao(à) paciente.	5,16	1,166	0,4422	26	20,8
Meu(minha) preceptor(a):
12 indica quando ele(a) não sabe algo.	5,46	0,948	0,5561	13	10,4
13 reflete sobre suas próprias ações.	5,38	1,001	0,6852	14	11,2
14 pede a opinião de outros sobre seu próprio desempenho.	4,97	1,442	0,5808	12	9,6
15 é um bom exemplo de como prover atenção centrada no(a) paciente.	5,63	0,721	0,6444	5	4,0
Atribuição de tarefas. Até que ponto seu(sua) preceptor(a) torna seu trabalho informativo? Meu(minha) preceptor(a):
16 me dá liberdade suficiente para realizar sozinho(a) tarefas que se adaptam ao meu conhecimento/às minhas habilidades atuais.	5,63	0,839	0,7476	5	4,00
17 me delega tarefas que se adaptam ao meu atual nível de treinamento.	5,67	0,726	0,6099	7	5,6
18 me estimula a assumir responsabilidades.	5,52	0,886	0,8140	8	6,4
19 me dá oportunidade de discutir erros e incidentes.	5,52	0,836	0,5521	8	6,4
20 me ensina a organizar e planejar meu trabalho.	5,19	1,185	0,4899	7	5,6
Planejamento de atividades. Até que ponto seu(sua) preceptor(a) reserva tempo durante o dia para dedicar-se a atividades de treinamento? Meu(minha) preceptor(a):
21 reserva tempo para me supervisionar/aconselhar.	5,15	1,118	0,6443	8	6,4
22 está disponível quando preciso dele(a) durante o meu turno.	5,52	0,864	0,7697	7	5,6
23 separa tempo quando preciso dele(a).	5,38	0,932	0,7421	10	8,00
Fornecendo feedback. Até que ponto seu(sua) preceptor(a) lhe dá feedback regular e construtivo?
24 Fundamenta o feedback em observações concretas de minhas ações.	5,21	1,021	0,6776	14	11,2
25 Indica o que estou fazendo corretamente.	5,32	0,936	0,7617	8	6,4
26 Discute o que posso melhorar.	5,04	1,136	0,7383	12	9,6
27 Deixa-me pensar sobre meus pontos fortes e fracos.	4,86	1,186	0,7716	14	11,2
28 Retoma feedbacks dados previamente.	4,59	1,285	0,7623	19	15,2
29 Formula feedbacks de uma maneira que não é condescendente ou insultante.	5,43	0,999	0,8795	20	16,0
Ao dar feedback, meu(minha) preceptor(a) presta atenção em:
30 minhas habilidades clínicas e técnicas.	5,45	0,747	0,7709	20	16,0
31 minha postura ética durante meu trabalho clínico.	5,35	0,937	0,7838	22	17,6
32 como colaboro com meus(minhas) colegas na atenção aos(às) pacientes.	5,45	0,804	0,9000	18	14,4
33 como explico minhas escolhas por uma abordagem particular.	5,38	0,890	0,9109	23	18,4
34 como faço o registro nos prontuários.	5,36	0,901	0,7940	27	21,6
35 como me comunico com os(as) pacientes.	5,45	0,960	0,8140	23	18,4
Habilidades de ensino. Até que ponto seu(sua) preceptor(a) contribui para o seu processo de aprendizado? Meu(minha preceptor(a):
36 revê meus objetivos de aprendizagem.	5,00	1,136	0,5926	14	11,2
37 discute a maneira como integro a medicina baseada em evidências ao meu trabalho.	5,15	1,113	0,4494	14	11,2
38 discute questões éticas comigo.	5,02	1,231	0,7776	10	8,0
39 me estimula a descobrir coisas por mim mesmo(a).	5,19	1,089	0,8109	9	7,2
40 me estimula a fazer perguntas.	5,33	1,015	0,8970	5	4,0
41 me estimula a participar ativamente das discussões.	5,37	0,988	0,9019	8	6,4
42 explica claramente questões médicas complexas.	5,26	1,123	0,6781	4	3,2
Características gerais do(a) preceptor(a). Até que ponto seu(sua) preceptor(a) contribui para um ambiente de aprendizado e de trabalho agradável e estimulante? Meu(minha) preceptor(a):
43 me trata respeitosamente.	5,81	0,537	0,6586	9	7,2
44 é um(a) preceptor(a)/supervisor(a) entusiasmado(a).	5,60	0,813	0,7550	5	4,0
45 deixa claro que posso contar com ele(a).	5,57	0,849	0,6742	6	4,8
46 me apoia em situações diferentes.	5,59	0,763	0,7552	18	14,4
47 está aberto(a) a questões/problemas pessoais.	5,24	1,066	0,5733	23	18,4
Avaliação. Até que ponto seu(sua) preceptor(a) fornece revisões de progresso ou entrevistas de avaliação abrangentes e construtivas? Meu(minha) preceptor(a):
48 prepara avaliações de progresso.	5,02	1,224	0,7429	12	23,53
49 faz uma conexão clara entre metas de aprendizado previamente definidas durante essas avaliações.	5,39	0,820	0,8650	8	15,69
50 me dá a oportunidade de levantar questões próprias.	5,56	0,719	0,7113	5	9,8
51 formula objetivos de aprendizagem para o período seguinte durante essas avaliações comigo.	5,39	0,930	0,8650	8	9,8
52 explica como a equipe se envolveu na avaliação.	5,51	0,842	0,9018	6	11,76
53 avalia meu portfólio durante a avaliação.	5,02	1,206	0,7697	15	29,41
54 presta atenção em minha autorreflexão.	5,40	0,981	0,6158	11	21,57
55 me dá uma avaliação clara e abrangente.	5,44	0,933	0,9014	8	15,69

• a DP = desvio padrão; b NAE = “not-yet able to evaluate” ou “ainda não é capaz de avaliar”.

Observou-se uma grande proporção de respostas “NAE” (ainda não é capaz de avaliar) para os itens 48 (“prepara avaliações de progresso”), 53 (“avalia meu portfólio durante a avaliação”) e 54 (“presta atenção em minha autorreflexão”), todos referentes a métodos de avaliação.

A descrição dos dados segundo domínios pode ser vista na Tabela 3. O domínio com menor média foi “fornecendo feedback” (média 5,19; DP 0,857); e com maior média, “características gerais do(a) preceptor(a)/supervisor(a)” (média 5,57; DP 0,714). A menor consistência interna foi verificada para o domínio “cuidando do trabalho significativo” (0,83), valor classificado como aceitável³⁶.

Tabela 3
Descrição das características dos domínios do EFFECT e da consistência interna de seus itens.

Domínios	Nº de itens	Média	DPa	Alfab
O(a) preceptor(a) como modelo	15	5,40	0,639	0,91
Atribuição de tarefas	5	5,52	0,691	0,82
Planejamento de atividades de treinamento	3	5,35	0,866	0,88
Fornecendo feedback	12	5,19	0,857	0,92
Habilidades de ensino	7	5,20	0,925	0,92
Características gerais do(a) preceptor(a)	5	5,57	0,714	0,90
Avaliação	8*	5,35	0,799	0,94

• a DP = desvio padrão; b Alfa = coeficiente alfa de Cronbach. *Somente 51 respondentes.

DISCUSSÃO

Ao longo das últimas décadas, ocorreram profundas mudanças no cenário da educação médica, como a introdução de novas técnicas de ensino e de avaliação, bem como modificações no perfil e no envolvimento dos estudantes universitários⁴⁵. Estes são pertencentes à “geração Z” e cresceram imersos nessa realidade de inovações tecnológicas^46),(47. Para essa geração, é preciso utilizar metodologias centradas no aluno, privilegiando a colaboração, a interdisciplinaridade, a autonomia e a formação crítica e cidadã, de modo a favorecer a aquisição de habilidades de comunicação, liderança, pesquisa e gestão⁴⁶.

Para seguir essas mudanças, é necessário revisar o papel do professor, o que significa abandonar o conceito de professor acadêmico ou enciclopédico, que apenas transmite conhecimento, e de especialista técnico⁴⁸, de modo que o docente passe a exercer uma variedade de atribuições³⁷. Assim, as IES têm enfatizado a avaliação de seus professores com base em competência clínica, habilidades de ensino, qualidades pessoais, envolvimento com os alunos, qualidade na prestação de cuidados aos pacientes, além da capacidade de fornecimento de feedback e orientações ao longo das atividades de ensino⁴⁹.

Neste estudo, foram realizadas tradução, adaptação transcultural e avaliação da validade e confiabilidade do questionário EFFECT em português do Brasil, evidenciando que o instrumento se mostrou válido e confiável para uso no contexto de educação médica brasileira. Pode-se observar, pelos resultados, que não houve grandes dificuldades durante as etapas de tradução, tradução reversa, adaptação e validação por especialistas, considerando que muitos conceitos e valores educacionais são comuns a várias escolas médicas em todo o mundo. Destaca-se a importância de as dificuldades e dúvidas dos respondentes em relação ao questionário terem sido observadas e consideradas para a elaboração da versão final.

Os resultados deste estudo indicam que a versão brasileira do questionário EFFECT tem propriedades psicométricas aceitáveis e pode ser usada para a avaliação do ensino clínico de docentes sob a ótica de estudantes na graduação médica. Todos os domínios demonstraram coeficiente de confiabilidade satisfatório. Destaca-se que os alunos participantes indicaram que alguns itens não podiam ser ainda julgados (NAE). A maior parte desses itens se deve ao domínio “avaliação”, apesar de ele ter sido respondido somente por aqueles que indicaram “sim” na pergunta introdutória do domínio (“Seu(sua) preceptor(a)/supervisor(a) conduz revisões de progresso ou entrevistas de avaliação com você?”). Tal fato pode estar associado a uma não padronização de processos avaliativos das competências discentes ou que estes são avaliados de outras maneiras, não necessariamente a que consta no questionário. Apenas quatro itens do total de 55 do questionário obtiveram pontuação média menor que 5 (resposta equivalente a “bom, continue assim”), demonstrando uma boa avaliação do corpo docente pelos estudantes. Quando analisados os domínios, todos obtiveram média superior a 5.

No domínio “o(a) preceptor(a) como modelo”, os itens 6 (“aplicar resultados de pesquisas acadêmicas”) e 14 (“pede a opinião de outros sobre seu próprio desempenho”) foram os únicos com média inferior a 5. Já no domínio “planejamento de atividades de treinamento”, obteve-se uma alta pontuação (média 5,52) no questionamento sobre a disponibilidade do docente quando o estudante julga necessário. Contudo, houve uma queda na pontuação (5,38) quando indagado se o preceptor separa tempo para o estudante quando este necessita, e uma queda maior (5,15) quando abordado se o docente reserva um tempo para supervisionar/aconselhar o estudante. Em “fornecendo feedback”, dois itens obtiveram média menor que 5: “me deixa pensar sobre meus pontos fortes e fracos” e “retoma feedbacks dados previamente”.

Esses resultados demonstram o quanto é importante e valorizado pelos estudantes que professores estejam abertos para acolher suas necessidades e que planejem momentos específicos para avaliação. A estratégia de feedback proporciona ao aluno uma autoavaliação e deve gerar impacto no seu desenvolvimento. São momentos de interação aluno-professor complexos e dinâmicos⁵⁰. O feedback eficaz deve ser: assertivo, respeitoso, descritivo, oportuno e específico⁵¹. Espera-se que o professor seja capaz de mediar, ouvir e dialogar, privilegiando a troca de ideias e a articulação entre os saberes⁵².

Observa-se que, no domínio “habilidades de ensino”, houve uma boa pontuação em relação ao estímulo à participação ativa em discussões e de estímulo à realização de perguntas (médias de 5,37 e 5,33, respectivamente). Paralelamente a isso, obteve-se pontuação um pouco mais baixa em diversos aspectos, como na revisão dos objetivos de aprendizagem (média 5,0), discussão de questões éticas (média 5,02) e da integração da medicina de evidências no trabalho (média 5,15). Esse resultado corrobora a importância de os professores se manterem atualizados sobre as estratégias de ensino-aprendizagem para garantir práticas pedagógicas eficientes⁵³.

É sabido que, entre os professores médicos, há falta de profissionalização docente, principalmente quanto às habilidades para o ensino, o que muitas vezes está associado a um desconhecimento da estrutura curricular e do perfil do egresso almejado pelas instituições de ensino. Há a necessidade de vencer o ensino conteudista, em que o professor se concentra na técnica e na transmissão simples de informações, sem fazer a integração de disciplinas, e usa métodos de avaliação discente com caráter por vezes punitivo. Tal situação pode ser um obstáculo para médicos que não consideram a docência como sua principal atividade profissional⁵⁴.

Pode-se entender a formação docente universitária de duas maneiras: a não profissional, que entende o ato de ensinar como a repetição de modelos prévios baseados na experiência prática cotidiana; e a profissional, que defende o ensino como um ato complexo constituído por habilidades que podem ser adquiridas, melhoradas e ampliadas por meio de um processo consistente de formação⁵⁵. O critério de ser considerado um bom profissional médico em uma específica área de atuação clínica, apesar de comum em contratações de docentes para cursos de Medicina, não é suficiente para garantir um ensino de qualidade.

Sobre o domínio “características gerais do(a) preceptor(a)”, o item com maior média (5,81) foi quanto a uma relação respeitosa entre aluno-professor (item 43). As médias mais baixas foram as dos itens 45 (“deixa claro que posso contar com ele(a)’’), média 5,57, e 47 (“está aberto(a) a questões/problemas pessoais’’), com média 5,24. Embora tradicionalmente as ações de guiar, orientar e aconselhar na realização de objetivos pessoais, buscando também o desenvolvimento interpessoal e psicossocial para além do ambiente profissional, sejam atribuídas ao “mentor”, e não especificamente ao “preceptor” ou “supervisor”, papéis mais ligados ao ensino em situações clínicas reais⁵⁶, esses resultados demonstram que há ainda espaço para a melhoria da relação aluno-professor.

A dificuldade em obter a adesão dos docentes de Medicina às reformas curriculares tem sido recorrente e pode ser explicada por vários fatores, como a não profissionalização da função docente, dedicação parcial às escolas e insegurança. Um estudo buscou analisar como características dos professores de Medicina de uma universidade de Minas Gerais repercutiam na forma como os alunos avaliam o ensino. Os dados mostraram que professores com menos tempo de graduação, de atuação docente e de experiência, mas que possuem como motivação o prazer de ensinar, são mais bem avaliados que professores mais antigos e experientes⁵².

No Brasil, foi realizado um estudo transversal com 28 discentes acerca das competências de docentes do curso de Medicina da Universidade Federal do Amapá, utilizando grupos focais. Os alunos enfatizaram a importância de oferecer um feedback formativo aos professores. Para eles, a avaliação colabora para que o docente identifique suas deficiências e possa buscar meios de saná-las, além de aumentar o vínculo com os estudantes. A pesquisa também revelou, na opinião discente, que a melhor maneira de avaliar os professores seria por meio de um questionário estruturado com itens objetivos e subjetivos²⁶.

Qualquer instrumento projetado para avaliar a qualidade da educação deve possuir boa validade e confiabilidade. Além disso, os resultados gerados precisam ser úteis para proporcionar melhoria do ensino, apoio e motivação para os professores, avanço e promoção acadêmica, evolução curricular, além de fornecer subsídios para a criação de programas de desenvolvimento docente⁵⁷. Tais características estão presentes no EFFECT.

Em comparação com o estudo original de desenvolvimento do questionário EFFECT²⁷ e um outro estudo prévio sobre sua validação para o lituano³³, existem algumas diferenças em nossa pesquisa que podem influenciar os resultados. O presente estudo foi realizado com um número menor de participantes. Além disso, os estudos prévios utilizaram o EFFECT com médicos residentes, enquanto o nosso estudo aplicou em graduandos. Outra limitação do presente estudo é que não foi realizado reteste.

A versão brasileira do questionário EFFECT se mostrou eficaz e de fácil aplicação, gerando informações que podem ser úteis para as instituições de ensino elaborarem planos de desenvolvimento docente. Na universidade em que este estudo foi desenvolvido, há o Programa de Desenvolvimento Profissional em Educação (PDPE), coordenado em parceria pelas assessorias pedagógicas dos centros e pelo Núcleo de Tecnologias Educacionais, em que são sistematicamente oferecidos cursos para todos os docentes da universidade. O PDPE propõe formação continuada sobre temas atuais e inovadores no âmbito da educação superior para os docentes. Dessa forma, há a expectativa de que o instrumento seja adotado na geração de informações para o processo de planejamento de ações institucionais de formação continuada docente.

CONCLUSÕES

Os resultados deste estudo indicam que a versão em português do Brasil do EFFECT possui propriedades psicométricas aceitáveis para avaliação de professores clínicos por estudantes em cursos de Medicina de IES brasileiras. Destaca-se que não há ainda na literatura local um instrumento validado disponível que possa medir as mesmas competências docentes que o EFFECT.

AGRADECIMENTOS

Agradecemos a Lia Fluit, professora associada do Hoofd Research in Learning and Education do centro médico da Radboud University, em Nijmegen, na Holanda, a colaboração e cessão da versão original em inglês do questionário EFFECT.

REFERENCES

• ¹
  Costa LB, Esteche FF, Augusto Filho RF, Bomfim ALB, Ribeiro MTAM. Competências e atividades profissionais confiáveis: novos paradigmas na elaboração de uma matriz curricular para residência em medicina de família e comunidade. Rev Bras Med Fam Comunidade. 2018;13(40):1-11. doi: 10.5712/rbmfc13(40)1632.
  » https://doi.org/10.5712/rbmfc13(40)1632
• ²
  Ferreira MA. Educação médica no século XXI: o desafio da integração da tecnologia e humanidades. Gazeta Médica. 2016;3(4):156-61. doi: 10.29315/gm.v3i4.42.
  » https://doi.org/10.29315/gm.v3i4.42
• ³
  Cavalcante Neto PG, Lira GV, Miranda AS. Interesse dos estudantes pela medicina de família: estado da questão e agenda de pesquisa. Rev Bras Educ Med. 2009;33(2):198-204. doi: 10.1590/S0100-55022009000200006.
  » https://doi.org/10.1590/S0100-55022009000200006
• ⁴
  Torralba KD, Jose D, Katz JD. Competency-based medical education for the clinician-educator: the coming of Milestones version 2. Clin Rheumatol. 2020;39(6):1719-23. doi: 10.1007/s10067-020-04942-7.
  » https://doi.org/10.1007/s10067-020-04942-7
• ⁵
  Frank JR, Snell L, Sherbino JE, editors. CanMEDS 2015: Physician Competency Framework. Ottawa: Royal College of Physicians and Surgeons of Canada; 2015 [access in 17 nov 2020]. Available from: Available from: http://canmeds.royalcollege.ca/en/framework
  » http://canmeds.royalcollege.ca/en/framework
• ⁶
  Swing SR. The ACGME outcome project: retrospective and prospective. Med Teach. 2007;29(7):648-54. doi: 10.1080/01421590701392903.
• ⁷
  Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, et al. Competency-based medical education: theory to practice. Med Teach . 2010;32(8):638-45. doi: 10.3109/0142159X.2010.501190.
  » https://doi.org/10.3109/0142159X.2010.501190
• ⁸
  Lomis K, Amiel JM, Ryan MS, Esposito K, Green M, Stagnaro-Green A, et al. Implementing an entrustable professional activities framework in undergraduate medical education: early lessons from the AAMC core entrustable professional activities for entering residency pilot. Acad Med. 2017 June;92(6):765-70. doi: 10.1097/ACM.0000000000001543.
  » https://doi.org/10.1097/ACM.0000000000001543
• ⁹
  Demarzo MMP, Almeida RCC, Marins JJN, Trindade TG, Anderson MIP, Stein AT, et al. Diretrizes para o ensino na atenção primária à saúde na graduação em Medicina. Rev Bras Educ Med. 2012;36(1):143-8. doi: 10.1590/S0100-55022012000100020.
  » https://doi.org/10.1590/S0100-55022012000100020
• ¹⁰
  Falk JW. A medicina de família e comunidade e sua entidade nacional: histórico e perspectivas. Rev Bras Med Fam Comunidade. 2004;1(1):5-10. doi: 10.5712/rbmfc1(1)2.
  » https://doi.org/10.5712/rbmfc1(1)2
• ¹¹
  Mitre SM, Siqueira-Batista R, Girardi-de-Mendonça JM, Morais-Pinto NM, Meirelles CAB, Pinto-Porto C, et al. Metodologias ativas de ensino-aprendizagem na formação profissional em saúde: debates atuais. Ciênc Saúde Colet. 2008;13(supl 2):2133-44. doi: 10.1590/S1413-81232008000900018.
  » https://doi.org/10.1590/S1413-81232008000900018
• ¹²
  Ford CD, Patel PG, Sierpina VS, Wolffarth MW, Rowen JL. Longitudinal continuity learning experiences and primary care career interest: outcomes from an innovative medical school curriculum. J Gen Intern Med. 2018 Oct;33(10):1817-21. doi: 10.1007/s11606-018-4600-x.
  » https://doi.org/10.1007/s11606-018-4600-x
• ¹³
  Albuquerque VS. A integração ensino-serviço no contexto dos processos de mudança na formação superior dos profissionais de saúde. Rev Bras Educ Med . 2008;32(3):356-62. doi: 10.1590/S0100-55022008000300010.
  » https://doi.org/10.1590/S0100-55022008000300010
• ¹⁴
  Silva ATC, Medeiros Junior ME, Fontão PN, Saletti Filho HC, Vital Junior PF, Bourget MMM, et al. Medicina de família do primeiro ao sexto ano da graduação médica: considerações sobre uma proposta educacional de integração curricular escola-serviço. Rev Bras Educ Med . 2017;41(2):336-45. doi: 10.1590/1981-52712015v41n2rb20160016.
  » https://doi.org/10.1590/1981-52712015v41n2rb20160016
• ¹⁵
  Amaral E. Além do horizonte do licenciamento e da certificação. Interface (Botucatu). 2020;24:e190736. doi: 10.1590/interface.190736.
  » https://doi.org/10.1590/interface.190736
• ¹⁶
  Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Processo de avaliação. Brasília: Inep; 2015 [access in 8 feb 2021]. Available from: Available from: http://portal.inep.gov.br/web/guest/processo-de-avaliacao
  » http://portal.inep.gov.br/web/guest/processo-de-avaliacao
• ¹⁷
  Perim GL, Ively GA, Abdalla G, Aguilar-da-Silva RH, Lampert JB, Stella RCR, et al. Desenvolvimento docente e a formação de médicos. Rev Bras Educ Med . 2009;33(1):70-82. doi: 10.1590/S0100-55022009000500008.
  » https://doi.org/10.1590/S0100-55022009000500008
• ¹⁸
  Zimmermann MH, Silveira RMCF, Gomes RZ. O professor e a arte de avaliar no ensino médico de uma universidade no Brasil. Rev Bras Educ Med . 2019;43(3):5-15. doi: 10.1590/1981-52712015v43n3rb20180167.
  » https://doi.org/10.1590/1981-52712015v43n3rb20180167
• ¹⁹
  Dijkstra J, van der Vleuten CPM, Schuwirth LWT. A new framework for designing programmes of assessment. Adv Health Sci Educ Theory Pract. 2010;15(3):379-93. doi: 10.1007/s10459-009-9205-z.
  » https://doi.org/10.1007/s10459-009-9205-z
• ²⁰
  Blanchard RD, Torbeck L, Blondeau W. AM last page: a snapshot of three common program evaluation approaches for medical education. Acad Med . 2013 Jan;88(1):146. doi: 10.1097/acm.0b013e3182759419.
  » https://doi.org/10.1097/acm.0b013e3182759419
• ²¹
  van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ. 2005 Mar;39(3):309-17. doi: 10.1111/j.1365-2929.2005.02094.x.
  » https://doi.org/10.1111/j.1365-2929.2005.02094.x
• ²²
  Kassis K, Wallihan R, Hurtubise L, Goode S, Chase M, Mahan JD. Milestone-based tool for learner evaluation of faculty clinical teaching. MedEdPORTAL. 2017 Sep 18;13. doi: 10.15766/mep_2374-8265.10626.
  » https://doi.org/10.15766/mep_2374-8265.10626
• ²³
  Conigliaro RL, Stratton TD. Assessing the quality of clinical teaching: a preliminary study. Med Educ . 2010 Apr;44(4):379-86. doi: 10.1111/j.1365-2923.2009.03612.x.
  » https://doi.org/10.1111/j.1365-2923.2009.03612.x
• ²⁴
  Beckman TJ, Ghosh AK, Cook DA, Erwin PJ, Mandrekar JN. How reliable are assessments of clinical teaching? A review of the published instruments. J Gen Intern Med . 2004 Sep;19(9):971-7. doi: 10.1111/j.1525-1497.2004.40066.x.
  » https://doi.org/10.1111/j.1525-1497.2004.40066.x
• ²⁵
  Urrutia-Aguilar ME, Sanchez-Mendiola M, Guevara-Guzman R, Martinez-Gonzalez A. Comprehensive assessment of teaching performance in medical education. Procedia Soc Behav Sci. 2014 Aug 24;141:252-9. doi: 10.1016/j.sbspro.2014.05.044.
  » https://doi.org/10.1016/j.sbspro.2014.05.044
• ²⁶
  Belfor JA, Sena IS, Silva DKB, Lopes BRDS, Koga Júnior M, Santos BEF. Competências pedagógicas docentes sob a percepção de alunos de medicina de universidade da Amazônia brasileira. Ciênc Saúde Colet . 2018;23(1):73-82. doi: 10.1590/1413-81232018231.21342017.
  » https://doi.org/10.1590/1413-81232018231.21342017
• ²⁷
  Fluit C, Bolhuis S, Grol R, Ham M, Feskens R, Laan R, et al. Evaluation and Feedback for Effective Clinical teaching in postgraduate medical education: validation of an assessment instrument incorporating the CanMEDS roles. Med Teach . 2012;34(11):893-901. doi: 10.3109/0142159x.2012.699114.
  » https://doi.org/10.3109/0142159x.2012.699114
• ²⁸
  Fluit CRMG, Bolhuis S, Grol R, Laan R, Wensing M. Assessing the quality of clinical teachers: a systematic review of content and quality of questionnaires for assessing clinical teachers. J Gen Intern Med . 2010;25(12):1337-45. doi: 10.1007/s11606-010-1458-y.
  » https://doi.org/10.1007/s11606-010-1458-y
• ²⁹
  Souza AC, Alexandre NMC, Guirardello EB. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiol Serv Saude. 2017;26(3):649-59. doi: 10.5123/S1679-49742017000300022.
  » https://doi.org/10.5123/S1679-49742017000300022
• ³⁰
  Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976). 2000;25(24):3186-91. doi: 10.1097/00007632-200012150-00014.
  » https://doi.org/10.1097/00007632-200012150-00014
• ³¹
  Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saude Publica. 2007;41(4):665-73. doi: 10.1590/S0034-89102006005000035.
  » https://doi.org/10.1590/S0034-89102006005000035
• ³²
  Fortes CPDD, Araújo APQC. Check list para tradução e adaptação transcultural de questionários em saúde. Cad Saude Colet. 2019;27(2):202-9. doi: 10.1590/1414-462x201900020002.
  » https://doi.org/10.1590/1414-462x201900020002
• ³³
  Vaižgėliene E, Padaiga Ž, Rastenytė D, Tamelis A, Petrikonis K, Kregždytė R, et al. Validation of the EFFECT questionnaire for competence-based clinical teaching in residency training in Lithuania. Medicina (Kaunas). 2017;53(3):173-8. doi: 10.1016/j.medici.2017.05.001.
  » https://doi.org/10.1016/j.medici.2017.05.001
• ³⁴
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet . 2011;16(7):3061-8. doi: 10.1590/S1413-81232011000800006.
  » https://doi.org/10.1590/S1413-81232011000800006
• ³⁵
  Caires IS, Goldberger BU, Colares MFA, Gale R, Grant J, Troncon LEA. Tradução, adaptação, validação e avaliação para uso no Brasil de um instrumento britânico de auxílio à escolha da especialidade médica. Rev Bras Educ Med . 2017;41(4):540-50. doi: 10.1590/1981-52712015v41n3rb20160055.
  » https://doi.org/10.1590/1981-52712015v41n3rb20160055
• ³⁶
  Tsang S, Royse CF, Terkawi AS. Guidelines for developing, translating, and validating a questionnaire in perioperative and pain medicine. Saudi J Anaesth. 2017;11(Suppl 1):S80-90. doi: 10.4103/sja.SJA_203_17.
  » https://doi.org/10.4103/sja.SJA_203_17
• ³⁷
  Perneger TV, Courvoisier DS, Hudelson PM, Gayet-Ageron A. Sample size for pre-tests of questionnaires. Qual Life Res. 2015;24(1):147-51. doi: 10.1007/s11136-014-0752-2.
  » https://doi.org/10.1007/s11136-014-0752-2
• ³⁸
  Willis GB, Artino AR. What do our respondents think we’re asking? Using cognitive interviewing to improve medical education surveys. J Grad Med Educ . 2013;5(3):353-6. doi: 10.4300/JGME-D-13-00154.1.
  » https://doi.org/10.4300/JGME-D-13-00154.1
• ³⁹
  Zumpano CE, Mendonça TMS, Silva CHM, Correia H, Arnold B, Pinto RMC. Adaptação transcultural e validação da escala de saúde global do PROMIS para a língua Portuguesa. Cad Saude Publica. 2017;33(1):1-14. doi: 10.1590/0102-311x00107616.
  » https://doi.org/10.1590/0102-311x00107616
• ⁴⁰
  Hair JF, Black WC, Babin BJ, Anderson RE, Black WC, Anderson RE. Multivariate data analysis. 8th ed. Stamford: Cengage Learning; 2018. p. 95-120.
• ⁴¹
  Damásio BF. Uso da análise fatorial exploratória em psicologia. Aval Psicol. 2012;11(2):213-28 [access in 17 nov 2020]. Available from: Available from: http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
  » http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
• ⁴²
  Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika. 1951;16(3):297-334. doi: 10.1007/BF02310555.
  » https://doi.org/10.1007/BF02310555
• ⁴³
  Pasquali L. Psicometria: teoria e aplicações: a teoria clássica dos testes psicológicos. Brasília: Editora da UnB; 1997.
• ⁴⁴
  Tabachnick BG, Fidell LS. Using multivariate statistics. 3rd ed. New York: Harper Collins; 1996.
• ⁴⁵
  Troncon LEA, Bollela VR, Borges MC, Rodrigues MLV. A formação e o desenvolvimento docente para os cursos das profissões da saúde: muito mais que o domínio de conteúdos. Medicina (Ribeirão Preto). 2014;47(3):245-8. doi: 10.11606/issn.2176-7262.v47i3p245-248.
  » https://doi.org/10.11606/issn.2176-7262.v47i3p245-248
• ⁴⁶
  Caramori U, Mello JB, Barretto CAP, Costa RMR, Peña SS, Ramos ALC, et al. Projeto Fellows: habilidades de educação para estudantes das profissões da saúde. Rev Bras Educ Med . 2020;44(1):1-8. doi: 10.1590/1981-5271v44.1-20190233.
  » https://doi.org/10.1590/1981-5271v44.1-20190233
• ⁴⁷
  Eckleberry-Hunt J, Lick D, Hunt R. Is medical education ready for generation Z? J Grad Med Educ . 2018;10(4):378-81. doi: 10.4300/JGME-D-18-00466.1.
  » https://doi.org/10.4300/JGME-D-18-00466.1
• ⁴⁸
  Ferreira CC, Souza AML. Formação e prática do professor de medicina: um estudo realizado na Universidade Federal de Rondônia. Rev Bras Educ Med . 2016;40(4):635-43. doi: 10.1590/1981-52712015v40n4e01012015.
  » https://doi.org/10.1590/1981-52712015v40n4e01012015
• ⁴⁹
  Al Ansari A, Arekat MR, Salem AH. Validating the modified system for evaluation of teaching qualities: a teaching quality assessment instrument. Adv Med Educ Pract. 2018;9:881-6. doi: 10.2147/AMEP.S181094.
  » https://doi.org/10.2147/AMEP.S181094
• ⁵⁰
  Ramani S, Könings KD, Ginsburg S, van der Vleuten CPM. Meaningful feedback through a sociocultural lens. Med Teach . 2019;41(12):1342-52. doi: 10.1080/0142159X.2019.1656804.
  » https://doi.org/10.1080/0142159X.2019.1656804
• ⁵¹
  Zeferino AMB, Domingues RCL, Amaral E. Feedback como estratégia de aprendizado no ensino médico. Rev Bras Educ Med . 2007;31(2):176-9. doi: 10.1590/S0100-55022007000200009.
  » https://doi.org/10.1590/S0100-55022007000200009
• ⁵²
  Leite VT, Vazzi PIFL, Moura MBR, Pereira LS, Caldas Neto TP, Lima EHM. Avaliação do perfil dos professores de Medicina de uma universidade do interior de Minas Gerais. Rev Bras Educ Med . 2020;44(3):e096. doi: 10.1590/1981-5271v44.3-20190330.
  » https://doi.org/10.1590/1981-5271v44.3-20190330
• ⁵³
  Almeida MTC, Batista NA. Ser docente em métodos ativos de ensino-aprendizagem na formação do médico. Rev Bras Educ Med . 2011;35(4):468-76. doi: 10.1590/S0100-55022011000400005.
  » https://doi.org/10.1590/S0100-55022011000400005
• ⁵⁴
  Garcia MAA, Silva ALB. Um perfil do docente de medicina e sua participação na reestruturação curricular. Rev Bras Educ Med . 2011;35(1):58-68. doi: 10.1590/S0100-55022011000100009.
  » https://doi.org/10.1590/S0100-55022011000100009
• ⁵⁵
  Costa NMSC. Formação pedagógica de professores de medicina. Rev Lat Am Enfermagem. 2010;18(1):102-8. doi: 10.1590/S0104-11692010000100016.
  » https://doi.org/10.1590/S0104-11692010000100016
• ⁵⁶
  Botti SHO, Rego S. Papel de preceptor, supervisor, tutor e mentor. Rev Bras Educ Med . 2008;32(3):363-73. doi: 10.1590/S0100-55022008000300011.
  » https://doi.org/10.1590/S0100-55022008000300011
• ⁵⁷
  Kikukawa M, Stalmeijer RE, Okubo T, Taketomi K, Emura S, Miyata Y, et al. Development of culture-sensitive clinical teacher evaluation sheet in the Japanese context. Med Teach . 2017;39(8):844-50. doi: 10.1080/0142159X.2017.1324138.
  » https://doi.org/10.1080/0142159X.2017.1324138

• Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz. Editora associada: Rosiane Viana Zuza Diniz.

Datas de Publicação

• Publicação nesta coleção
  28 Jun 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  17 Nov 2020
• Aceito
  17 Maio 2021