Hébert et al. (1996), Canadá |
Composto por 44 itens, o Tutotest identifica a frequência de um determinado comportamento. Os itens foram elaborados por professores e estudantes da Universidade de Sherbrooke. |
Aplicaram-se 270 avaliações em 100 estudantes ao fim das quatro unidades do primeiro ano. |
• Análise fatorial exploratória. |
• Itens agrupados em quatro domínios: efetividade no grupo, habilidades de comunicação e liderança, curiosidade científica e respeito aos colegas. |
Necessidade de novos estudos para verificar a estrutura fatorial e identificar itens que poderiam ser removidos. |
• Determinação do coeficiente alfa de Cronbach. |
• Boa correlação com avaliação global do tutor. |
• Determinação do coeficiente de correlação intraclasse (CCI). |
• Moderada correlação com testes escritos; |
• Confiabilidade determinada pelo alfa de Cronbach: 0,98. |
• Determinação do coeficiente alfa de Cronbach. |
• CCI de 0,81 após cinco aplicações do Tutotest. |
• Moderada correlação com resultados de testes escritos. |
Valle et al. (1999), México |
Docentes, psicólogos e especialistas em educação da Universidade Autônoma do México elaboraram 39 itens, distribuídos nos domínios: estudo independente, interação no grupo e habilidades de raciocínio. Considerados não relevantes, dez itens foram excluídos. |
Em 16 grupos tutoriais, 14 tutores avaliaram 152 estudantes do primeiro e segundo anos. |
• Análise fatorial exploratória. |
• Distribuíram-se 24 itens em quatro domínios: estudo independente, interação em grupo, habilidades de raciocínio e participação ativa. |
Indicação de novos estudos para realizar a correlação entre performance na tutoria e habilidades profissionais requeridas. |
• Determinação do coeficiente alfa de Cronbach. |
• Excluíram-se cinco itens excluídos por baixa correlação após análise fatorial exploratória. |
• Confiabilidade verificada no alfa de Cronbach: 0,96. |
Elizondo-Montemayor (2004), México |
Agruparam-se 50 itens em “rubricas” derivadas dos objetivos principais da ABP (aplicação do conhecimento, raciocínio crítico, estudo autodirecionado e colaboração), acrescidos de comportamento profissional, em escala de seis itens. |
Instrumento utilizado nas disciplinas do curso básico e na disciplina de ginecologia e obstetrícia da Escola Médica Tec. de Monterrey. |
Não foi realizada. |
• De acordo com o feedback dos tutores, o instrumento colaborou para a demonstração da performance dos estudantes. |
Não descritas |
Chen (2006), Taiwan |
Após revisão bibliográfica e entrevistas com especialistas no tema, elaboraram-se 15 itens, que foram divididos em quatro categorias: senso crítico, utilização de fontes de aprendizagem, trabalho em equipe e atitudes e habilidades em comunicação, em escala de Likert de cinco itens. |
Participaram 136 estudantes do pré-internato, divididos em 18 itens e avaliados por 47 tutores. |
• Determinação do coeficiente alfa de Cronbach. |
• Escore de 0,97 do alfa de Cronbach, demonstrando boa confiabilidade do instrumento |
Necessidade de utilização do instrumento por anos seguidos, para obter melhor análise e permitir o aprimoramento dele. |
Sim et al. (2006), Malásia |
Avaliação de quatro habilidades (participação e habilidades de comunicação, cooperação e trabalho em equipe, compreensão e habilidades de raciocínio, conhecimentos e habilidades de reter informações), em escala de cinco itens, variando de insatisfatório a excelente, desenvolvidos por três dos autores mais um visitante. |
Aplicado durante dois anos a alunos que cursavam os dois primeiros anos do curso médico da Universidade da Malásia, avaliados por 82 tutores. |
• Determinação do coeficiente de confiabilidade a partir do CCI, estabelecido por meio das avaliações de diferentes tutores a respeito do aluno. |
• O coeficiente de confiabilidade demonstrou confiabilidade. |
Mais benefícios serão alcançados após mais treinamento no uso do instrumento e entendimento sobre seus propósitos por parte dos tutores. |
• O questionário específico respondido por 34 tutores demonstrou boa aceitação do instrumento. |
Leung (2008), Taiwan |
Versão chinesa do Tutotest de 44 itens, divididos em cinco categorias: efetividade no grupo, domínio do método, comunicação e liderança, curiosidade científica e respeito aos colegas. |
Aplicado em alunos do segundo, terceiro e quarto anos do curso de Medicina da Taiwan University Hospital, totalizando 370 avaliações realizadas por 44 tutores. |
• Análise fatorial exploratória. |
• Itens agrupados em quatro domínios: efetividade no grupo, comunicação e liderança, respeito aos colegas e formação e testagem de hipóteses. |
• Um grupo de estudantes avaliados por um único tutor ao longo do período letivo pode gerar bias. |
• Verificação de confiabilidade por aplicação do alfa de Cronbach e do teste-reteste duas semanas após. |
• Alfa de Cronbach: 0,97. |
• Necessidade de estudos longitudinais no intuito de verificar mudanças na performance dos estudantes ao longo do tempo. |
• Correlação do teste-reteste em duas semanas: 0,85. |
Lee et al. (2016), Estados Unidos |
Instrumento baseado em quatro competências (resolução de problemas, uso de informação, trabalho em equipe e profissionalismo) e elaborado por um painel de especialistas |
Aplicado em 310 estudantes dos dois primeiros anos da Universidade da Califórnia, divididos em duas coortes, sendo cada aluno avaliado por apenas um tutor. |
• Adequação aos padrões de testes das Standards for educacional and psychological testing para estabelecimento da validade de conteúdo. |
• Correlação positivas com seis outros testes já validados e amplamente utilizados na educação médica dos Estados Unidos. |
• Estudo realizado em uma instituição única, com desenho metodológico particular, o que pode limitar sua extensão a outras escolas. |
• Determinação da confiabilidade pelos coeficientes de generalizabilidade e dependabilidade. |
• Incapacidade do estudo de concluir sobre a validade de construto. |