Acessibilidade / Reportar erro

Competências clínicas do aluno de medicina em urgência e emergência: análise evolutiva através do OSCE

Clinical competencies of students in urgent and emergency care: evolutive analysis through OSCE

Resumo:

Introdução:

Um dos maiores desafios em avaliar a formação médica é mensurar habilidades práticas, transpondo os limites do conhecimento teórico. O OSCE é uma alternativa de avaliação ativa e padronizada das competências clínicas. Apesar da sua crescente implementação, ainda são escassos os estudos longitudinais que subsidiem seu potencial avaliativo.

Objetivo:

Analisar a curva de aprendizagem dos estudantes de medicina com base na avaliação evolutiva de seus desempenhos nos OSCE de Urgência e Emergência.

Método:

Estudo retrospectivo a partir da análise de checklists avaliativos de três OSCE consecutivos, aplicados ao longo de 2019 a alunos do sexto ano de medicina da Universidade Positivo, na disciplina de Urgência e Emergência.

Resultado:

Foram analisados 270 checklists, aplicados a 90 alunos. Desse grupo, 51 (56,7 pontos percentuais) eram do gênero feminino e 69 (76,7 pontos percentuais) tinham entre 23 e 26 anos. Entre o primeiro e terceiro OSCE, 67 alunos (74,4 pontos percentuais) obtiveram um acréscimo significativo na nota final, cuja mediana foi elevada em 1,5 ponto. A partir da análise da evolução por componentes - conduta, reconhecimento, interação e seguimento - observou-se aumento no percentual de acertos em conduta (15,5 pontos percentuais), manutenção em reconhecimento, decréscimo tanto em interação (19,4 pontos percentuais) quanto em seguimento (16,1 pontos percentuais).

Conclusão:

O estudo aponta uma curva crescente das notas nos exames OSCE, sugerindo um aumento no aprendizado geral em Urgências e Emergência ao longo do ano. No entanto, a análise minuciosa dos componentes revela diferentes curvas de desempenho. Não sendo possível supor as causas destes contrapontos, são sugeridos mais estudos na área.

Palavras-chave:
Educação Médica; Simulação; Comunicação em Saúde; Competência Clínica; Emergência

Abstract:

Introduction:

One of the major challenges in evaluating medical education is measuring practical skills, crossing the limits of theoretical knowledge. The Objective Structured Clinical Examination (OSCE) is an alternative for active and standardized assessment of clinical competencies. Despite its growing implementation, longitudinal studies that support its evaluative potential are still scarce.

Objective:

To analyze the learning curve of medical students based on continuous assessment of their OSCE exams and individual performances within the discipline of Urgent and Emergency Care.

Method:

This retrospective study is based on the analysis of data taken from assessment checklists from three consecutive OSCEs applied to sixth-year Brazilian medical students within the Urgent and Emergency Care program of the 2019 academic year.

Result:

270 assessment sheets from a total of 90 students were analyzed. The group was made up of 51 females (56.7 percentage points) and 69 of the students (or 76.7 percentage points) were aged between 23 and 26 years old. Between the first and third OSCE, 67 students (74.4 percentage points) increased their final grade, the median of which increased by an average of 1.5 points. Of the four medical components evaluated - conduct, recognition, interaction and follow-up - there was an improvement of 15.5 percentage points in correct conduct, zero impact on the results concerning recognition and drops of 19.4 and 16.1 percentage points in the areas of communication and follow-up, respectively.

Conclusion:

The study points to an increasing curve in OSCE scores, suggesting an increase in general learning in Urgent and Emergency Care over the course of the year. However, careful analysis of the components reveals different performance curves. Since it is not possible to presume the causes of these counterpoints, further studies in the area are suggested.

Keywords:
Medical Education; Simulation Technique; Health Communication, Clinical Competency; Emergency

INTRODUÇÃO

A avaliação do ensino dentro do processo formativo é essencial, tanto para acompanhar o desenvolvimento dos alunos quanto para planejar ações educativas futuras11. Kolivand M, Esfandyari M, Heydarpour S. Examining validity and reliability of objective structured clinical examination for evaluation of clinical skills of midwifery undergraduate students: A descriptive study. BMC Med Educ. 2020;20(1):1-7.. Provas escritas (ex. respostas curtas, múltipla escolha ou redações) ao avaliar apenas conhecimentos objetivos e factuais, muitas vezes limitam o potencial do exame a um conhecimento superficial11. Kolivand M, Esfandyari M, Heydarpour S. Examining validity and reliability of objective structured clinical examination for evaluation of clinical skills of midwifery undergraduate students: A descriptive study. BMC Med Educ. 2020;20(1):1-7.)-(33. Gupta P, Dewan P, Singh T. Objective structured clinical examination (OSCE) revisited. Indian Pediar. 2010;47(11):911-20.. No contexto de Urgências e Emergências em que - além de se saber - é preciso saber fazer e saber fazer rápido, uma avaliação limitada é especialmente perigosa44. Burden A, Pukenas EW. Use of Simulation in Performance Improvement. Anesthesiol Clin. 2018;36(1):63-74.. Em comparação, as avaliações em cenário real são mais abrangentes; no entanto, estão mais susceptíveis à subjetividade do avaliador. Ademais, devido à imprevisibilidade das emergências e a impossibilidade de erros, essas avaliações práticas são mais inconsistentes.

Para contornar esses problemas, alguns métodos avaliativos foram propostos, mas pecaram principalmente em sua subjetividade, baixa confiabilidade e reprodutibilidade55. Franco CAGS, Franco RS, Santos VM, Uiema LA, Mendonça NB, Casanova AP, et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med. 2015;39(3):433-41.. Nesse contexto, o Exame Clínico Objetivo Estruturado (OSCE) - que se constitui em um circuito de múltiplas estações com simulação de cenários reais - ganhou espaço como método avaliativo, pois consegue, de forma padronizada, avaliar competências médica11. Kolivand M, Esfandyari M, Heydarpour S. Examining validity and reliability of objective structured clinical examination for evaluation of clinical skills of midwifery undergraduate students: A descriptive study. BMC Med Educ. 2020;20(1):1-7.),(33. Gupta P, Dewan P, Singh T. Objective structured clinical examination (OSCE) revisited. Indian Pediar. 2010;47(11):911-20.),(44. Burden A, Pukenas EW. Use of Simulation in Performance Improvement. Anesthesiol Clin. 2018;36(1):63-74.),(66. Kaneko RMU, Lopes MHBM. Realistic health care simulation scenario: What is relevant for its design? Rev da Esc Enferm. 2019;53.)-(88. Pereira VH, Morgado P, Gonçalves M, Costa L, Sousa N, Cerqueira J. Um exame clínico objetivo estruturado para avaliar aptidões de semiologia em alunos de medicina. Acta Med Port. 2016;29(12):819-25.. Por definição, as competências médicas são os atributos essenciais que o profissional deve ter para exercer uma boa prática. Não há um consenso global sobre quais são as competências médicas, pois elas variam conforme diretrizes e locais; em geral, engloba grandes temas como saber fazer uso criterioso da comunicação, ter conhecimento, habilidade técnica, raciocínio clínico, emoções, valores e reflexão da prática diária em benefício do paciente11. Kolivand M, Esfandyari M, Heydarpour S. Examining validity and reliability of objective structured clinical examination for evaluation of clinical skills of midwifery undergraduate students: A descriptive study. BMC Med Educ. 2020;20(1):1-7.),(33. Gupta P, Dewan P, Singh T. Objective structured clinical examination (OSCE) revisited. Indian Pediar. 2010;47(11):911-20.),(55. Franco CAGS, Franco RS, Santos VM, Uiema LA, Mendonça NB, Casanova AP, et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med. 2015;39(3):433-41.),(99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.)-(1111. Bogo M, Regehr C, Katz E, Logie C, Tufford L, Litvack A. Evaluating an Objective Structured Clinical Examination (OSCE) Adapted for Social Work. Res Soc Work Pract. 2012;22(4):428-36.. O OSCE permite avaliar um conjunto de competências clínicas pré-determinadas em que cada competência clínica é composta por componentes menores que - por sua vez - são avaliados individualmente em checklists predeterminadas33. Gupta P, Dewan P, Singh T. Objective structured clinical examination (OSCE) revisited. Indian Pediar. 2010;47(11):911-20.),(55. Franco CAGS, Franco RS, Santos VM, Uiema LA, Mendonça NB, Casanova AP, et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med. 2015;39(3):433-41.),(1212. Harden RM. Twelve tips for organizing an objective structured clinical examination (OSCE). Med Teach . 1990;12(3-4):259-64.),(1313. Rodrigues MAVM. “OSCE sombra”: experiência na aplicação deste novo método de avaliação formativa de habilidades clínicas para estudantes da graduação da Faculdade de Medicina da Universidade de São Paulo. Tese de doutorado. 2019..

O OSCE também é integrado por um sistema de feedback no qual os avaliadores expõem aos alunos o que deles é esperado e como foi seu desempenho em cada estação, e recebem relatos dos alunos acerca de suas experiências no exame. Essa troca proporciona um alinhamento de expectativas e facilita o ajuste dos parâmetros de avaliação55. Franco CAGS, Franco RS, Santos VM, Uiema LA, Mendonça NB, Casanova AP, et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med. 2015;39(3):433-41.),(1414. Bernard AW, Ceccolini G, Feinn R, Rockfeld J, Rosenberg I, Thomas L, et al. Medical students review of formative OSCE scores, checklists, and videos improves with student-faculty debriefing meetings. Med Educ Online. 2017;22(1):1-5.),(1515. Wardman MJ, Yorke VC, Hallam JL. Evaluation of a multi-methods approach to the collection and dissemination of feedback on OSCE performance in dental education. Eur J Dent Educ. 2018;22(2):e203-e211.. O sistema de feedbacks permitiu o uso do OSCE como ferramenta de ensino (OSCE formativo), em que a nota final não determina se o aluno é aprovado ou não na disciplina44. Burden A, Pukenas EW. Use of Simulation in Performance Improvement. Anesthesiol Clin. 2018;36(1):63-74.. O uso do OSCE formativo permite maior preparo ao OSCE avaliativo, e seu uso é bem aceito na literatura77. Heal C, D’Souza K, Banks J, Malau-Aduli BS, Turner R, Smith J, et al. A snapshot of current Objective Structured Clinical Examination (OSCE) practice at Australian medical schools. Med Teach. 2019;41(4):441-7.),(1616. Chisnall B, Vince T, Hall S, Tribe R. Evaluation of outcomes of a formative objective structured clinical examination for second-year UK medical students. Int J Med Educ. 2015;6:76-83.)-(1818. Bevan J, Russell B, Marshall B. A new approach to OSCE preparation - PrOSCEs. BMC Med Educ . 2019;19(1):1-6..

No Brasil a implementação do OSCE ainda é lenta, e o número de escolas médicas que aderiram ao método OSCE é restrito. Acredita-se que isso se deva - principalmente aos altos custos de criação e manutenção de laboratórios de simulação, e à complexidade de aplicação1717. Barbosa Júnior SS. Objective Structured Clinical Examination (OSCE) como ferramenta avaliativa no curso médico da Faculdade Pernambucana de Saúde: treze anos de experiência. 2019. [acesso em 10 jul 2021]. Disponível em: Disponível em: http://repositorio.fps.edu.br:80/jspui/handle/4861/197 .
http://repositorio.fps.edu.br:80/jspui/h...
),(1919. Amaral FTV, Troncon LEA. Participação de estudantes de medicina como avaliadores em exame estruturado de habilidades clínicas (Osce). Rev Bras Educ Med . 2007;31(1):81-9.. No entanto, a literatura mostra a simulação como uma tendência mundial que permite o treinamento interprofissional e a inserção da discussão de temas como profissionalismo, comunicação efetiva e ética99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.),(2020. Pazin-Filho A, Carlotti APDCP, Scarpelini S. Implantação e desenvolvimento do Laboratório de Simulação (LabSim) da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRP-USP). Med. 2017;50(4):272-83.. Outro indício do seu crescente uso é que - desde 2004 - a Comissão Nacional de Residência Médica (CNRM) acatou a possibilidade de existirem provas práticas para residência, integrando os vários domínios esperados de um profissional médico2121. Braccialli LAD, Oliveira MAC. Desafios na formação médica: a contribuição da avaliação. Rev Bras Educ Med . 2012;36(2):280-8.)-(2323. Mourão MGM, Caldeira AP, Raposo JJBV. A avaliação no contexto da formação médica brasileira. Rev Bras Educ Med . 2009;33(3):452-64.. As Diretrizes Curriculares Nacionais (DCNs) - publicadas em 2014 - enaltecem o uso da simulação do cenário de emergência como meio de aprimorar a tomada de decisões e gestão clínica do paciente, a consequente prevenção de iatrogenias e a promoção de segurança ao indivíduo99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.. Nesse contexto, o OSCE está entre os exames padrão ouro para avaliar objetivamente competências médicas55. Franco CAGS, Franco RS, Santos VM, Uiema LA, Mendonça NB, Casanova AP, et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med. 2015;39(3):433-41.. Estima-se que o ambiente de urgências será vivenciado por 70% dos médicos recém-formados, vinculados ou não em programas de residência médica99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.. Apesar disso, as DCNs não são claras em como deve ser a aplicação do ensino de Urgências e Emergências, apenas apontam a necessidade de o estudante “aprender em situações e ambientes protegidos e controlados, ou em simulações da realidade, identificando e avaliando o erro, como insumo da aprendizagem profissional e organizacional e como suporte pedagógico”2424. Brasil. Diretrizes Curriculares Nacionais do Curso de Medicina. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução no 3, de 20 de junho de 2014..

No cenário atual, seja em âmbito nacional ou global, percebe-se um aumento na prevalência de casos de urgências e emergências, atribuído principalmente à maior longevidade, sobrevida a doenças crônicas, aumento de acidentes automobilísticos e de violência civil; no entanto, é preocupante o despreparo profissional, em âmbito individual e nos trabalhos multiprofissionais99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47..

O exame clínico objetivo estruturado (OSCE) vem à tona em um contexto de fomento às metodologias ativas pelas DCNs e de aumento na demanda de profissionais aptos a trabalhar com situações de urgências e emergências. Uma combinação que pode render frutos para uma disciplina tão fundamental à formação médica e à saúde pública99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.),(2525. Pereira GA, Stadler AMU, Uchimura KY. O Olhar do Estudante de Medicina sobre o Sistema Único de Saúde: a Influência de Sua Formação. Rev Bras Educ Med . 2018;42(3):57-66.),(2626. Zimmermann MH. Avaliação Clínica Objetiva Estruturada (OSCE) com feedback efetivo e vídeo feedback: sua interface no ensino e na aprendizagem 2019. 362 f. Tese (Doutorado em Ensino de Ciência e Tecnologia) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2019. p. 13-20..

É possível que a utilização da metodologia OSCE apresente resultados mais fidedignos que o método tradicional e que - pela interpretação dos dados e do seu sistema de feedback - possa se observar a melhoria do ensino. O presente estudo teve o objetivo de avaliar o desempenho dos alunos que fizeram uso da metodologia OSCE ao longo de um ano de avaliações na disciplina de Urgência e Emergência em um curso de Medicina de uma Universidade do Sul do Brasil.

MÉTODO

Trata-se de um estudo com delineamento retrospectivo, realizado com alunos do 6º ano do curso de medicina da Universidade Positivo ao longo no ano de 2019. O instrumento de análise utilizado foram checklists avaliativos de três exames clínicos objetivos estruturados (OSCE) consecutivos, da disciplina de Urgência e Emergência. Foram incluídos alunos do 6º ano de medicina da Universidade Positivo e que estivessem cursando a disciplina de urgência e emergência no ano de 2019. Foram excluídos os alunos que não tiveram três avaliações OSCE consecutivas ou que apresentassem checklists incompletos.

Os itens avaliados nos checklists foram divididos em quatro grupos, conforme os componentes que estavam avaliando, sendo eles: interação (do aluno para com o paciente), reconhecimento (realização de diagnóstico sindrômico), conduta (instituição das primeiras medidas de tratamento) e seguimento (orientações dadas ao paciente).

Este estudo foi aprovado pelo Comitê de Ética e Pesquisa da Universidade Positivo sob número de parecer 4.260.982 em 05/09/2020.

O OSCE

A avaliação OSCE foi aplicada a todos os alunos do sexto ano de medicina, em três momentos diferentes, um a cada trimestre do internato, com a mesma graduação de dificuldade. Os temas escolhidos foram retirados do conteúdo programático do curso; sendo assim, nenhuma situação a ser avaliada estava além do plano de ensino de cada matéria.

O exame foi aplicado em um único dia e período para todos os alunos. Inicialmente o grupo foi confinado em duas salas, sem acesso a meios de comunicação e redes a fim de manter o sigilo da questão a ser resolvida, evitando viés durante a execução. Quatro alunos - por vez - eram convocados para cada rodízio avaliativo: composto de quatro estações de simulação: clínica médica (CM), urgência e emergência (UE), saúde mental (SM) e clínica cirúrgica (CC).

Cada aluno tinha um minuto para ler a questão a ser resolvida, previamente fixada na porta, e cinco minutos para atuar dentro do cenário. O cenário de prática acontecia numa sala de espelhos que simulava um consultório. Nela, o aluno era observado por dois avaliadores em cada estação, sem que esses fossem vistos ou ouvidos pelo avaliado.

Dentro de cada estação, diferentes recursos poderiam estar disponíveis, tais como atores simulando pacientes, bonecos de simulação realística, protótipos anatômicos, equipamentos hospitalares, materiais de uso médico. Os atores eram voluntários e capacitados por meio de um treinamento prévio com um profissional de artes cênicas. O aluno não carregava nenhum material didático durante a prova; tampouco recebia ajuda do avaliador. O professor avaliador somente intervinha quando o aluno completava a questão ou havia alguma questão pontual a ser respondida. Concluída a resposta, seguia para a estação seguinte, até que completasse as quatro áreas.

Concluído o exame, os alunos eram direcionados para uma nova sala, onde era realizado o feedback sobre os casos vividos em cada estação - uma maneira de retorno comentado sobre as situações - envolvendo o que era esperado de cada estação, bem como alguns erros comuns cometidos, mantendo sempre a confidencialidade. A partir da interação entre docente e discente, esse momento atua como ferramenta de resolução de conflitos educacionais, auxiliando o aluno a crescer com as dificuldades, lidar com suas potencialidades e sensações após a simulação.

O método padrão foi baseado em checklists impressos, identificados e pré-agrupados de acordo com o rodízio de alunos, e preenchidos pelos docentes avaliadores. Os checklists foram confeccionados pelo docente responsável da cadeira, avaliando - objetivamente - pontos essenciais na postura, raciocínio e atendimento de situações prevalentes na prática médica. Contemplando aspectos de comunicação, raciocínio diagnóstico da situação, tomada de conduta e terapêutica e seguimento na finalização do caso. A avaliação de cada ponto acontecia sob ótica objetiva, na qual o papel do avaliador era julgar se o aluno cumpriu ou não tal tarefa. Cada um dos aspectos a serem avaliados possuíam pesos diferentes, totalizando dez pontos caso todas as demandas fossem cumpridas.

Os dados coletados foram computados com auxílio do programa Excel. As variáveis contínuas foram expressas como média ± desvio-padrão e comparadas com o teste de Wilcoxon Matched-pairs. As variáveis categóricas foram expressas em porcentagens e comparadas com o teste do qui-quadrado ou teste exato de Fisher, conforme apropriado. Valores de p menores que 0,05 foram considerados estatisticamente significativos.

RESULTADO

Foram triados 100 alunos (300 checklists) e - após aplicados os critérios de exclusão - tornaram-se elegíveis ao estudo 90 alunos (270 checklists). Do total de alunos estudados, 51 (56,7%) eram do gênero feminino e 39 (43,3%) do masculino. Em relação a idade, a média foi de 25,6 ± 2,3 anos: 69 (76,7%) tinham entre 23 e 26 anos.

A mediana na primeira nota foi de 6,0 (IIQ=5 - 7,25); na segunda 6,0 (IIQ= 5 - 9) e na terceira 7,5 (IIQ 6,5 - 8,5). Entre o primeiro e o terceiro exame, a mediana aumentou 1,5 ponto (p<0,0001). O mesmo acréscimo também pode ser notado na comparação das medianas 2 e 3 (p=0,03) - um aumento de 1,5 ponto (Tabela 1).

Tabela 1
Análise das notas finais nos três checklists.

A nota máxima no primeiro OSCE foi de 9,25 e a mínima, 1,25. No terceiro OSCE, a nota máxima foi 10,0 e a mínima 2,5 (Tabela 1).

No gráfico 1, é possível observar que houve um significativo aumento nas notas quando se comparou as medianas dos OSCEs 1 e 3 (p < 0,0001) e entre as medianas dos OSCEs 2 e 3 (p=0,03). Não houve diferença significativa entre os OSCEs 1 e 2 (p=0,07).

Gráfico 1
Pontuação obtida em cada uma das simulações.

Nota-se que 57 (63,3%) alunos obtiveram acréscimo nas notas finais quando comparamos o primeiro e o terceiro exame clínico objetivo estruturado (OSCE). Há também os casos de alunos que mantiveram suas notas; porém, na comparação entre a primeira e a última avaliação OSCE, esses casos limitaram-se a três ocorrências (Gráfico 2).

Gráfico 2
Frequência de alteração das notas.

No gráfico 2, estão disponibilizados os dados sobre as alterações nas notas no decorrer do ano estudado. Observa-se que a nota final no OSCE 3 foi a maior em relação aos anteriores.

Em relação aos 4 componentes analisados: interação, reconhecimento, conduta e seguimento foram encontradas diferentes evoluções, como pode ser observado na Tabela 2. Observa-se que quando comparados os OSCEs 1 e 3, nos componentes interação e seguimento houve menor número de acertos, enquanto que para reconhecimento e conduta houve aumento.

No componente interação, pode-se inferir que houve redução no percentual médio de acertos. De 18,3 pontos percentuais do primeiro para o segundo OSCE e de 1,1 pontos percentuais do segundo para o terceiro.

Observou-se no componente reconhecimento um decréscimo de 3,6% entre o primeiro e segundo exame, enquanto do segundo para o terceiro exame houve um acréscimo de 3,7 pontos percentuais.

Com relação ao componente conduta, a taxa de acerto subiu, tanto entre o primeiro e segundo exame (em 7,8 pontos percentuais) quanto do segundo e terceiro (em 7,7 pontos percentuais).

No componente seguimento, houve queda de 10,5 pontos percentuais entre primeiro e segundo exames e de 5,6 pontos percentuais entre o segundo e terceiro (Tabela 2).

Tabela 2
Percentual de acerto em cada um dos parâmetros analisados.

DISCUSSÃO

Os dados encontrados em nosso estudo indicam que houve um acréscimo no desempenho geral dos alunos. Atribui-se esse aumento ao ganho de conhecimento obtido, à medida que o tempo de exposição ao internato aumentava; ao ganho de prática, à medida que mais avaliações eram realizadas e que recebiam instruções de melhorias nos seus feedbacks1515. Wardman MJ, Yorke VC, Hallam JL. Evaluation of a multi-methods approach to the collection and dissemination of feedback on OSCE performance in dental education. Eur J Dent Educ. 2018;22(2):e203-e211.),(1616. Chisnall B, Vince T, Hall S, Tribe R. Evaluation of outcomes of a formative objective structured clinical examination for second-year UK medical students. Int J Med Educ. 2015;6:76-83.),(2727. Borges MC, Miranda CH, Santana RC, Bollela VR. Formative assessment and feedback as learning tools in health professions education. Med. 2014;47(3):324-31.. Esse resultado também parece estar de acordo com aquele preconizado pela literatura. Segundo estudos anteriores, esse aumento já era esperado, em função da vivência prática nos serviços, pelas aulas teóricas, e pela preparação para a prova de residência - caminho escolhido pela maioria dos médicos recém formados2828. Campos MCG. Avaliação do internato médico em uma unidade de pronto atendimento, sob a perspectiva dos alunos, para proposição de modelo curricular em urgências clínicas ao colegiado do curso de Medicina da Faculdade de Ciências Médicas e da Saúde de Sorocaba-PUCSP, 2013. p. 20-7.)-(3131. Sakai MH, Ferreira Filho OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de Medicina: aplicação do teste de equalização no Teste de Progresso. Rev Bras Educ Med . 2011;35(4):493-501..

As avaliações tradicionais possivelmente revelariam resultado semelhante ao do presente estudo no quesito nota geral ou em conhecimento. No entanto, diferentemente dessas avaliações, acredita-se que o OSCE possibilita uma avaliação de mais componentes dentro de uma mesma competência médica, e sua análise sinalize pontos importantes dentro do processo de aprendizado.

Desempenho na Interação

A avaliação do componente interação abrangeu o vínculo com o paciente por meio da comunicação verbal e não-verbal. Observou-se uma redução na porcentagem de acertos ao longo do ano. Esse declínio totalizou 18,3 pontos percentuais, do primeiro para o segundo OSCE; de 1,1 ponto percentual, do segundo para o terceiro.

O componente interação se destacou por ser o único em que houve decréscimo dentre as categorias avaliadas. Isso reafirma a dificuldade de ensino desta habilidade no currículo médico e, por consequência, na prática clínica. Estudos vão ao encontro dos resultados, revelando que 20% dos pacientes adultos relatam ter problemas de comunicação com seu médico assistente3232. Schoenbaum SC, Bovbjerg RR. Malpractice Reform Must Include Steps to Prevent Medical Injury. Ann Intern Med. 2004;140(1):51-3.. Os problemas mais comumente relatados pelos pacientes incluem falta de informações ou informações incorretas, falta de atendimento, incapacidade dos profissionais de saúde em atender às necessidades e expectativas dos pacientes e falta de respeito e envolvimento44. Burden A, Pukenas EW. Use of Simulation in Performance Improvement. Anesthesiol Clin. 2018;36(1):63-74.),(3333. Nørgaard B, Ammentorp J, Kyvik KO, Kofoed PE. Communication skills training increases self-efficacy of health care professionals. J Contin Educ Health Prof. 2012;32(2):90-7..

A má comunicação entre profissionais tem sido descrita como um fator comum de atrasos no atendimento, erros médicos e eventos adversos, que acabam por gerar desde a diminuição da interação profissional até conflitos jurídicos3434. Franco CAGDS, Franco RS, Lopes JMC, Severo M, Ferreira MA. Clinical communication skills and professionalism education are required from the beginning of medical training - A point of view of family physicians. BMC Med Educ . 2018;18(1):1-13..

Desempenho no Reconhecimento

É fundamental aos médicos de serviço de emergência saber reconhecer uma situação de emergência e - principalmente - estarem aptos a fazê-la de maneira ágil e em qualquer circunstância. Num cenário em que a doença é potencialmente fatal, priorizam-se diagnósticos sindrômicos abrangentes, que levem a uma conduta assertiva de estabilização do quadro, para então se instaurar um raciocínio clínico de longa duração99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47..

No componente reconhecimento (capacidade de fazer diagnóstico sindrômico), houve aumento discreto, de 0,1 pontos porcentuais, na comparação entre o primeiro e o último OSCE (Tabela 2); contudo, essa manutenção do percentual de acerto pode ser vista como um aspecto positivo. As notas se mantiveram acima dos 90% durante todo o período analisado, sendo este o componente com maior taxa de acerto entre os 4.

O ensino da abordagem diagnóstica no cenário de urgência e emergência é preconizado pelas DCNs99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.; disso a formação atual parece estar de acordo.

Desempenho em Conduta

No componente conduta - primeiras medidas de tratamento - houve um crescente nas notas, que culminou no aumento de 15,5 pontos percentuais observados entre o primeiro e o terceiro exame. Ao longo dos três exames, esse foi o componente que apresentou o aumento mais significativo (Tabela 2).

Condutas assertivas têm importância ainda maior no cenário de Urgências e Emergências, uma vez que a instauração de medidas iniciais de suporte garantem maior estabilização do quadro e, por sua vez, redundam em redução da mortalidade99. Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47..

Desempenho em Seguimento

O componente seguimento, que avaliou as orientações dadas ao paciente, revelou uma queda de 10,5 pontos percentuais entre primeiro e segundo exames, e de 5,6 pontos percentuais entre o segundo e terceiro: não houve incremento no desempenho e conhecimento dos alunos (Tabela 2).

A orientação sobre as terapêuticas instituídas e a comunicação de uma forma clara influem na compreensão do doente sobre sua enfermidade e no bom tratamento. Assim, a competência médica exigida neste momento do atendimento também envolve comunicação médico-paciente.

Há fortes indícios de que melhores competências de comunicação e profissionalismo são cruciais para melhores resultados em saúde, uma vez que promovem a tomada de decisão compartilhada e melhora a adesão às instruções terapêuticas, para a satisfação tanto de pacientes quanto de médicos44. Burden A, Pukenas EW. Use of Simulation in Performance Improvement. Anesthesiol Clin. 2018;36(1):63-74.),(3434. Franco CAGDS, Franco RS, Lopes JMC, Severo M, Ferreira MA. Clinical communication skills and professionalism education are required from the beginning of medical training - A point of view of family physicians. BMC Med Educ . 2018;18(1):1-13.),(3535. Terezam R, Reis-Queiroz J, Hoga LAK. The importance of empathy in health and nursing care. Rev Bras Enferm. 2017;70(3):669-70..

Discrepância entre o Comunicar e o Fazer

Analisando por competências dentro do exame clínico objetivo estruturado (OSCE), o presente trabalho revelou que os futuros médicos melhoram suas capacidades de estabelecer um tratamento adequado e eficaz no cenário de emergência. Por sua vez, o desempenho desse mesmo grupo regrediu em competências comunicativas durante o período avaliado, tal evidência reafirma o papel do OSCE como ferramenta para detecção de falhas no ensino, uma vez que outros métodos não teriam condições de avaliar e reconhecer a comunicação como problema3636. Teng VC, Nguyen C, Hall KT, Rydel T, Sattler A, Schillinger A et al. Rethinking empathy decline: results from an OSCE. Clin Teach. 2017;14(6):441-5.. O ensino de habilidades de comunicação, apesar de preconizado pelas DCNs, ainda é pouco inserido no contexto da educação médica, bem como em outros cursos da área da saúde3434. Franco CAGDS, Franco RS, Lopes JMC, Severo M, Ferreira MA. Clinical communication skills and professionalism education are required from the beginning of medical training - A point of view of family physicians. BMC Med Educ . 2018;18(1):1-13..

Ainda que a falha nas habilidades técnicas tenham um papel importante, as deficiências não-técnicas estão entre as principais causas de erro na área da saúde. Estudos estimam que causas não técnicas estão associadas a 82% dos 359 incidentes anestésicos evitáveis. A questão nesse caso não é sobre negar o erro; em qualquer sistema que envolve humanos, o erro se torna inevitável. No entanto, há que se minimizar, reconhecer e diminuir os efeitos do erro ao invés de simplesmente ignorá-lo e culpar e repreender quando ele ocorrer37.

Pressupõe-se que a queda no componente interação também possa ser sintoma da construção do ensino médico baseado no modelo Flexneriano, que recruta grande parte da grade curricular para o estudo da doença, das suas causas e tratamentos, mas negligencia pontos importantes do cuidado e da assistência à saúde - como a importância das ferramentas comunicativas3838. Stelet BP, Castiel LD, Moraes DR. Anomalisa e o ensino da comunicação clínica na prática médica. Cad Saude Publica. 2017;33(2):2-13.)-(4040. Silva TF, David HMSL, Caldas CP, Martins EL, Ferreira SR. O acolhimento como estratégia de vigilância em saúde para produção do cuidado: uma reflexão epistemológica. Saúde em Debate. 2018;42(spe4):249-60..

Por um lado, os métodos tradicionais de avaliação, objetivos e com graduação de nota se mostram insuficientes para avaliar requisitos como habilidades clínicas, conhecimento, atitudes, comunicação e profissionalismo; por outro, provas práticas estão sujeitas à subjetividade do examinador. O OSCE aparenta ser instrumento promissor, uma vez que avalia objetivamente e de forma padronizada as questões subjetivas, do atendimento clínico77. Heal C, D’Souza K, Banks J, Malau-Aduli BS, Turner R, Smith J, et al. A snapshot of current Objective Structured Clinical Examination (OSCE) practice at Australian medical schools. Med Teach. 2019;41(4):441-7.),(1010. Dahlin M, Söderberg S, Holm U, Nilsson I, Farnebo LO. Comparison of communication skills between medical students admitted after interviews or on academic merits. BMC Med Educ . 2012;12(1):2-6.),(1717. Barbosa Júnior SS. Objective Structured Clinical Examination (OSCE) como ferramenta avaliativa no curso médico da Faculdade Pernambucana de Saúde: treze anos de experiência. 2019. [acesso em 10 jul 2021]. Disponível em: Disponível em: http://repositorio.fps.edu.br:80/jspui/handle/4861/197 .
http://repositorio.fps.edu.br:80/jspui/h...
),(4141. Zimmermann MH, Silveira MCFS, Gomes RZ. O Professor e a Arte de Avaliar no Ensino Médico de uma Universidade no Brasil. Rev Bras Educ Med . 2019;43(3):5-15.),(4242. Daniels VJ, Strand AC, Lai H, Hillier T. Impact of tablet-scoring and immediate score sheet review on validity and educational impact in an internal medicine residency Objective Structured Clinical Exam (OSCE). Med Teach . 2019;41(9):1039-44..

CONCLUSÃO

Ao longo do período analisado - comparativamente - o exame clínico objetivo estruturado (OSCE) revelou um aumento progressivo das notas finais, elevando a mediana e o percentual de acertos globais nas situações simuladas de urgência e emergência. Apesar deste incremento na nota final, foram encontrados diferentes desempenhos em cada um dos quatro componentes avaliados.

O componente reconhecimento teve uma taxa de acerto estável e superior a 90% pela maioria dos alunos. O componente conduta apresentou uma curva crescente ao comparar o primeiro com o último OSCE, revelando um incremento importante no aprendizado. Porém, nos dois outros componentes - interação e seguimento - houve decréscimo na curva de aprendizado.

Os diferentes desempenhos em cada um dos componentes analisados contrasta com o aumento global da nota final. Não sendo possível determinar as causas destes fenômenos, são sugeridos novos estudos com número de alunos e de OSCEs maior, bem como a análise de OSCEs em diferentes disciplinas e universidades, podendo, assim, aprofundar e solidificar o entendimento desta metodologia avaliativa de ensino.

LIMITAÇÕES DO ESTUDO

O estudo realizado apresenta limitações quanto à sua amostra, população e tempo de análise. A amostra pode ser considerada um fator limitante visto que essa não se deu por seleção aleatória e apresentou um número reduzido. Igualmente, a população correspondia a apenas uma série e disciplina, não possibilitando a realização de um grupo controle. Outro fator limitante é o tempo em que as avaliações aconteceram, de apenas um ano. Isso permite considerar os resultados encontrados apenas para a turma e matéria em questão, não podendo inferir com uma característica de uma população mais ampla.

REFERÊNCIAS

  • 1
    Kolivand M, Esfandyari M, Heydarpour S. Examining validity and reliability of objective structured clinical examination for evaluation of clinical skills of midwifery undergraduate students: A descriptive study. BMC Med Educ. 2020;20(1):1-7.
  • 2
    Garcia J. Avaliação e aprendizagem na educação superior. Estud em Avaliação Educ. 2009;20(43):201.
  • 3
    Gupta P, Dewan P, Singh T. Objective structured clinical examination (OSCE) revisited. Indian Pediar. 2010;47(11):911-20.
  • 4
    Burden A, Pukenas EW. Use of Simulation in Performance Improvement. Anesthesiol Clin. 2018;36(1):63-74.
  • 5
    Franco CAGS, Franco RS, Santos VM, Uiema LA, Mendonça NB, Casanova AP, et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med. 2015;39(3):433-41.
  • 6
    Kaneko RMU, Lopes MHBM. Realistic health care simulation scenario: What is relevant for its design? Rev da Esc Enferm. 2019;53.
  • 7
    Heal C, D’Souza K, Banks J, Malau-Aduli BS, Turner R, Smith J, et al. A snapshot of current Objective Structured Clinical Examination (OSCE) practice at Australian medical schools. Med Teach. 2019;41(4):441-7.
  • 8
    Pereira VH, Morgado P, Gonçalves M, Costa L, Sousa N, Cerqueira J. Um exame clínico objetivo estruturado para avaliar aptidões de semiologia em alunos de medicina. Acta Med Port. 2016;29(12):819-25.
  • 9
    Pereira Junior GA, Fraga GP, Arnaud F, Gula EA, Slullitel A, Garcia VL. O Ensino de Urgência e Emergência de acordo com as Novas Diretrizes Curriculares Nacionais e a Lei dos Mais Médicos. Cadernos ABEM. 2015;11:20-47.
  • 10
    Dahlin M, Söderberg S, Holm U, Nilsson I, Farnebo LO. Comparison of communication skills between medical students admitted after interviews or on academic merits. BMC Med Educ . 2012;12(1):2-6.
  • 11
    Bogo M, Regehr C, Katz E, Logie C, Tufford L, Litvack A. Evaluating an Objective Structured Clinical Examination (OSCE) Adapted for Social Work. Res Soc Work Pract. 2012;22(4):428-36.
  • 12
    Harden RM. Twelve tips for organizing an objective structured clinical examination (OSCE). Med Teach . 1990;12(3-4):259-64.
  • 13
    Rodrigues MAVM. “OSCE sombra”: experiência na aplicação deste novo método de avaliação formativa de habilidades clínicas para estudantes da graduação da Faculdade de Medicina da Universidade de São Paulo. Tese de doutorado. 2019.
  • 14
    Bernard AW, Ceccolini G, Feinn R, Rockfeld J, Rosenberg I, Thomas L, et al. Medical students review of formative OSCE scores, checklists, and videos improves with student-faculty debriefing meetings. Med Educ Online. 2017;22(1):1-5.
  • 15
    Wardman MJ, Yorke VC, Hallam JL. Evaluation of a multi-methods approach to the collection and dissemination of feedback on OSCE performance in dental education. Eur J Dent Educ. 2018;22(2):e203-e211.
  • 16
    Chisnall B, Vince T, Hall S, Tribe R. Evaluation of outcomes of a formative objective structured clinical examination for second-year UK medical students. Int J Med Educ. 2015;6:76-83.
  • 17
    Barbosa Júnior SS. Objective Structured Clinical Examination (OSCE) como ferramenta avaliativa no curso médico da Faculdade Pernambucana de Saúde: treze anos de experiência. 2019. [acesso em 10 jul 2021]. Disponível em: Disponível em: http://repositorio.fps.edu.br:80/jspui/handle/4861/197
    » http://repositorio.fps.edu.br:80/jspui/handle/4861/197
  • 18
    Bevan J, Russell B, Marshall B. A new approach to OSCE preparation - PrOSCEs. BMC Med Educ . 2019;19(1):1-6.
  • 19
    Amaral FTV, Troncon LEA. Participação de estudantes de medicina como avaliadores em exame estruturado de habilidades clínicas (Osce). Rev Bras Educ Med . 2007;31(1):81-9.
  • 20
    Pazin-Filho A, Carlotti APDCP, Scarpelini S. Implantação e desenvolvimento do Laboratório de Simulação (LabSim) da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRP-USP). Med. 2017;50(4):272-83.
  • 21
    Braccialli LAD, Oliveira MAC. Desafios na formação médica: a contribuição da avaliação. Rev Bras Educ Med . 2012;36(2):280-8.
  • 22
    Martins WA, Pinto LFS, Miranda JFA, Moço ETSM. Experiência de prova prática na seleção para a residência médica: exeqüibilidade, segurança e importância deste processo de avaliação. Rev Bras Educ Med . 2008;32(4):525-33.
  • 23
    Mourão MGM, Caldeira AP, Raposo JJBV. A avaliação no contexto da formação médica brasileira. Rev Bras Educ Med . 2009;33(3):452-64.
  • 24
    Brasil. Diretrizes Curriculares Nacionais do Curso de Medicina. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução no 3, de 20 de junho de 2014.
  • 25
    Pereira GA, Stadler AMU, Uchimura KY. O Olhar do Estudante de Medicina sobre o Sistema Único de Saúde: a Influência de Sua Formação. Rev Bras Educ Med . 2018;42(3):57-66.
  • 26
    Zimmermann MH. Avaliação Clínica Objetiva Estruturada (OSCE) com feedback efetivo e vídeo feedback: sua interface no ensino e na aprendizagem 2019. 362 f. Tese (Doutorado em Ensino de Ciência e Tecnologia) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2019. p. 13-20.
  • 27
    Borges MC, Miranda CH, Santana RC, Bollela VR. Formative assessment and feedback as learning tools in health professions education. Med. 2014;47(3):324-31.
  • 28
    Campos MCG. Avaliação do internato médico em uma unidade de pronto atendimento, sob a perspectiva dos alunos, para proposição de modelo curricular em urgências clínicas ao colegiado do curso de Medicina da Faculdade de Ciências Médicas e da Saúde de Sorocaba-PUCSP, 2013. p. 20-7.
  • 29
    Purim KSM, Borges LMC, Possebom AC. Perfil do médico recém-formado no sul do Brasil e sua inserção profissional. Rev Col Bras Cir. 2016;43(4):295-300.
  • 30
    Leite ICG, Teixeira MTB, Neves HS, Oliveira LRS, Garcia LAO, Cunha PHM. Avaliação da efetividade dos cursos preparatórios para residência médica. Rev Bras Educ Med . 2008;32(4):445-51.
  • 31
    Sakai MH, Ferreira Filho OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de Medicina: aplicação do teste de equalização no Teste de Progresso. Rev Bras Educ Med . 2011;35(4):493-501.
  • 32
    Schoenbaum SC, Bovbjerg RR. Malpractice Reform Must Include Steps to Prevent Medical Injury. Ann Intern Med. 2004;140(1):51-3.
  • 33
    Nørgaard B, Ammentorp J, Kyvik KO, Kofoed PE. Communication skills training increases self-efficacy of health care professionals. J Contin Educ Health Prof. 2012;32(2):90-7.
  • 34
    Franco CAGDS, Franco RS, Lopes JMC, Severo M, Ferreira MA. Clinical communication skills and professionalism education are required from the beginning of medical training - A point of view of family physicians. BMC Med Educ . 2018;18(1):1-13.
  • 35
    Terezam R, Reis-Queiroz J, Hoga LAK. The importance of empathy in health and nursing care. Rev Bras Enferm. 2017;70(3):669-70.
  • 36
    Teng VC, Nguyen C, Hall KT, Rydel T, Sattler A, Schillinger A et al. Rethinking empathy decline: results from an OSCE. Clin Teach. 2017;14(6):441-5.
  • 37
    Odell M. Human factors and patient safety: Changing roles in critical care. Aust Crit Care. 2011;24(4):215-7.
  • 38
    Stelet BP, Castiel LD, Moraes DR. Anomalisa e o ensino da comunicação clínica na prática médica. Cad Saude Publica. 2017;33(2):2-13.
  • 39
    Liberali R, Novack D, Duke P, Grosseman S. Communication skills teaching in Brazilian medical schools: What lessons can be learned? Patient Educ Couns. 2018;101(8):1496-9.
  • 40
    Silva TF, David HMSL, Caldas CP, Martins EL, Ferreira SR. O acolhimento como estratégia de vigilância em saúde para produção do cuidado: uma reflexão epistemológica. Saúde em Debate. 2018;42(spe4):249-60.
  • 41
    Zimmermann MH, Silveira MCFS, Gomes RZ. O Professor e a Arte de Avaliar no Ensino Médico de uma Universidade no Brasil. Rev Bras Educ Med . 2019;43(3):5-15.
  • 42
    Daniels VJ, Strand AC, Lai H, Hillier T. Impact of tablet-scoring and immediate score sheet review on validity and educational impact in an internal medicine residency Objective Structured Clinical Exam (OSCE). Med Teach . 2019;41(9):1039-44.
  • 2
    Avaliado pelo processo de double blind review.
  • FINANCIAMENTO

    Declaramos não haver financiamento.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz. Editor associado: Antonio da Silva Menezes Junior.

Datas de Publicação

  • Publicação nesta coleção
    11 Out 2021
  • Data do Fascículo
    2021

Histórico

  • Recebido
    01 Maio 2021
  • Aceito
    09 Ago 2021
Associação Brasileira de Educação Médica SCN - QD 02 - BL D - Torre A - Salas 1021 e 1023 , Asa Norte | CEP: 70712-903, Brasília | DF | Brasil, Tel.: (55 61) 3024-9978 / 3024-8013 - Brasília - DF - Brazil
E-mail: rbem.abem@gmail.com