Aplicabilidade da avaliação com consulta como estratégia de ensino em cursos de Medicina

Resumo:

Introdução:

Nas últimas décadas, as práticas pedagógicas e as metodologias de ensino têm experimentado mudanças radicais, culminando hoje com o crescimento exponencial de metodologias de ensino ativas. Apesar da crescente utilização dessas metodologias ativas nos cursos de Medicina, as formas de avaliação teórica foram pouco, ou nada, alteradas nas últimas décadas, o que não deveria ocorrer, pois os sistemas de avaliação precisam evoluir concomitantemente para garantir um processo de ensino-aprendizagem coeso e de qualidade.

Objetivo:

Este estudo evidencia como está inserida a avaliação com consulta em cursos de Medicina.

Método:

Foi desenvolvida uma revisão integrativa por meio de consulta de publicações indexadas no período dos últimos dez anos nas bases de dados da Biblioteca Nacional de Medicina dos Estados Unidos (PubMed), Scientific Electronic Library Online (SciELO), ScienceDirect e Education Resources Information Center (ERIC), em formato de artigos completos nas línguas portuguesa ou inglesa. Utilizaram-se os descritores a seguir de forma combinada, respectivamente em inglês e português: “medicine”, “assessment”, “open book examination”, “open book exam”, “open book test” e “open book assessment”; “medicina”, “avaliação”, “prova com consulta”, “avaliação com consulta” e “teste com consulta”.

Resultado:

Para a composição deste estudo, selecionaram-se 11 publicações que atenderam aos critérios de elegibilidade traçados, e, após a imersão teórica e análise delas, emergiram duas categorias principais: “A avaliação com consulta como recurso educacional para o ensino médico” e “A avaliação com consulta como alternativa pedagógica no cenário pandêmico”, as quais foram analisados à luz de uma revisão integrativa.

Conclusão:

Ainda que haja dúvidas e sejam necessários novos estudos, fica evidente que a avaliação com consulta é muito pertinente ao ensino médico, uma vez que contribui para a formação de profissionais com alta capacidade de questionamento e argumentação, preparados para rotinas de estudo e educação permanentes e que entendam que há constante evolução do conhecimento na área médica.

Palavras-chave:
Educação de graduação em Medicina; Educação médica; Ensino superior; Ensino; Avaliação educacional

Abstract:

Introduction:

In the last decades, pedagogical practices and teaching methodologies have experienced radical changes, culminating today with the exponential growth of active teaching methodologies. Despite the growing use of these active methodologies in medical courses, the theoretical evaluation models changed little, if at all, in the last decades, which should not occur, as the evaluation systems need to evolve concomitantly to ensure a cohesive, quality teaching-learning process.

Objective:

To demonstrate how open-book examination is inserted in medical courses.

Methods:

An integrative review was developed by searching for publications indexed in the last 10 years in the databases of the U.S. National Library of Medicine (PubMed), “Scientific Electronic Library Online” (SciELO), Science Direct, and the “Education Resources Information Center” (ERIC), as full articles written in Portuguese or English. The following descriptors were used in combination, respectively in English and Portuguese: “medicine”, “assessment”, “open book examination”, “open book exam”, “open book test” and “open book assessment”; “medicina”, “avaliação”, “prova com consulta”, “avaliação com consulta” and “teste com consulta”.

Results:

For this review, a total of eleven publications that met the eligibility criteria were selected, and after their theoretical immersion and analysis, two main categories emerged: “Open-book examination as an educational resource for medical education” and “Open-book examination as a pedagogical alternative in the pandemic scenario”, which were analyzed in the light of an integrative review.

Conclusion:

Although there are still doubts and further studies are required, it is evident that Open-Book examination is very pertinent to medical education, as it contributes to the training of professionals with high capacity for questioning and debating, who are prepared for permanent study and education routines, and who understand that there is constant evolution of knowledge in the medical field.

Keywords:
Undergraduate Medical Education; Medical Education; Higher Education; Teaching; Educational Measurement

INTRODUÇÃO

O processo de ensino-aprendizagem é fundamentado na aquisição de competências preestabelecidas pelos estudantes. A educação e a prática nas profissões de saúde requerem múltiplas habilidades cognitivas, psicomotoras, atitudinais e relacionais¹, as quais devem ser desenvolvidas ao longo do curso. A avaliação da aprendizagem tem papel crucial nesse processo, ao permitir avaliar a evolução dos alunos ao longo dos esforços educativos, visando compreender e delinear as ações necessárias para obter melhores resultados. Por esse motivo, é tema frequente de discussões e questionamentos, visto que a avaliação é uma responsabilidade ética da instituição formadora, ao garantir à sociedade que cada novo formando foi certificado nas competências essenciais exigidas para uma atuação profissional de qualidade².

Especificamente na avaliação do estudante de Medicina, deve-se não apenas preocupar-se em avaliar a retenção do conhecimento factual, mas também ter em mente a importância de avaliar habilidades mais complexas, relacionadas ao raciocínio clínico, à aplicação do conhecimento adquirido na solução de problemas concretos³, ao desenvolvimento de habilidades de comunicação, liderança e trabalho em equipe. Por consequência, o ensino e a avaliação em cursos de Medicina exigem maior sofisticação e passam a requerer estratégias diversificadas e inovadoras². Estudiosos demonstram que, quando se usam vários métodos de avaliação, podemos fornecer uma maior cobertura dos resultados de aprendizagem, pois é possível aferir diferentes componentes do “universo” de atributos e competências a serem adquiridos¹. Tais necessidades estão em consonância com as Diretrizes Curriculares Nacionais para cursos de graduação em Medicina de 2014⁴, que citam, no seu artigo 31, que “as avaliações dos estudantes basear-se-ão em conhecimentos, habilidades, atitudes e conteúdos curriculares desenvolvidos”. Apesar disso, a formação dos professores trata pouco de avaliação⁵ e menos ainda de avaliações complexas e de qualidade, com capacidade de analisar em profundidade o conhecimento adquirido. Ainda que os avanços de metodologias de ensino-aprendizagem sejam evidentes em todas as escolas médicas nas últimas décadas, os sistemas de avaliação não acompanharam tal evolução, o que não deve ser perpetuado, visto que nenhuma inovação pedagógica pode ignorar o sistema de avaliação⁶.

As avaliações nos cursos de Medicina tendem a ser pontuais, pouco abrangentes e predominantemente centradas na memorização de conhecimentos factuais, deixando de lado a incorporação de habilidades e outras competências mais complexas. Sabe-se que as decisões de aprovação e reprovação não devem ser tomadas com base em avaliações isoladas, metodologias únicas e pontos de dados individuais, porém isso é frequentemente visto em regulamentações tradicionais⁷.

Ademais, raramente há a preocupação de que as condições de emprego dos vários métodos de avaliação garantam validade e fidedignidade⁸. A utilização de avaliações com consulta a fontes externas (como cadernos, artigos, anotações, livros e até a internet) parece ser mais autêntica e próxima da prática profissional, não estando o sucesso na avaliação apenas ligado à memorização. Alunos inseridos em contextos de avaliações com consulta⁹ aplicam o pensamento crítico, preparam respostas detalhadas, trabalham de forma criativa, apresentam seus próprios pensamentos e se sentem mais seguros sobre os resultados do exame do que ao realizarem avaliações sem consulta.

Nos últimos anos, estamos vivenciando uma situação atípica causada pela pandemia da Covid-19, com severos impactos sobre os diversos níveis de educação. Especificamente, a pandemia gerou desafios sem precedentes para a avaliação nos cursos de Medicina¹⁰, evidenciando que é preciso saber avaliar nossos alunos com qualidade e confiabilidade. A experiência advinda desse período deve perdurar e ser embasada cientificamente para poder ser usada cada vez melhor, com mais segurança e conhecimento.

Dessa forma, o presente estudo objetivou evidenciar como está inserida a avaliação com consulta em cursos de Medicina.

MÉTODO

Foi desenvolvida uma revisão integrativa que buscou responder à seguinte pergunta norteadora:

• Como a avaliação com consulta está inserida em cursos de Medicina?

A escolha por esse desenho metodológico se deu pelo fato de a revisão integrativa possuir artifícios que valorizam sua aplicabilidade na área da saúde, visto que sintetiza estudos em suas especificidades e denota o cunho científico para a prática profissional¹¹.

As buscas nas bases de dados ocorreram no mês de maio de 2021, e foram consultadas publicações indexadas nas bases de dados da Biblioteca Nacional de Medicina dos Estados Unidos (PubMed), Scientific Electronic Library Online (SciELO), ScienceDirect e Education Resources Information Center (ERIC). Para as buscas realizadas em língua inglesa, utilizaram-se os descritores a seguir de forma combinada: “medicine”, “assessment”, “open book examination”, “open book exam”, “open book test” e “open book assessment”. Para as buscas realizadas em língua portuguesa, utilizaram-se os descritores a seguir, também de forma combinada: “medicina”, “avaliação”, “prova com consulta”, “avaliação com consulta” e “teste com consulta”. As buscas em português usaram os operadores booleanos (medicina) AND (avaliação) AND (“prova com consulta” OR “avaliação com consulta” OR “teste com consulta”). As buscas em inglês usaram os operadores booleanos (medicine) AND (assessment) AND (“open book examination” OR “open book exam” OR “open book test” OR “open book assessment”).

Os critérios adotados incluíram estudos publicados nos últimos dez anos, em português ou inglês, no formato de artigos completos, relacionados com o tema e não redundantes. Excluíram-se os artigos que não atenderam aos critérios já mencionados. A escolha por publicações no período mencionado teve a intenção de reunir um quantitativo de publicações relevantes e suficiente para gerar conhecimento e discussão sobre o tema e capaz de responder à pergunta de pesquisa.

Para atender aos critérios delineados, após a finalização das buscas, procedeu-se à criteriosa análise das publicações na íntegra. Inicialmente, tivemos um total de 6.286 resultados, dos quais foram eliminados 3.712 pelo critério de ano de publicação. Após essa fase, excluíram-se outros 360 trabalhos que não se encaixavam no critério de formato de publicação. Além desses, foram excluídas também 2.194 publicações que não se relacionavam ao tema proposto e outras duas que estavam em redundância entre as bases consultadas. Após essa fase, selecionaram-se 18 trabalhos, os quais foram lidos na íntegra para confirmação de elegibilidade. Nesse momento, excluíram-se sete trabalhos por incompatibilidade com o tema. No final, restaram 11 publicações que foram incluídas na presente revisão. Os processos de análise e seleção das publicações estão representados na Tabela 1.

Tabela 1
Análise das publicações resgatadas para a revisão

Resultados das buscas em bases de dados e evolução do processo de análise
	PUBMED	SCIELO	SCIENCEDIRECT	ERIC
Resultados de busca	213	2.602	2.243	1.228
Número de artigos excluídos por fator de exclusão
Período de publicação (últimos dez anos):	28	1.232	1.538	914
Formato de publicação (artigos completos)	0	0	360	0
Relação com o tema	173	1.366	342	313
Redundantes	0	0	2	0
Total de publicações excluídas	201	2.598	2.242	1.227
Total de publicações incluídas	12	4	1	1
Número de artigos excluídos após leitura na íntegra
Exclusão por falta de relação com o tema	3	4	0	0
Total de publicações analisadas	9	0	1	1

• Fonte: Elaborada pelos autores.

RESULTADOS

A presente revisão encontrou 11 publicações que atenderam aos critérios de elegibilidade propostos. O percurso metodológico do processo de busca e análise está representado na Tabela 2.

Tabela 2
Percurso metodológico de seleção de artigos

Total de publicações resgatadas: 6.286	Total de publicações excluídas: 6.275	Total de publicações incluídas: 11
PubMed: 213	PubMed: 204	PubMed: 9
SciELO: 2.602	SciELO: 2.602	SciELO: 0
ScienceDirect: 2.243	ScienceDirect: 2.242	ScienceDirect: 1
ERIC: 1.228	ERIC: 1.227	ERIC: 1

• Fonte: Elaborada pelos autores.

O Quadro 1 relaciona todas as publicações incluídas nesta revisão. Ao avaliá-lo, é possível notar que 45,4% das publicações (n = 5) abordam o tema de avaliação com consulta no contexto da pandemia da Covid-19.

Quadro 1
Relação descritiva das publicações incluídas na revisão

Nº	Título	Periódico	Autores e ano	País
1	“Because life is open book: an open internet family medicine clerkship exam”	PRiMER	Erlich (2017)	Estados Unidos
2	“Assessing open-book examination in medical education: the time is now”	Medical Teacher	Zagury-Orly et al. (2021)	Estados Unidos
3	“Adaptation to open-book online examination during the Covid-19 pandemic”	Journal of Surgical Education	Eurboonyanun et al. (2021)	Tailândia
4	“Comparing open-book and closed-book examinations: a systematic review”	Academic Medicine	Durning et al. (2016)	Estados Unidos
5	“Online open-book examination of undergraduate medical students: a pilot study of a novel assessment method used during the coronavirus disease 2019 pandemic”	The Journal of Laryngology and Otology	Sarkar et al. (2021)	Índia
6	“Medical teaching and assessment in the era of Covid-19”	Journal of Medical Education and Curricular Development	Monaghan (2020)	Reino Unido
7	“Open book exams: a potential solution to the ‘full curriculum’?”	Medical Teacher	Teodorczuk et al. (2018)	Austrália
8	“Perceptions of clinical years’ medical students and interns towards assessment methods used in King Abdulaziz University, Jeddah”	Pakistan Journal of Medical Sciences	Ibrahim et al. (2015)	Paquistão
9	“Could the future of medical school examinations be open-book: a medical student’s perspective?”	Medical Education Online	Mathieso et al. (2020)	Reino Unido
10	“Remote e-exams during Covid-19 pandemic: a cross-sectional study of students’ preferences and academic dishonesty in faculties of medical sciences”	Annals of Medicine and Surgery	Elsalem et al. (2021)	Jordânia
11	“A comparison of open-book and closed-book formats for medical certification exams: a controlled study”	American Educational Research Association	Brossman et al. (2017)	Estados Unidos

• Fonte: Elaborado pelos autores.

A respeito do país de origem, percebe-se que não há nenhuma publicação brasileira. A distribuição de países de origem está detalhada na Tabela 3 e demonstra predominância de publicações de países do hemisfério norte, sem nenhum representante da América Latina. Quanto ao ano de publicação, percebemos na Tabela 3 que todas as publicações são recentes, demonstrando o crescente interesse pelo tema nos últimos anos, totalizando 54,5% dos trabalhos publicados entre 2020 e 2021.

Tabela 3
Análise quantitativa por país de origem, ano e periódico de publicação

País de origem	N	%
Estados Unidos	4	36,4
Reino Unido	2	18,2
Austrália	1	9,1
Índia	1	9,1
Jordânia	1	9,1
Paquistão	1	9,1
Tailândia	1	9,1
Ano de publicação	N	%
2015	1	9,1
2016	1	9,1
2017	2	18,18
2018	1	9,1
2020	3	27,27
2021	3	27,27
Periódico	N	%
Medical Teacher	2	18,18
Academic Medicine	1	9,09
American Educational Research Association	1	9,09
Annals of Medicine and Surgery	1	9,09
Journal of Medical Education and Curricular Development	1	9,09
Journal of Surgical Education	1	9,09
Medical Education Online	1	9,09
Pakistan Journal of Medical Sciences	1	9,09
PRiMER	1	9,09
The Journal of Laryngology and Otology	1	9,09

• Fonte: Elaborada pelos autores.

Por fim, realizamos análise por periódicos de cada publicação, despontando com maior número de publicações o periódico Medical Teacher, como demonstrado na Tabela 3.

DISCUSSÃO

Quando se analisaram as publicações desta revisão, despontaram características predominantes, emergindo a percepção de duas categorias, que uniformizaram didaticamente as evidências centrais identificadas nos estudos: “A avaliação com consulta como recurso educacional para o ensino médico” e “A avaliação com consulta como alternativa pedagógica no cenário pandêmico”. Para facilitar a análise dos estudos, dividiremos a discussão nessas duas categorias.

A avaliação com consulta como recurso educacional para o ensino médico

A avaliação, como demonstrado anteriormente, é etapa fundamental de qualquer esforço educativo, não podendo ser negligenciada por nenhum de seus atores. Dessa forma, neste tópico discutiremos os trabalhos que analisaram a inserção da avaliação com consulta como recurso educacional para o ensino médico. Um primeiro ponto importante é notar que Erlich¹² e Durning et al. ⁽¹³ realizaram comparações entre avaliação com consulta e avaliação sem consulta, a fim de saber se há diferença no desempenho dos alunos nessas modalidades, porém encontraram resultados similares em ambas. Além disso, Durning et al. ⁽¹³ demonstram também que o desempenho de estudantes em avaliação com consulta poderia ser melhorado com a realização de testes preparatórios práticos e instruções sobre essa modalidade avaliativa, visto que há menor experiência com esse tipo de avaliação. Não menos importante, Erlich¹² advoga que a maior parte dos alunos que têm desempenho abaixo da média nas avaliações com consulta também têm escores baixos nas avaliações clínicas por preceptores, especificamente na área de domínio da informação. Isso demonstra não haver superioridade de uma modalidade de avaliação sobre a outra, e ambas podem ser utilizadas, dependendo do objetivo da avaliação. Logo, ambas as ferramentas de avaliação são capazes de identificar os estudantes de baixo desempenho.

A respeito da influência da avaliação na forma de preparação e estudo, há discordância entre estudiosos, visto que Durning et al. ⁽¹³ mostraram que os alunos não mudam suas táticas de estudo quando é permitida a consulta durante a prova. Em contrapartida, Sarkar et al. ⁽¹⁴ avaliaram o feedback de alunos após realização de avaliação com consulta on-line e reportaram que eles gastaram mais tempo entendendo o tema, em vez de apenas memorizá-lo, além de perceberem que não seriam capazes de escrever respostas para as perguntas da avaliação se os assuntos não tivessem sido lidos e estudados previamente. Isso pode demonstrar que a avaliação com consulta não prejudica a forma de estudo e preparo ou, ainda melhor, que os alunos estudam com mais profundidade se preocupando menos com a memorização de conceitos e mais com funções superiores, como correlação, argumentação e síntese. Tal visão é compartilhada por Erlich¹², que enfatiza que, em uma era de evolução do conhecimento baseado na internet, médicos e estudantes de Medicina devem ser competentes para acessar rapidamente, sintetizar e aplicar informações sempre atualizadas para tomada de decisões.

Os estudos que avaliaram o tempo de resolução das avaliações são concordantes ao mostrarem um aumento do tempo necessário para as avaliações com consulta. Em estudo realizado por Durning et al.¹³, os estudantes levaram de 10% a 60% mais tempo para completar as avaliações com consulta, quando em comparação com avaliações similares sem consulta. Em concordância, Brossman et al.¹⁵ acusam a necessidade de 40% mais tempo para resolução das avaliações com consulta. Essa descoberta tem implicações diretas na operacionalização das avaliações com consulta, já que se deve levar em consideração o tempo adicional de resolução para que isso não se torne um fator que influencia negativamente o resultado da avaliação¹⁵.

Outros estudiosos avaliaram o grau de ansiedade relacionado à avaliação. Sarkar et al.¹⁴ analisaram o feedback de alunos e evidenciaram menor nível de estresse durante a avaliação com consulta, em concordância com Mathieso et al.¹⁶. Já em Durning et al.¹³, percebe-se que os alunos associaram avaliação com consulta com menor grau de ansiedade, mas apenas uma minoria deles realmente relata menor ansiedade quando efetivamente realiza tal modalidade avaliativa. Dessa forma, não parece haver consenso sobre o fato de os estudantes realmente apresentarem uma redução de ansiedade com avaliações com consulta. No entanto, nenhum trabalho demonstrou aumento do nível de estresse ou ansiedade relacionado às avaliações com consulta.

Sobre a profundidade dos temas abordados nas avaliações com e sem consulta, notamos que exames clínicos escritos são adequados para formatos de avaliação com consulta, uma vez que as perguntas requerem uma síntese diferenciada de muitas informações dos cenários clínicos fornecidos, e, portanto, a resposta não pode ser simplesmente pesquisada na internet¹³.

O poder de discriminação de um teste ou avaliação é a capacidade de distinguir os estudantes que têm a proficiência requisitada daqueles que não a têm. Para realizar a análise do poder de discriminação, Brossman et al.¹⁵ utilizaram a metodologia de Teoria de Resposta ao Item (TRI), que considera três características das questões (ou itens): a capacidade de avaliar se os alunos têm o conhecimento necessário para responder a elas, o grau de dificuldade e a possibilidade de o acerto acontecer ao acaso. Utilizando tal metodologia, demonstraram que a avaliação com consulta tem maior capacidade de discriminação do que avaliações sem consultas similares. Isso significa que as questões de uma avaliação com consulta têm maior capacidade de separar os candidatos de melhor desempenho daqueles de pior desempenho, o que parece estar relacionado à profundidade e complexidade das questões de uma avaliação com consulta, que tendem a exigir funções mentais superiores. Nesse ponto, vale questionar se os resultados de melhor discriminação se devem à consulta a fontes externas de informação propriamente dita ou se isso é ocasionado pela elaboração de questões com maior exigência de raciocínio clínico.

Podemos notar também que uma das vantagens das avaliações com consulta apontadas é que elas não só previnem que os alunos temporariamente decorem informações supérfluas para repetição durante as avaliações, mas, crucialmente, espelham de perto a prática clínica real onde tais informações são facilmente adquiridas a partir de recursos disponíveis, como bibliotecas digitais de medicina baseada em evidências^13),(17. Fica evidente que utilizar esse tipo de avaliação também apresenta a vantagem de colocar o estudante em contato com situações mais próximas da prática profissional que enfrentarão no futuro. Como lacuna, Eurboonyanun et al.¹⁸ apontam a necessidade de novas pesquisas para avaliar os efeitos dos exames on-line com consulta sobre retenção e aplicação de conhecimento em longo prazo.

A avaliação com consulta como alternativa pedagógica no cenário pandêmico

Desde o início do ano de 2020, grandes desafios ocorreram em razão da pandemia da Covid-19. Houve impactos globais em todos os setores e atividades, inclusive na educação, uma vez que o distanciamento social foi necessário como forma de contenção da circulação viral, obrigando a interrupção de atividades de ensino presenciais de maneira súbita. Para evitar grandes prejuízos, realizaram-se adaptações nas metodologias de ensino e nas formas de avaliação¹⁹, uma vez que esse período de ensino remoto foi mais longo que o esperado inicialmente. A seguir, serão apresentados os dados da discussão dos estudos que versam sobre a avaliação nesse cenário específico.

Em estudo realizado por Elsalem et al.²⁰, os resultados apontaram que apenas um terço dos alunos preferiu exames com consulta online como um modo de avaliação durante a pandemia da Covid-19. Os autores associam a baixa aceitação dos alunos em relação à avaliação com consulta à necessidade de maior tempo para preparação, a dificuldades na preparação prévia e à inadequação das questões com o material de estudo fornecido. Essas descobertas são valiosas para permitir o planejamento de estratégias acadêmicas capazes de ajudar na superação das dificuldades com avaliações remotas com consulta. Isso pode incluir melhorias nas metodologias de ensino a distância, reorganização das estratégias de avaliação e revisão dos currículos acadêmicos para que se adaptem à situação real.

Esse período, apesar das dificuldades, foi uma excelente oportunidade para educadores médicos explorarem cuidadosamente o uso de avaliações com consulta em ambiente on-line¹⁹, uma vez que essa modalidade tem a capacidade de avaliar a capacidade dos alunos de pesquisar e traduzir informações de forma eficiente, o que é uma habilidade necessária à prática clínica futura. Os mesmos autores ainda sugerem estratégias de avaliação mista, incluindo uma primeira parte sem consulta, avaliando a aprendizagem de conceitos que deveriam saber sem consultar fontes externas, seguida por uma segunda parte com consulta sobre tópicos em que se espera que os alunos pesquisem e demonstrem capacidade de síntese, correlação, argumentação e raciocínio clínico.

Nessa direção, Eurboonyanun et al.¹⁸ realizaram a avaliação de final de estágio de cirurgia em ambiente on-line com consulta e correlacionaram esses dados com resultados dos grupos antecessores, na mesma avaliação presencial sem consulta, usando o mesmo banco de dados de questões. Os estudantes de Medicina que fizeram o exame on-line com consulta tiveram uma pontuação média mais alta nas questões de múltipla escolha e dissertativas, mas uma pontuação média mais baixa nas questões de respostas curtas. Esse resultado é importante por mostrar a necessidade de definir pontos de corte e notas mínimas de aprovação comparáveis para avaliações com e sem consulta, procedimentos que devem ser repetidos em outras instituições que desejem mudar as suas metodologias de avaliação. De maneira similar, Sarkar et al.¹⁴ realizaram estudo de uma avaliação com consulta on-line em disciplina de otorrinolaringologia, também por conta das adaptações ao ensino remoto durante a pandemia. Os autores compararam esses resultados com o de avaliações tradicionais anteriores presenciais sem consulta e demonstraram taxas de aprovação similares em ambas as metodologias.

Ainda, estudiosos questionaram sobre a ocorrência de desonestidade acadêmica ou “cola” em avaliações com consulta de forma remota. Elsalem et al.²⁰ investigaram a ocorrência de má conduta e desonestidade durante esses exames, e demonstraram que 55,07% dos estudantes relataram nenhuma desonestidade ou má conduta, enquanto 20,41% mencionaram ter buscado ajuda de amigos e 24,52% utilizaram outras fontes de informação não autorizadas. Ainda, podemos apontar que Sarkar et al.¹⁴ encontraram resultados similares, com 72,2% dos alunos afirmando não terem consultado colegas de turma, respondendo de forma independente. Monaghan¹⁷ advoga que, para inibir a “cola” ou conluio, foram utilizadas as estratégias de randomização da ordem das perguntas para cada aluno, tornando a comunicação entre eles ineficaz. Isso demonstra que a ocorrência de desonestidade e “cola” durante avaliação com consulta remota não parece ser tão frequente e há formas de inibir a sua ocorrência. No entanto, a literatura atual carece de estudos que comparem a frequência com que ocorrem essas ações de desonestidade entre estratégias de avaliação presencial ou remota, assim como comparações entre avaliações com e sem consulta, a fim de saber se a permissão de consulta inibe ou reduz a ocorrência da “cola”.

As mudanças nos métodos de ensino e avaliação durante a pandemia da Covid-19 proporcionaram a oportunidade de implementar, testar e entender melhor a avaliação com consulta, de forma remota ou não, nos cursos de Medicina^14),(17),(19. A maioria dessas mudanças educacionais aconteceram em caráter de urgência, mas muitas provavelmente permanecerão, de forma mais refinada, como métodos preferidos de ensino e avaliação no futuro¹⁷. Ainda, Zagury-Orly e Durning¹⁹ pontuam que a oportunidade surgida nesse período deve ser aproveitada para avançar nossa compreensão da avaliação holística do aluno.

Nota-se também que, anteriormente ao cenário da pandemia da Covid-19, Teodorczuk et al.²¹ já apontavam a necessidade de tais mudanças, ao discorrerem que era chegada a hora de abrir os livros, demonstrando a necessidade de incluirmos avaliações com consulta. Ao fazê-lo, os autores argumentam que essa mudança na filosofia de avaliação poderia beneficiar os alunos, colocando-os em contato com formas de aprendizagem mais profundas e divertidas. Esse fato também é apontado por Ibrahim et al.²² ao citarem que é necessário adicionar métodos de avaliação mais inovadores, como avaliação com consulta, autoavaliação e avaliação por pares.

Como desafio à adoção de avaliações com consulta, os estudiosos concordam que é necessário convencer os educadores médicos, que podem não gostar da mudança e preferir manter o sistema avaliativo já existente e testado¹⁴. Da mesma forma, outros autores concordam que o desafio é que os educadores podem não gostar das mudanças e preferir seguir utilizando as mesmas formas de avaliação¹⁷. Para superar esses desafios, é necessária uma mudança na filosofia de avaliação, o que pode resultar em estudantes engajados em conhecimento mais profundo e minucioso e em formas de ensino e avaliação inovadoras.

CONSIDERAÇÕES FINAIS

A presente revisão permitiu evidenciar que a avaliação com consulta é um método eficiente, confiável e condizente com as metodologias ativas de ensino, com enfoque na figura central do estudante, uma vez que permite avaliá-lo com profundidade e qualidade, não perdendo em capacidade de discriminação e confiabilidade. Dessa forma, parece ser bastante útil para a avaliação do estudante de Medicina. Apesar disso, sua inserção nos cursos de Medicina ainda é discreta, tendo aumentado durante o período da pandemia da Covid-19, principalmente por meio de provas remotas (plataformas on-line). Diversas potencialidades dessa modalidade de avaliação foram evidenciadas, uma vez que os estudos mostram que ela contribui para a formação de profissionais com alta capacidade de questionamento e argumentação, preparados para rotinas de estudo e educação permanentes e que entendam que há constante evolução do conhecimento na área médica. Da mesma forma, há diversos desafios, como a necessidade de redefinir pontos e notas de corte, a operacionalização para utilização dessas provas, a capacitação de docentes e estudantes para utilização da modalidade avaliativa, entre outros. Como limitações, o presente estudo aponta que o número de trabalhos sobre o assunto de avaliação com consulta em cursos de Medicina ainda é muito baixo, o que culminou em um pequeno grupo de trabalhos integrantes desta revisão. Apesar disso, há trabalhos robustos e de boa qualidade técnica que nos permitem tirar importantes conclusões sobre o tema e fomentar novas pesquisas no futuro. Assim sendo, espera-se que o conhecimento aqui gerado venha a fomentar discussões mais aprofundadas sobre o assunto, assim como embasar estudos futuros.

REFERÊNCIAS

• ¹
  Norcini J, Anderson MB, Bollela V, Burch V, Costa MJ, Duvivier R, et al. 2018 Consensus framework for good assessment. Med Teach. 2018;40(11):1102-9.
• ²
  Gontijo ED, Alvim CG, Lima MECC. Manual de Avaliação da Aprendizagem no curso de graduação em Medicina. Revista Docência do Ensino Superior. 2015;5(1):205-326.
• ³
  Troncon LEA. Avaliação do estudante de medicina. Medicina (Ribeirão Preto Online). 1996;29(4):429-39.
• ⁴
  Brasil. Resolução CNE/CES nº 3, de 20 de junho de 2014. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina e dá outras providências. Diário Oficial da União. 23 jun. 2014. Seção 1, p. 8-11.
• ⁵
  Perrenoud P. A avaliação entre duas lógicas. In: Perrenoud P. Avaliação: da excelência à regulação das aprendizagens: entre duas lógicas. Porto Alegre: Artes Médicas Sul; 1999. p. 9-24.
• ⁶
  Perrenoud P. Os procedimentos habituais de avaliação, obstáculos à mudança das práticas pedagógicas. In: Perrenoud P. Avaliação: da excelência à regulação das aprendizagens: entre duas lógicas . Porto Alegre: Artes Médicas Sul ; 1999. p. 65-76.
• ⁷
  Van Der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. Twelve tips for programmatic assessment. Med Teach . 2015;37(7):641-6.
• ⁸
  Troncon LEA. Avaliação programática do estudante: estratégia institucional para melhor cumprir as funções da avaliação educacional. Revista de Graduação USP. 2016;1(1):53-8.
• ⁹
  Theophilides C, Koutselini M. Study behavior in the closed-book and the open-book examination: a comparative analysis. Educ Res Eval. 2000;6(4):379-93.
• ¹⁰
  Sam AH, Reid MD, Amin A. High-stakes, remote-access, open-book examinations. Med Educ. 2020;54(8):767-8.
• ¹¹
  de Souza MT, da Silva MD, de Carvalho R. Revisão integrativa: o que é e como fazer. Einstein (Sao Paulo). 2010;8(1):102-6.
• ¹²
  Erlich D. Because life is open book: an open internet family medicine clerkship exam. PRiMER. 2017;1:1-6.
• ¹³
  Durning SJ, Dong T, Ratcliffe T, Schuwirth L, Artino AR, Boulet JR, et al. Comparing open-book and closed-book examinations: a systematic review. Acad Med. 2016;91(4):583-99.
• ¹⁴
  Sarkar S, Mishra P, Nayak A. Online open-book examination of undergraduate medical students: a pilot study of a novel assessment method used during the coronavirus disease 2019 pandemic. J Laryngol Otol. 2021;135(4):288-92.
• ¹⁵
  Brossman BG, Samonte K, Herrschaft B, Lipner RS. A comparison of open-book and closed-book formats for medical certification exams: a controlled study. American Educational Research Association. 2017;1:1-15.
• ¹⁶
  Mathieson G, Sutthakorn R, Thomas O. Could the future of medical school examinations be open-book: a medical student’s perspective? Med Educ Online. 2020;25(1).
• ¹⁷
  Monaghan AM. Medical teaching and assessment in the era of Covid-19. J Med Educ Curric Dev. 2020;7:1-3.
• ¹⁸
  Eurboonyanun C, Wittayapairoch J, Aphinives P, Petrusa E, Gee DW, Phitayakorn R. Adaptation to open-book online examination during the Covid-19 pandemic. J Surg Educ. 2021;78(3):737-9.
• ¹⁹
  Zagury-Orly I, Durning SJ. Assessing open-book examination in medical education: the time is now. Med Teach . 2021;43(8):972-3.
• ²⁰
  Elsalem L, Al-Azzam N, Jum’ah AA, Obeidat N. Remote e-exams during Covid-19 pandemic: a cross-sectional study of students’ preferences and academic dishonesty in faculties of medical sciences. Ann Med Surg (Lond). 2021;62:326-33.
• ²¹
  Teodorczuk A, Fraser J, Rogers GD. Open book exams: a potential solution to the “full curriculum”? Med Teach . 2018;40(5):529-30.
• ²²
  Ibrahim NK, Al-Sharabi BM, Al-Asiri RA, Alotaibi NA, Al-Husaini WI, Al-Khajah HA, et al. Perceptions of clinical years’ medical students and interns towards assessment methods used in King Abdulaziz University, Jeddah. Pak J Med Sci. 2015;31(4):757-62.

• 2
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz.Editor associado: Kristopherson Lustosa Augusto.

Datas de Publicação

• Publicação nesta coleção
  10 Mar 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  14 Mar 2022
• Aceito
  03 Nov 2022