Resumo:
Introdução:
As metodologias ativas são ferramentas que visam ao engajamento dos estudantes no processo de aprendizado. Por meio delas, o aluno é confrontado com situações-problema e, para resolvê-las, necessita participar ativamente na construção da solução. O Socrative® e o Kahoot!® são ferramentas que podem ser usadas para auxiliar na demanda crescente por novos métodos de ensino.
Objetivo:
Este estudo teve como objetivos comparar a pontuação obtida pelos alunos da disciplina de Urologia em pré-testes aplicados com as ferramentas Socrative® e Kahoot! ® e analisar a percepção deles após exposição aos aplicativos.
Método:
O estudo, de caráter comparativo, foi realizado a partir da inserção dos aplicativos Socrative® e Kahoot! ® na disciplina de Urologia no curso de Medicina. A amostra foi composta por duas turmas, totalizando 193 estudantes. Cada uma delas foi dividida em seis grupos, separados em dois horários distintos, que semanalmente revezavam o uso das ferramentas. Utilizaram-se as metodologias no formato de pré-teste durante as sessões de discussão de casos clínicos, visando à comparação entre as notas obtidas pelos graduandos entre os aplicativos. Quanto à percepção dos alunos, ao término da disciplina, eles responderam a um questionário de percepção em relação a cada plataforma. Os dados foram analisados estatisticamente com o programa SPSS Statistics v. 20.0. Utilizaram-se o teste não paramétrico de Wilcoxon e o teste de qui-quadrado. Valores de p < 0,05 indicaram significância estatística.
Resultado:
O Socrative® obteve melhores resultados quanto ao número de acertos e em relação à satisfação dos graduandos. Dentre seis temas abordados nos pré-testes, dois apresentaram pontuação superior com o Socrative® (p = 0,017 e p = 0,042). Quanto ao questionário de percepção, o Socrative® obteve nota média de 1,8 ponto superior ao Kahoot! ® (escala entre 0 e 10), e encontrou-se significância estatística em sete das oito questões avaliadas.
Conclusão:
A ferramenta Socrative® apresentou melhores notas e se mostrou mais satisfatória aos alunos em comparação ao Kahoot! ®.
Palavras-chaves:
Avaliação do Ensino; Aplicativos Móveis; Educação de Graduação em Medicina; Multimeios Educacionais; Urologia
Abstract:
Introduction:
Active methodologies are tools aimed at engaging students in the learning process. Through them, the student is confronted with problem situations and, to solve them, they need to actively participate in the construction of the solution. Socrative® and Kahoot!® are tools that can be used to support the growing demand for new teaching methods.
Objective:
This study aims to compare the scores obtained by urology student in pre-tests applied using the Socrative® and Kahoot!® applications, and to analyze the students’ perceptions after the exposure to the learning tools.
Method:
A prospective and comparative study was carried out on the use of the Socrative® and Kahoot!® applications in the discipline of Urology of the medical course. The cohort consisted of two classes of students, 193 in total. Students were divided into six groups, separated in two different schedules, and they took turns weekly switching the tools. The methodologies were used as a pre-test during the tutorial sessions, aiming to compare the grades obtained by the students between the applications. At the end of the course, the students answered a perception questionnaire in relation to each platform. The data were statistically analyzed using the program SPSS Statistics v.20.0. The Wilcoxon non-parametric test and the Chi-square test were used. Values of p <0.05 indicated statistical significance.
Result:
The Socrative® application obtained better results in terms of the number of correct answers and in relation to the students’ satisfaction. Among the six topics addressed in the pre-tests, two showed higher scores with the Socrative® tool (p = 0.017 and p = 0.042). As for the perception questionnaire, the Socrative® tool showed an average score 1.8 points higher than Kahoot!® (0 - 10 scale), and statistical significance was found in seven out of the eight evaluated questions.
Conclusion:
The Socrative® tool showed higher grades and was more satisfactory to students than Kahoot!®.
Keywords:
Teaching Assessment; Mobile Applications; Medical Education; Educational Strategies; Urology
INTRODUÇÃO
A modernização da medicina ao longo dos séculos mudou a forma de vida da humanidade e a evolução do contexto de saúde, e as inovações ocorridas nas últimas décadas também chegaram à educação médica11. Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26.),(22. Tardif M. Saberes docentes e formação profissional. 12a ed. Petrópolis: Vozes; 2011.. O avanço dos conhecimentos e das tecnologias para o ensino e aprendizado, além da atual facilidade de acesso a informações técnicas, provocou uma revolução no processo educacional, gerando novos desafios11. Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26.),(22. Tardif M. Saberes docentes e formação profissional. 12a ed. Petrópolis: Vozes; 2011.. Tais mudanças têm exigido rápidas adaptações em nossa sociedade, e as metodologias ativas com o aprendizado centrado no estudante, ao estimularem a autonomia deste e gerarem crescente motivação, têm se mostrado de grande valia em diversos cursos de ensino superior11. Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26..
Por séculos, a base do ensino da medicina nas universidades seguiu o modelo tradicional, com conferências magnas e o professor como centro de toda a informação33. Collins LJ. Livening up the classroom: using audience response systems to promote active learning. Med Ref Serv Q. 2007;26(1):81-8.. Novas metodologias ativas interativas foram propostas e implantadas, e o conhecimento passou a ser centrado na experiência de aprendizado do estudante44. Aktekin NÇ, Çelebi H, Aktekin M. Let’s Kahoot! anatomy. Int J Morphol. 2018;36(2):716-21.)-(1919. Sumanasekera W, Turner C, Ly K, Hoang P, Jent T, Sumanasekera T. Evaluation of multiple active learning strategies in a pharmacology course. Curr Pharm Teach Learn . 2020;12(1):88-94. doi: 10.1016/j.cptl.2019.10.016.
https://doi.org/10.1016/j.cptl.2019.10.0...
. Essas metodologias se tornaram ainda mais evidentes durante a pandemia da coronavirus disease 2019 (Covid-19), visto que as relações interpessoais foram drasticamente afetadas nesse cenário e o ensino passou a ser remoto, baseado na tecnologia e no ensino a distância (EaD)2020. Santos BM, Cordeiro MEC, Schneider IJC, Ceccon RF. Educação médica durante a pandemia da Covid-19: uma revisão de escopo. Rev Bras Educ Med. 2020;44(supl 1):1-10..
As metodologias ativas são definidas como métodos instrucionais para engajar os estudantes no processo de aprendizado por meio de ferramentas pedagógicas participativas44. Aktekin NÇ, Çelebi H, Aktekin M. Let’s Kahoot! anatomy. Int J Morphol. 2018;36(2):716-21.),(55. Al Sunni A, Latif R. Determining the effectiveness of a cell phone-based student response system. J Taibah Univ Med Sci. 2020;15(1):59-65. doi: 10.1016/j.jtumed.2019.12.002.
https://doi.org/10.1016/j.jtumed.2019.12...
. Esses modelos buscam incentivar o discente a aprender com base em situações-problema, com foco centrado no próprio aluno e na autonomia dele2121. Crisol-Moya E, Romero-López MA, Caurcel-Cara MJ. Active methodologies in higher education: perception and opinion as evaluated by professors and their students in the teaching-learning process. Front Psychol . 2020;11:1-10.. Esse importante processo se baseia nos conceitos de níveis cognitivos da taxonomia de Bloom para o desenvolvimento de habilidades e competências2121. Crisol-Moya E, Romero-López MA, Caurcel-Cara MJ. Active methodologies in higher education: perception and opinion as evaluated by professors and their students in the teaching-learning process. Front Psychol . 2020;11:1-10.. Entre os diversos métodos que podem ser empregados, estão o ensino baseado em casos, a gamificação, o uso de plataformas virtuais de votação, o ensino just-in-time, entre outros2121. Crisol-Moya E, Romero-López MA, Caurcel-Cara MJ. Active methodologies in higher education: perception and opinion as evaluated by professors and their students in the teaching-learning process. Front Psychol . 2020;11:1-10..
O estudo de caso é uma abordagem de ensino baseada em situações de contexto real e na discussão e resolução de um problema clínico2121. Crisol-Moya E, Romero-López MA, Caurcel-Cara MJ. Active methodologies in higher education: perception and opinion as evaluated by professors and their students in the teaching-learning process. Front Psychol . 2020;11:1-10.. Nessa metodologia, o professor assume o papel de facilitador do aprendizado, e os estudantes, o papel central do processo2121. Crisol-Moya E, Romero-López MA, Caurcel-Cara MJ. Active methodologies in higher education: perception and opinion as evaluated by professors and their students in the teaching-learning process. Front Psychol . 2020;11:1-10.. Outra metodologia que pode ser utilizada é a gamificação, que é definida pelo uso de mecânicas de jogos, seus elementos, estratégias e lógica para motivar ações e resolver problemas complexos da vida real2222. Kapp KM. The gamification of learning and instruction: game-based methods and strategies for training and education. San Francisco: Pfeiffer; 2012.. O uso de perguntas e votações, como puzzles em uma sala de aula, auxilia a estruturar sessões de discussão, balizar o conhecimento entre os estudantes e focar os pontos de dificuldade2222. Kapp KM. The gamification of learning and instruction: game-based methods and strategies for training and education. San Francisco: Pfeiffer; 2012..
O Socrative® e o Kahoot!®, aplicativos que ajudam no desenvolvimento dos métodos ativos, são ferramentas interativas on-line gratuitas que auxiliam atividades de ensino centradas no estudante1212. Mains TE, Cofrancesco J, Milner SM, Shah NG, Goldberg H. Do questions help? The impact of audience response systems on medical student learning: a randomized controlled trial. Postgrad Med J. 2015;91(1077):361-7.. Dentre os benefícios alcançados com uso dessas ferramentas, observa-se que permitem aos educadores mobilizar conhecimentos por meio de perguntas durante as aulas e receber respostas imediatas dos participantes, as quais podem ser inclusive anônimas1212. Mains TE, Cofrancesco J, Milner SM, Shah NG, Goldberg H. Do questions help? The impact of audience response systems on medical student learning: a randomized controlled trial. Postgrad Med J. 2015;91(1077):361-7.. Por meio dessa participação ativa, há uma interação em tempo real entre o instrutor e o estudante, o que possibilita um feedback instantâneo1212. Mains TE, Cofrancesco J, Milner SM, Shah NG, Goldberg H. Do questions help? The impact of audience response systems on medical student learning: a randomized controlled trial. Postgrad Med J. 2015;91(1077):361-7.. Tal fato é importante porque, em aulas expositivas tradicionais, especialmente em salas com grande número de discentes, a interação com o professor se torna difícil e os estudantes podem relatar apreensão ou ansiedade em participar ativamente ou sanar suas dúvidas por receio de erros públicos, constrangimento ou desaprovação dos colegas66. Grzych G, Schraen-Maschke S. Interactive pedagogic tools: evaluation of three assessment systems in medical education. Ann Biol Clin (Paris). 2019;77(4):429-35.),(77. Caldwell JE. Clickers in the large classroom: current research and best-practice tips. CBE Life Sci Educ. 2007;6(1):9-20.),(2323. Guarascio AJ, Nemecek BD, Zimmerman DE. Evaluation of students’ perceptions of the Socrative application versus a traditional student response system and its impact on classroom engagement. Curr Pharm Teach Learn . 2017;9(5):808-12. doi: 10.1016/j.cptl.2017.05.011.
https://doi.org/10.1016/j.cptl.2017.05.0...
. Dessa forma, os sistemas educacionais estão sendo desafiados pela baixa participação e pelo envolvimento dos discentes em atividades de ensino2424. Hidayat L, Vansal S, Kim E, Sullivan M, Salbu R. Pharmacy student absenteeism and academic performance. Am J Pharm Educ . 2012;76(1):8., gerando uma demanda crescente pelo uso das metodologias ativas que, além dos benefícios descritos, apresentam também um gasto reduzido de implementação2525. Hussain FN, Wilby KJ. A systematic review of audience response systems in pharmacy education. Curr Pharm Teach Learn . 2019;11(11):1196-204. doi: 10.1016/j.cptl.2019.07.004.
https://doi.org/10.1016/j.cptl.2019.07.0...
.
Desse modo, com a introdução de novos métodos ativos de ensino, o estudante tem a possibilidade de ver suas realizações durante o aprendizado, bem como suas fragilidades2626. Jamil Z, Fatima SS, Saeed AA. Preclinical medical students’ perspective on technology enhanced assessment for learning. J Pak Med Assoc. 2018;68(6):898-903., direcionando seu foco ao que deve ser revisado e/ou aprofundado11. Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26.. Portanto, o objetivo deste estudo foi investigar o desempenho e a percepção dos estudantes em relação ao uso das ferramentas Kahoot!® e Socrative® associadas ao ensino baseado em casos e ao método just-in-time teaching.
MÉTODOS
Realizou-se a análise comparativa durante as sessões de discussão de casos clínicos da disciplina de Urologia em um curso de Medicina. A amostra foi composta por 193 estudantes do terceiro ano do curso, de agosto de 2019 a julho de 2020. O projeto foi aprovado pelo Comitê de Ética em Pesquisa (CEP) da universidade Pontifícia Universidade Católica do Paraná (PUC-PR) - Certificado de Apresentação para Apreciação Ética (CAAE) nº 20653519.2.0000.0020 -, os participantes assinaram voluntariamente o Termo de Consentimento Livre e Esclarecido (TCLE).
A aplicação das ferramentas foi realizada no formato “pré-testes”. Em cada sessão, aplicaram-se duas questões objetivas contendo quatro opções de resposta. Em cada uma das seis semanas, foi trabalhado um tema da disciplina, previamente comunicado aos estudantes. Em relação à pontuação dos testes, cada pergunta valia um ponto, variando a nota final de cada estudante entre 0 e 2, a qual foi utilizada como parte da pontuação oficial dos discentes, com o peso de 10% da nota final.
O Kahoot!® é uma plataforma de aprendizado on-line e gratuita que permite a elaboração de perguntas de múltipla escolha, discussões, pesquisas ou uma mistura desses estilos. Os participantes utilizam seus dispositivos pessoais para responder às perguntas projetadas na tela, jogando individualmente ou em equipe (“gamificação”). Há interação por meio de músicas, formas coloridas e tempo cronometrado, visando manter os participantes animados e envolvidos na atividade. Quanto mais rápido o aluno responder corretamente, maior será sua pontuação. Ao final, é exibido um placar em alta qualidade e resolução, de quantos alunos escolheram cada uma das opções de respostas e a sua classificação geral. O Socrative® é um sistema de respostas on-line e gratuito utilizado para criar avaliações e visualizar respostas em tempo real, com fornecimento de um feedback instantâneo. Por meio dele, é possível criar questões de múltipla escolha, verdadeiro ou falso, perguntas abertas e fechadas, além de poder compartilhá-las.
No início da sessão de discussão de casos clínicos, os estudantes conectavam-se à internet disponibilizada pela faculdade e acessavam o site do aplicativo por meio de seu smartphone ou notebook, ingressavam na sala virtual previamente criada pelo professor e respondiam às perguntas referentes ao assunto da aula. Cada turma foi dividida em seis grupos (de A a F), e os estudantes de A a C realizavam os grupos de discussão de casos no primeiro horário, e os grupos de D a F, no segundo horário. As ferramentas foram intercaladas entre os horários, ou seja, quando os estudantes do primeiro utilizavam o Socrative®, aqueles do segundo faziam uso do Kahoot!®. Na semana seguinte, a ordem era inversa. Ao final do rodízio, todos os 193 alunos utilizaram cada ferramenta três vezes. Com intenção de evitar fraude, as duas perguntas do primeiro horário eram diferentes das duas questões do segundo horário. No intuito de parear os grupos quanto ao nível de dificuldade das questões, houve, na turma seguinte (primeiro semestre de 2020), a inversão das questões realizadas entre as ferramentas, e as mesmas perguntas feitas no Socrative® na primeira turma passaram a ser realizadas no Kahoot!® para a segunda e vice-versa.
Inicialmente, na segunda turma (primeiro semestre de 2020) a metodologia da distribuição dos participantes em seis grupos e das pontuações das questões ocorreu da mesma maneira, além de terem sido abordados os mesmos seis temas teóricos. Contudo, devido à pandemia da Covid-19, houve paralisação das aulas presenciais e o início das aulas virtuais remotas. Diante disso, a partir da terceira sessão tutorial, ministraram-se as discussões de casos por meio da plataforma on-line Blackboard Collaborate Ultra® (Blackboard Inc., Califórnia, EUA), e gravaram-se as discussões para que todos os estudantes pudessem revê-las posteriormente. Apesar disso, a mesma metodologia foi mantida na realização dos pré-testes, já que, no início da sessão tutorial, os graduandos continuaram acessando o site do aplicativo e respondendo às questões estabelecidas. Para reduzir o risco de fraudes, os estudantes concordaram em manter suas câmeras ligadas.
Ao final do semestre, os discentes responderam a um questionário de análise da percepção sobre cada uma das ferramentas, de forma anônima, sendo as respostas categorizadas em cinco opções: discordo totalmente, discordo parcialmente, não concordo nem discordo, concordo parcialmente e concordo totalmente (escala Likert de 1 a 5 pontos). Esse questionário foi baseado no estudo brasileiro “Uso do Kahoot como ferramenta de avaliação e ensino-aprendizagem no ensino de microbiologia industrial”2727. Sande D, Sande D. Uso do Kahoot como ferramenta de avaliação e ensino-aprendizagem no ensino de microbiologia industrial. Holos. 2018;1:170-9.) e devidamente adaptado.
Com intenção de facilitar a descrição e análise dos resultados, agrupamos os números 1 e 2 como resposta discordante, o número 3 como resposta neutra e os números 4 e 5 como resposta concordante. Como os resultados com a opção “não concordo nem discordo” foram considerados neutros, pouco contribuíram para a finalidade da pesquisa. As questões 5 e 8 possuíam caráter negativo, e, para adequada análise das respostas, as opções foram invertidas, já que as respostas discordantes indicavam avaliação positiva da tecnologia. A nota 1 na escala se tornou nota 5, a nota 2 passou a ser nota 4, e vice-versa.
Analisaram-se os dados com o software SPSS Statistics v. 20.0 (Armonk, NY: IBM Corp.), e utilizaram-se os testes não paramétrico de Wilcoxon (pontuação no questionário) e qui-quadrado. Valores de p < 0,05 indicaram significância estatística.
RESULTADOS
Avaliaram-se as pontuações dos 193 estudantes, e o questionário final de percepção foi respondido voluntariamente por 74,09% (143/193) da amostra.
No tutorial sobre infecção do trato urinário, participaram 174 estudantes, dos quais 86 responderam ao Kahoot!®, e 88, ao Socrative®. Considerando a pontuação zero, um e dois acertos, no Kahoot!®, obtivemos 22,1% (19/86), 45,3% (39/86) e 32,6% (28/86), respectivamente. Com o Socrative®, houve 9,1% (8/88), 40,9% (36/88) e 50% (44/88) para zero, um e dois acertos, respectivamente. Na comparação entre os aplicativos, houve maior taxa de acerto com o Socrative® (p = 0,017).
No tema litíase urinária, dos 158 acadêmicos, 88 utilizaram o Kahoot!®, e 70, o Socrative®. Em relação ao primeiro, 8% (7/88) não obtiveram acertos; 45,5% (40/88), apenas um; e 46,6% (41/88), dois acertos. No Socrative®, nenhum estudante recebeu zero (0/70), 48,6% (34/70) possuíram um acerto e 51,4% (36/70) acertaram ambas (p = 0,054).
Nos tutoriais com tema cirurgia ambulatorial em urologia, que abrangeu 161 indivíduos, o Kahoot!® foi utilizado por 68 pessoas e apresentou 7,4% (5/68) com zero acertos, 48,5% (33/68) com um acerto e 44,1% (30/68) com duas respostas corretas. No Socrative®, realizado por 93 graduandos, 7,5% (7/93) não acertaram nenhuma questão, 35,5% (33/93) acertaram apenas uma, e 57% (53/93) apresentaram ambas as questões certas (p = 0,235).
Entre os 145 estudantes presentes nas aulas de incontinência urinária, 87 utilizaram o Kahoot!®, e 58, o Socrative®. Dos participantes que utilizaram o Kahoot!®, 20,7% (18/87) não certaram nenhuma questão, 41,4% (36/87) acertaram uma, e 37,9% (33/87) acertaram ambas as questões. Em relação ao Socrative®, 12,1% (7/58) não acertaram nenhuma questão, 31% (18/58) acertaram uma, e 56,9% (33/58) acertaram duas (p = 0,072).
Em relação ao tema hiperplasia prostática benigna, com 170 graduandos - 72 no Kahoot!® e 98 no Socrative® -, 9,7% (7/72) que utilizaram aquele não apresentaram acertos, 40,3% (29/72) obtiveram uma questão correta e 50% (36/72) acertaram ambas. Já neste, 15,3% (15/98) dos discentes não tiveram acertos, 39,8% (39/98) acertaram uma questão e 44,9% (44/98) acertaram as duas (p = 0,540).
Por fim, nos tutoriais de câncer de testículo, com 139 pessoas, o aplicativo Kahoot!®, utilizado por 58 estudantes, apresentou 10,3% (6/58) com todas as questões erradas, 22,4% (13/58) com uma correta e 67,2% (39/58) com duas corretas. Já no Socrative®, utilizado por 81 acadêmicos, 1,2% (1/81) da amostra não obteve acertos, 19,8% (16/81) alcançaram apenas uma pergunta correta e 79% (64/81) obtiveram ambas as questões corretamente. Houve maior taxa de acerto com o Socrative® (p = 0,042).
A demonstração do comparativo do somatório das questões corretas de cada tema realizado nos tutoriais está representado no Gráfico 1.
Comparação do percentual de acertos entre as ferramentas Socrative® e Kahoot® de acordo com o tema abordado.
As perguntas realizadas no questionário de percepção discente estão descritas na Figura 1. Em relação às respostas encontradas, as questões de 1 a 7 obtiveram significância estatística nas comparações.
Na Tabela 1, descrevemos os resultados das respostas iguais aos dois aplicativos. Por exemplo, na pergunta 1, 65,7% dos estudantes concordam que ambas as tecnologias permitem manter os graus de dificuldade. Já na pergunta 8, 63,6% dos estudantes discordam que ambas as tecnologias são mais cansativas que uma prova escrita comum.
Com o intuito de avaliar a superioridade entre as ferramentas de ensino em relação à prova escrita, comparamos as respostas opostas. Os dados mais relevantes encontrados foram que 35% dos estudantes concordam que apenas o Socrative® permite avaliar questões da mesma forma que uma prova escrita (questão 2; p < 0,001) e 32,2% concordam que somente o Socrative® permite uma nota justa utilizando a classificação de acertos (questão 3; p < 0,001). Em ambas as questões, apenas 0,7% dos discentes atribuiu as características ao Kahoot!®. As maiores porcentagens obtidas encontram-se descritas na última linha da tabela “Socrative® mais parecido com a prova escrita que o Kahoot!®” (Tabela 2).
Em relação ao índice de satisfação global de cada ferramenta, a média da pontuação do Socrative® foi 1,8 ponto superior à do Kahoot!® (p < 0,001) (Tabela 3).
DISCUSSÃO
A partir da apresentação dos resultados, observou-se que os estudantes obtiveram melhores taxas de acerto ao utilizarem o aplicativo Socrative® em dois temas de sessão de discussão clínica, e, em outros dois assuntos, houve uma tendência a mais acertos com o Socrative® (p = 0,054 e p = 0,072). Como toda a amostra utilizou ambas as ferramentas o mesmo número de vezes, acreditamos que não houve influência no resultado quanto ao maior ou menor uso de uma ferramenta em específico. A comparação ocorreu por meio das notas obtidas em pré-testes realizados antes do início formal da sessão tutorial, com o objetivo de fomentar o estudo dos discentes previamente, visto que tais avaliações ocorriam antes de os acadêmicos participarem da aula sobre o assunto. Dessa forma, os graduandos tiveram maior participação prática nas sessões tutoriais pelo fato de já compreenderem parte do conteúdo, o que possivelmente resultou em maior entendimento e aprendizado, além da possibilidade de sanarem eventuais dúvidas que haviam apresentado no estudo antecipado. Essa técnica compreende a chamada “sala de aula invertida”, onde os estudantes completam as pré-leituras e a pré-consulta, chegando preparados com conceitos básicos para desenvolver o entendimento durante a sessão1313. Gousseau M, Sommerfeld C, Gooi A. Tips for using mobile audience response systems in medical education. Adv Med Educ Pract. 2016;7:647-52..
Uma possível explicação para tais resultados refere-se às diferenças de dinâmica apresentadas pelos aplicativos. O Socrative® implementa perguntas mais objetivas e tradicionais, de múltipla escolha com alternativas de A a E, com simples manuseio2323. Guarascio AJ, Nemecek BD, Zimmerman DE. Evaluation of students’ perceptions of the Socrative application versus a traditional student response system and its impact on classroom engagement. Curr Pharm Teach Learn . 2017;9(5):808-12. doi: 10.1016/j.cptl.2017.05.011.
https://doi.org/10.1016/j.cptl.2017.05.0...
. Já o Kahoot!® possui uma dinâmica de gamificação, que engloba práticas e características de jogos para engajar e motivar o aprendizado dos estudantes em tempo real e de uma maneira mais lúdica11. Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26.. Dentre tais recursos, toca-se uma música enquanto os participantes realizam a questão, as alternativas das perguntas são figuras coloridas, em vez de letras, e o tempo de realização do teste é cronometrado na tela, já que, ao final da avaliação, projeta-se um ranking dos estudantes que obtiveram maior número de acertos em menos tempo. Tudo isso ocorre com o objetivo de animar e envolver os participantes por meio de um aprendizado ativo em um ambiente divertido e de competição entre os colegas11. Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26.. No entanto, tais recursos podem ter desencadeado ansiedade nos estudantes, atrapalhando o desempenho no momento de responder às perguntas, sendo uma possível hipótese aos resultados melhores com o Socrative®. Na literatura não foram encontrados artigos que comparam as notas obtidas por estudantes ao utilizarem os aplicativos Socrative® e Kahoot!® em avaliações durante as aulas.
No estudo em que o questionário foi baseado, “Uso do Kahoot como ferramenta de avaliação e ensino-aprendizagem no ensino de microbiologia industrial”, concluiu-se que o Kahoot!® gera um estímulo adicional aos estudantes, tornando o processo avaliativo mais atraente e o aprendizado mais duradouro2727. Sande D, Sande D. Uso do Kahoot como ferramenta de avaliação e ensino-aprendizagem no ensino de microbiologia industrial. Holos. 2018;1:170-9.. O estudo “Tips for using mobile audience response systems in medical education” apontou a autonomia como uma das vantagens das ferramentas móveis, pois elas podem ser usadas em qualquer hora e local em que os estudantes estejam carregando um dispositivo eletrônico com acesso à internet1313. Gousseau M, Sommerfeld C, Gooi A. Tips for using mobile audience response systems in medical education. Adv Med Educ Pract. 2016;7:647-52..
Estudos prévios nas áreas de pediatria2626. Jamil Z, Fatima SS, Saeed AA. Preclinical medical students’ perspective on technology enhanced assessment for learning. J Pak Med Assoc. 2018;68(6):898-903., microbiologia2828. Pettit RK, McCoy L, Kinney M, Schwartz FN. Student perceptions of gamified audience response system interactions in large group lectures and via lecture capture technology approaches to teaching and learning. BMC Med Educ . 2015;15(1):92., ginecologia e obstetrícia2929. Tregonning AM, Doherty DA, Hornbuckle J, Dickinson JE. The audience response system and knowledge gain: a prospective study. Med Teach. 2012;34(4):269-74., fisiologia3030. Abdulla MH. The use of an online student response system to support learning of physiology during lectures to medical students. Educ Inf Technol. 2018;23(6):2931-46. e radiologia3131. de Oliveira-Santos C, Tirapelli C, Rodrigues CT, Domaneschi C, Monteiro SAC. Interactive audience response systems in oral and maxillofacial radiology undergraduate lectures. Eur J Dent Educ. 2018;22(1):e63-9. evidenciaram uma série de benefícios após a introdução das ferramentas virtuais que auxiliam as metodologias ativas. Quanto ao uso específico do Socrative®, os estudantes indicaram apreciar o uso da tecnologia, visto que ela melhorou a compreensão deles e promoveu a participação na aula66. Grzych G, Schraen-Maschke S. Interactive pedagogic tools: evaluation of three assessment systems in medical education. Ann Biol Clin (Paris). 2019;77(4):429-35.),(1111. Chung H, Kallay T, Anas N, Bruno D, Decamps J, Evans D, et al. Using an audience response system smartphone app to improve resident education in the pediatric intensive care unit. J Med Educ Curric Dev. 2018;5:238212051877067.),(1414. Munusamy S, Osman A, Riaz S, Ali S, Mraiche F. The use of Socrative and Yammer online tools to promote interactive learning in pharmacy education. Curr Pharm Teach Learn. 2019;11(1):76-80. doi: 10.1016/j.cptl.2018.09.021.
https://doi.org/10.1016/j.cptl.2018.09.0...
),(2323. Guarascio AJ, Nemecek BD, Zimmerman DE. Evaluation of students’ perceptions of the Socrative application versus a traditional student response system and its impact on classroom engagement. Curr Pharm Teach Learn . 2017;9(5):808-12. doi: 10.1016/j.cptl.2017.05.011.
https://doi.org/10.1016/j.cptl.2017.05.0...
),(2727. Sande D, Sande D. Uso do Kahoot como ferramenta de avaliação e ensino-aprendizagem no ensino de microbiologia industrial. Holos. 2018;1:170-9.),(3030. Abdulla MH. The use of an online student response system to support learning of physiology during lectures to medical students. Educ Inf Technol. 2018;23(6):2931-46.. Esses dados também foram encontrados neste estudo, em que, após análise estatística dos questionários, houve significância quanto à comparação entre as ferramentas Kahoot!® e Socrative® em todas as perguntas do questionário (exceto a 8). Por meio dessa análise, concluiu-se que o Socrative® foi o aplicativo preferido pelos estudantes e que alcançou melhores percentuais de aceitação e maior nota média quando avaliado entre 0 e 10. Nenhum estudo anterior promoveu a comparação da percepção dos discentes entre ambas as ferramentas.
Entre as limitações encontradas no estudo, destacam-se a disparidade de conhecimento prévio e o acesso a diferentes fontes pelas quais os estudantes buscaram o conhecimento, a possibilidade de fraude ao utilizarem os dispositivos eletrônicos por meio de comunicação durante o momento da atividade, a ausência de grupo controle realizando avaliação escrita tradicional e a ausência de um grupo comparativo implementando pós-testes. A necessária migração para o ambiente virtual na fase final do estudo pode ter influenciado nos resultados, em decorrência da mudança no processo de aprendizado dos alunos. Novos estudos utilizando as ferramentas Kahoot!® e Socrative® podem ser realizados com a intenção de comparar o ambiente virtual e o presencial.
Por fim, as observações aqui apresentadas nos mostram que esta pesquisa abre portas para novos estudos sobre o tema, com o propósito de fomentar a literatura sobre um assunto tão importante e relevante nos dias atuais. Devido ao ineditismo do estudo, esperamos mais pesquisas em educação médica comparando esses e outros aplicativos, e que com isso possamos entender e definir o melhor cenário de uso na prática letiva. Espera-se que outras disciplinas e cursos possam implementar oficialmente novas técnicas avaliativas como método efetivo para melhorar o desempenho do aprendizado dos estudantes e motivar discentes e professores ao novo.
CONSIDERAÇÕES FINAIS
As metodologias ativas são aliadas importantes na educação médica, pois levam o estudante para o centro do aprendizado. O uso de ferramentas como os métodos de votação on-line auxilia professores e estudantes a tornar o ambiente de aprendizagem mais ativo e engajado. Neste estudo, a ferramenta Socrative® apresentou melhores resultados ao ser comparada ao Kahoot!® quando se analisaram as pontuações obtidas pelos estudantes. Além disso, ela também se mostrou mais satisfatória quando se analisou a percepção dos estudantes.
Este estudo é pioneiro na comparação das notas obtidas nos aplicativos Socrative® e Kahoot!® em uma disciplina da educação médica brasileira, e espera-se que ele engaje trabalhos futuros e mudanças de práticas de aprendizagem.
REFERENCES
-
1Ismail MA-A, Mohammad JA-M. Kahoot: a promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26.
-
2Tardif M. Saberes docentes e formação profissional. 12a ed. Petrópolis: Vozes; 2011.
-
3Collins LJ. Livening up the classroom: using audience response systems to promote active learning. Med Ref Serv Q. 2007;26(1):81-8.
-
4Aktekin NÇ, Çelebi H, Aktekin M. Let’s Kahoot! anatomy. Int J Morphol. 2018;36(2):716-21.
-
5Al Sunni A, Latif R. Determining the effectiveness of a cell phone-based student response system. J Taibah Univ Med Sci. 2020;15(1):59-65. doi: 10.1016/j.jtumed.2019.12.002.
» https://doi.org/10.1016/j.jtumed.2019.12.002 -
6Grzych G, Schraen-Maschke S. Interactive pedagogic tools: evaluation of three assessment systems in medical education. Ann Biol Clin (Paris). 2019;77(4):429-35.
-
7Caldwell JE. Clickers in the large classroom: current research and best-practice tips. CBE Life Sci Educ. 2007;6(1):9-20.
-
8Patel, J. Using game format in small group classes for pharmacotherapeutics case studies. Am J Pharm Educ. 2008;72(1):21 [access in February 12, 2021]. Available from: Available from: http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L351270475%0Ahttp://www.ajpe.org/aj7201/aj720121/aj720121.pdf%0Ahttp://sfx.library.uu.nl/utrecht?sid=EMBASE&issn=00029459&id=doi:&atitle=Using+game+format+in+small+group+classes+for+
» http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L351270475%0Ahttp://www.ajpe.org/aj7201/aj720121/aj720121.pdf%0Ahttp://sfx.library.uu.nl/utrecht?sid=EMBASE&issn=00029459&id=doi:&atitle=Using+game+format+in+small+group+classes+for+ -
9Castro MJ, López M, Cao MJ, Castro MF, García S, Frutos M, et al. Impact of educational games on academic outcomes of students in the Degree in Nursing. PLoS One. 2019;14(7):1-12.
-
10Felszeghy S, Pasonen-Seppanen S, Koskela A, Nieminen P, Harkonen K, Paldanius KMA, et al. Using online game-based platforms to improve student performance and engagement in histology teaching. BMC Med Educ. 2019;19(273):1-11.
-
11Chung H, Kallay T, Anas N, Bruno D, Decamps J, Evans D, et al. Using an audience response system smartphone app to improve resident education in the pediatric intensive care unit. J Med Educ Curric Dev. 2018;5:238212051877067.
-
12Mains TE, Cofrancesco J, Milner SM, Shah NG, Goldberg H. Do questions help? The impact of audience response systems on medical student learning: a randomized controlled trial. Postgrad Med J. 2015;91(1077):361-7.
-
13Gousseau M, Sommerfeld C, Gooi A. Tips for using mobile audience response systems in medical education. Adv Med Educ Pract. 2016;7:647-52.
-
14Munusamy S, Osman A, Riaz S, Ali S, Mraiche F. The use of Socrative and Yammer online tools to promote interactive learning in pharmacy education. Curr Pharm Teach Learn. 2019;11(1):76-80. doi: 10.1016/j.cptl.2018.09.021.
» https://doi.org/10.1016/j.cptl.2018.09.021 -
15Woods M, Rosenberg ME. Educational tools: thinking outside the box. Clin J Am Soc Nephrol. 2016;11(3):518-26.
-
16Fuster-Guilló A, Pertegal-Felices ML, Jimeno-Morenilla A, Azorín-López J, Rico-Soliveres ML, Restrepo-Calle F. Evaluating impact on motivation and academic performance of a game-based learning experience using Kahoot. Front Psychol. 2019;10:1-8.
-
17Subhash S, Cudney EA. Gamified learning in higher education: a systematic review of the literature. Comput Human Behav. 2018;87:192-206.
-
18Kim KJ. Enhancing students’ active learning and self-efficacy using mobile technology in medical English classes. Korean J Med Educ. 2019;31(1):51-60.
-
19Sumanasekera W, Turner C, Ly K, Hoang P, Jent T, Sumanasekera T. Evaluation of multiple active learning strategies in a pharmacology course. Curr Pharm Teach Learn . 2020;12(1):88-94. doi: 10.1016/j.cptl.2019.10.016.
» https://doi.org/10.1016/j.cptl.2019.10.016 -
20Santos BM, Cordeiro MEC, Schneider IJC, Ceccon RF. Educação médica durante a pandemia da Covid-19: uma revisão de escopo. Rev Bras Educ Med. 2020;44(supl 1):1-10.
-
21Crisol-Moya E, Romero-López MA, Caurcel-Cara MJ. Active methodologies in higher education: perception and opinion as evaluated by professors and their students in the teaching-learning process. Front Psychol . 2020;11:1-10.
-
22Kapp KM. The gamification of learning and instruction: game-based methods and strategies for training and education. San Francisco: Pfeiffer; 2012.
-
23Guarascio AJ, Nemecek BD, Zimmerman DE. Evaluation of students’ perceptions of the Socrative application versus a traditional student response system and its impact on classroom engagement. Curr Pharm Teach Learn . 2017;9(5):808-12. doi: 10.1016/j.cptl.2017.05.011.
» https://doi.org/10.1016/j.cptl.2017.05.011 -
24Hidayat L, Vansal S, Kim E, Sullivan M, Salbu R. Pharmacy student absenteeism and academic performance. Am J Pharm Educ . 2012;76(1):8.
-
25Hussain FN, Wilby KJ. A systematic review of audience response systems in pharmacy education. Curr Pharm Teach Learn . 2019;11(11):1196-204. doi: 10.1016/j.cptl.2019.07.004.
» https://doi.org/10.1016/j.cptl.2019.07.004 -
26Jamil Z, Fatima SS, Saeed AA. Preclinical medical students’ perspective on technology enhanced assessment for learning. J Pak Med Assoc. 2018;68(6):898-903.
-
27Sande D, Sande D. Uso do Kahoot como ferramenta de avaliação e ensino-aprendizagem no ensino de microbiologia industrial. Holos. 2018;1:170-9.
-
28Pettit RK, McCoy L, Kinney M, Schwartz FN. Student perceptions of gamified audience response system interactions in large group lectures and via lecture capture technology approaches to teaching and learning. BMC Med Educ . 2015;15(1):92.
-
29Tregonning AM, Doherty DA, Hornbuckle J, Dickinson JE. The audience response system and knowledge gain: a prospective study. Med Teach. 2012;34(4):269-74.
-
30Abdulla MH. The use of an online student response system to support learning of physiology during lectures to medical students. Educ Inf Technol. 2018;23(6):2931-46.
-
31de Oliveira-Santos C, Tirapelli C, Rodrigues CT, Domaneschi C, Monteiro SAC. Interactive audience response systems in oral and maxillofacial radiology undergraduate lectures. Eur J Dent Educ. 2018;22(1):e63-9.
-
7
Avaliado pelo processo de double blind review.
-
FINANCIAMENTO
Declaramos não haver financiamento.
Datas de Publicação
-
Publicação nesta coleção
13 Dez 2021 -
Data do Fascículo
2021
Histórico
-
Recebido
30 Abr 2021 -
Aceito
25 Out 2021