UM ESTUDO SOBRE O ENGAJAMENTO E OS RESULTADOS DE APRENDIZAGEM DE ALUNOS INGRESSANTES DO CURSO DE QUÍMICA NO CONTEXTO DO ENSINO REMOTO EMERGENCIAL

UN ESTUDIO SOBRE EL IMPACTO DE LA ENSEÑANZA REMOTA DE EMERGENCIA EN LA PARTICIPACIÓN Y LO DESEMPEÑO DE LOS ESTUDIANTES DE QUÍMICA

A STUDY ON THE IMPACT OF EMERGENCY REMOTE EDUCATION ON THE ENGAGEMENT AND LEARNING OUTCOMES OF UNDERGRADUATE CHEMISTRY STUDENTS

RESUMO:

Na pandemia pela COVID-19, as universidades estabeleceram o Ensino Remoto Emergencial (ERE), sujeitando alunos ingressantes a cursarem os primeiros anos de graduação à distância, possivelmente influenciando o engajamento escolar e os resultados de aprendizagem, isto é, a satisfação subjetiva da experiência universitária. O objetivo deste estudo, de metodologia mista por triangulação sequencial, foi investigar o impacto do ERE no engajamento e sua relação com os resultados de aprendizagem de calouros dos cursos de graduação em Química (Bacharelado, Licenciatura e Industrial). A Modelagem por Equações Estruturais de dados coletados por escalas psicométricas demonstrou um efeito direto do engajamento nos resultados de aprendizagem, sendo as dimensões sociais as mais afetadas pelo ERE. Já a Análise de Conteúdo dos Mapas Conceituais (MCs) produzidos nas entrevistas com os alunos revelou uma perspectiva predominantemente negativa sobre o impacto do ERE no engajamento e um ponto de vista neutro em relação aos resultados de aprendizagem.

Palavras-chave:
Engajamento escolar; Resultados de aprendizagem; Ensino Superior

RESUMEN:

En la pandemia de COVID-19, las universidades establecieron la Educación Remota de Emergencia (ERE), sometiendo a los estudiantes entrantes a estudiar los primeros años de su carrera de forma remota, influyendo posiblemente en la participación escolar y los resultados del aprendizaje (i.e., la satisfacción subjetiva de la experiencia universitária). El objetivo deste estudio, utilizando una metodología mixta mediante triangulación secuencial, fue investigar el impacto de los ERE en la participación y su relación con los resultados del aprendizaje de estudiantes de primer año de cursos de pregrado en Química (Bachillerato, Licenciatura y Industrial). El Modelado de Ecuaciones Estructurales de datos recopilados utilizando escalas psicométricass demostró un efecto directo de la participación escolar en los resultados del aprendizaje, siendo las dimensiones sociales las más afectadas por ERE. El Análisis de Contenido de los Mapas Conceptuales (MC) producidos en entrevistas con estudiantes reveló una perspectiva predominantemente negativa sobre el impacto de los ERE en la participación y un punto de vista neutral en relación con los resultados del aprendizaje.

Palabras clave:
Participación de los estudiantes; Resultados del aprendizaje; Educación Superior

ABSTRACT:

During the COVID-19 pandemic, universities established Emergency Remote Education (ERE), subjecting freshmen students to studying the first years of their degree remotely, possibly influencing school engagement and learning outcomes (i.e., the subjective satisfaction of the university experience). This study aimed to investigate the impact of ERE on engagement and its relationship with the learning outcomes of freshmen students in undergraduate Chemistry courses (Bachelor, Licentiate, and Industrial) using a mixed method with sequential triangulation. Structural Equation Modeling of data collected using psychometric scales demonstrated a direct effect of engagement on learning outcomes, with social dimensions being the most affected by ERE. The Content Analysis of Concept Maps (CMs) produced during interviews with students revealed a predominantly negative perspective on the impact of ERE on engagement and a neutral point of view considering learning outcomes.

Keywords:
Student engagement; Learning outcomes; Higher Education

INTRODUÇÃO

Em março de 2020, foi anunciado o fechamento do acesso à maioria das instituições brasileiras de ensino superior para conter a disseminação do vírus SARS-CoV-2, causador da pandemia pela COVID-19. Nos meses subsequentes, lideranças acadêmicas se reuniram para tentar encontrar uma solução para o retorno às aulas o que foi feita de forma emergencial e na modalidade remota. Por dois anos consecutivos, os alunos ingressantes de cursos universitários tiveram que cursar seus primeiros anos de graduação totalmente à distância.

Nos cursos que possuem caráter teórico-prático, como é o caso da área de Ciências Exatas, Saúde, Engenharia, a pandemia implicou no contato dos alunos apenas com disciplinas de caráter teórico, afastando-os das instalações e laboratórios de seu instituto que, segundo Cunha, Tunes e Silva (2001), pode ser um motivo para evasão. Neste contexto, é preciso refletir sobre os efeitos da implementação do ERE no engajamento escolar dos alunos universitários.

Segundo Nystrand e Gamoran (1992), o engajamento pode ser definido como a “vontade dos alunos de participar da rotina de atividades escolares, como assistir às aulas, enviar trabalhos e atividades obrigatórios e seguir as instruções dos professores em sala de aula” (p. 14). Já para Coates (2005), é um termo amplo, utilizado para abranger características acadêmicas e não acadêmicas da experiência de aprendizagem do estudante, incluindo aquelas ativa e colaborativa. Para Martins e Ribeiro (2017), o engajamento acadêmico é um tema importante para estudantes e gestores educacionais, pois relaciona o aprendizado dos alunos e seu desenvolvimento pessoal, a partir de uma variedade de atividades e serviços ofertados no campus.

O crescente número de pesquisas sobre este assunto nos últimos anos (Campos, Schmitt, & Justi, 2020), principalmente no eixo América do Norte e Europa, mostram que o engajamento estudantil é um atenuante do baixo desempenho acadêmico, esgotamento mental, falta de resiliência, insatisfação e abandono escolar (Krause & Coates, 2008; Elmore & Huebner 2010; Upadaya & Salmela-Aro, 2012; Lovelace, Reschly, & Appleton, 2018). Além disso, o engajamento vem se mostrando altamente correlacionado à aprendizagem (Wang & Eccles, 2012) e a saúde e bem-estar físico e psicológico dos alunos (Upadaya & Salmela-Aro, 2013).

O estudo brasileiro de Zucoloto e colaboradores (2016), envolvendo alunos do curso de Farmácia da Unesp, mostrou que o engajamento teve um efeito significativo na mitigação do Burnout, caracterizado pela exaustão emocional, atitudes impessoais e apáticas diante de demandas acadêmicas, usualmente associadas a um baixo índice de sentimento de autorrealização (Maslach & Jackson, 1981). Lima e Moraes (2023), em pesquisa conduzida com alunos de graduação de diferentes áreas em uma instituição de ensino privado brasileira, corroboram a este fato ao relatarem um efeito negativo do Burnout sobre o engajamento estudantil, impactando diretamente as possibilidades de autorregulação da aprendizagem.

Evidências empíricas ainda sugerem uma correlação positiva ou um efeito mediador do engajamento sobre o desempenho escolar, como é o caso de estudos recentes de Vizoso, Rodríguez e Arias-GunDín (2018), Martinez e colaboradores (2019) ou ainda Slåtten e outros (2021). Especificamente no ensino online, Panigrahi, Srivastava e Sharma (2018) reportam que potencializar o engajamento do estudante é crítico para garantir a qualidade do ensino ofertado, uma vez que, neste ambiente, manter os alunos mentalmente ativos é um desafio maior devido à falta de interação pessoal, colaboração e mediação individualizada por parte dos professores. Em estudo mais recente, Wang e colaboradores (2022) destacam a importância de criar um ambiente virtual, incluindo aqueles entregues via mobile, propício e adaptado aos estilos de comportamento do aluno frente à aprendizagem como forma de potencializar a performance acadêmica.

MODELOS DE ENGAJAMENTO ESCOLAR E RESULTADOS DE APRENDIZAGEM

Há um consenso crescente entre os pesquisadores de que o engajamento é uma construção multidimensional com componentes nas esferas comportamentais, emocionais, psicológicas, afetivas, cognitivas, entre outras. Contudo, ainda não há unanimidade sobre sua definição exata ou ainda quais dimensões devem compor este constructo (Kahu, 2013). O Quadro 1 traz alguns modelos descritos na literatura e suas dimensões.

Quadro 1
Exemplos de modelos de engajamento e suas dimensões

Especificamente neste trabalho, foi adotada a perspectiva em cinco dimensões para mensuração do engajamento de estudantes do ensino superior, conforme descrito por Zhoc, Webster, King, Li e Chung (2019). O engajamento acadêmico diz respeito aos comportamentos observáveis diretamente relacionados à aprendizagem, podendo ser por meio de aulas, tarefas, com ou sem suporte de recursos tecnológicos. Já a dimensão cognitiva remete ao investimento psicológico (disposição e esforço) para aprender, compreender e dominar o conhecimento em estudo. O engajamento social é subdividido naquele com os pares ou com docentes. O primeiro diz respeito à interação social com colegas de curso que dão suporte informal ao estudante, podendo ser mais focado à colaboração direta com seus pares para construção de conhecimento e aprendizagem com outros estudantes da universidade e participação em atividades extraclasse. Já a social com docentes, se refere à interação com a equipe de ensino, sejam professores, monitores ou funcionários da secretaria, coordenação e técnicos. Por fim, a última dimensão é a do engajamento afetivo, fazendo referência ao nível emocional responsável pelo sentimento de pertencimento à instituição e dedicação às atividades oferecidas pela universidade.

De modo geral, é possível afirmar que o objetivo maior de fomentar o engajamento escolar é atingir melhores resultados de aprendizagem, ainda que a literatura aponte que nem sempre essa relação é direta (e.g., Joo, Lim, & Kim, 2013). Nesta pesquisa, o termo “resultados de aprendizagem” engloba, dentre algumas definições, a satisfação dos estudantes sobre as experiências universitárias e com seu desempenho ao longo do curso (Zhoc et al., 2019), os fatores que permitem ou dão condições para aquisição de novos conhecimentos e desenvolvimento de habilidades pessoais (Fonsêca, 2008), além do progresso social, emocional e de autoeficácia e autorregulação da aprendizagem (Hachem, Gorgun, Chu, & Bulut, 2022). Para além dos paradigmas de avaliação no contexto universitário, é importante ressaltar que o constructo “resultados de aprendizagem” dos estudantes não será tratado aqui por seu caráter quantitativo, dado por uma nota geral do curso (p.ex. Coeficiente de Rendimento) ou específica de uma disciplina ou semestre.

No ensino superior esses modelos que envolvem resultados de aprendizagem sob esta perspectiva são escassos e usualmente focados apenas em notas e aprovação ou reprovação. Nesta pesquisa, será adotado o modelo tridimensional descrito por Zhoc et al. (2019), que abrange a satisfação sobre as experiências universitárias dada pela autopercepção dos estudantes sobre a aquisição de conhecimentos e habilidades sociocognitivas. Mais especificamente, satisfação dos alunos considerando as dimensões: (i) Cognitiva, com resultados focados em habilidades de pensamento crítico, analítico, holístico e de aquisição de conhecimento; (ii) Sociais, com resultados inerentes às competências de comunicação, colaboração e empatia ao lidar com os outros; e, (iii) de Autocrescimento, destinados à metacognição, reflexão, gestão de tempo e autorregulação da aprendizagem. Por se tratar de uma relação que envolve não apenas aspectos cognitivos e de aquisição de conhecimento disciplinar, mas também emocionais e socioculturais, é importante que o modelo que relaciona engajamento e os chamados resultados de aprendizagem seja amplo e complexo.

Com a intenção de contribuir para o debate sobre a temática, o presente trabalho propõe construir subsídios necessários para responder à seguinte pergunta: quais dimensões do engajamento foram as mais afetadas pelo ERE e qual sua relação com os resultados de aprendizagem percebidos pelos alunos? Diante do exposto, o objetivo deste estudo foi investigar, de forma quantitativa e qualitativa, o impacto do ERE no engajamento escolar e nos resultados de aprendizagem dos alunos ingressantes em um curso universitário de Química. Considerando a falta de socialização presencial com colegas e professores no espaço universitário, pressupõem-se que as dimensões sociais e afetivas do engajamento do estudante serão as mais afetadas pelo ERE, sendo estas fundamentalmente relevantes para garantir uma boa experiência universitária, ou seja, bons resultados de aprendizagem. Será avaliado também, de forma quantitativa, o efeito do engajamento sobre os resultados de aprendizagem a partir da seguinte hipótese de estudo: H₁ - Há um efeito direto do engajamento escolar sobre os resultados de aprendizagem para este grupo de alunos ingressantes no curso de Química durante o ERE.

METODOLOGIA

A metodologia de pesquisa adotada neste estudo foi de caráter misto, que permite não somente a comparação dos resultados coletados quantitativamente e qualitativamente, como também um maior entendimento de dados experimentais a partir das concepções dos próprios participantes da pesquisa (Creswell, 2021). Considerando as estratégias de metodologia mista, foi realizada uma triangulação sequencial (Santos et. al., 2017), que baseada nos preceitos de Morse (1991) e, posteriormente, Teixeira, Nascimento e Antonialli (2013) pode ser definida como “[...] aquela em que um método segue o outro e em que há possibilidade de planejar o método sequencial conforme a adequação dos dados obtidos com o método anterior, para complementá-los” (p. 802).

No presente artigo, as estratégias de pesquisa perpassam pela aplicação de questionários, com itens analisados de forma estatística seguida de entrevistas semiestruturadas mediadas por MCs, analisados em busca de padrões nos discursos dos discentes. Combinados, estes instrumentos permitem um entendimento mais amplo e complementar sobre os impactos do ERE no engajamento e na satisfação dos estudantes de Química durante o período pandêmico. A abordagem quantitativa permite confirmar ou refutar hipóteses estabelecidas a priori e, a partir dos resultados, planejar e direcionar questões para aprofundamentos na etapa de coleta e análise qualitativa, mais custosa em termos de tempo e preparação de recursos humanos.

PROCEDIMENTO DE COLETA DOS DADOS

Por se tratar de uma pesquisa envolvendo seres humanos, atendeu à Resolução CNS no. 510/2016, sendo aprovada no Comitê de Ética em Pesquisa da instituição (CAAE: omitido para avaliação). O procedimento de coleta de dados (Figura 1) envolveu cinco etapas: (1) assinatura do Termo de Consentimento Livre Esclarecido (TCLE), aplicação dos questionários de: (2) informações sociodemográficas, (3) engajamento escolar, (4) resultados de aprendizagem e, por fim, as (5) entrevista mediada por MCs.

Figura 1
Procedimento de coleta de dados

Alunos do curso de Química das modalidades Bacharelado, Licenciatura e Industrial, maiores de idade, que estivessem cursando ou acabado de cursar o primeiro ano da faculdade, na modalidade remota, foram convidados a participar do estudo. O convite ocorreu entre fevereiro e abril de 2022, via e-mail, sistema unificado de avisos e redes sociais institucionais. Os participantes (n = 47) foram notificados dos objetivos, riscos e benefícios da pesquisa por meio do TCLE e, após o devido consentimento, autodeclararam informações sociodemográficas como idade, gênero, semestre/ano de ingresso e modalidade do curso.

Em seguida, foi solicitado que os alunos respondessem sobre seu engajamento escolar, durante o ERE, pela aplicação da Escala de Engajamento do Estudante de Ensino Superior (HESES, do inglês, Higher Education Student Engagement Scale) (Zhoc et al., 2019). Os alunos julgaram 28 afirmações (Quadro 2) em escala Likert 5-níveis (Discordo Totalmente a Concordo Totalmente). Quanto maior o escore obtido, maior o engajamento escolar do estudante naquela dimensão.

A escala HESES foi inicialmente proposta na literatura por Zhoc et al., (2019) tendo sido validada por meio de evidências de confiabilidade baseadas na consistência interna, avaliação da estrutura interna e relações com variáveis externas, apresentando valores de Alfa de Cronbach de 0,70 a 0,87. O questionário contendo 28 itens no modelo com cinco dimensões foi validado para o contexto universitário com alunos ingressantes de diferentes cursos de Hong Kong, invariável para gênero. Estudos mais recentes, ambos com alunos universitários de primeiro ano e mesmos critérios de validação apresentados em Zhoc et al. (2019), indicaram bons resultados para validação da escala HESES na língua italiana (Marcionetti & Zammitti, 2023), com Alfa de Cronbach de 0,63 a 0,86 e na língua inglesa (Kim, Westine, Wu, & Maher, 2022), com Alfa de Cronbach variando de 0,61 a 0,93.

Neste estudo, propomos a aplicação desta escala psicométrica também com alunos do primeiro ano do ensino superior, porém durante o ERE. A análise de consistência interna por Alfa de Cronbach (α) será mensurada para garantir a confiabilidade da escala no contexto brasileiro, uma vez que os itens do questionário foram livremente traduzidos para o português, tendo valores acima de 0,60 considerado “aceitável” em ciências humanas ou sociais aplicadas (Field, 2009).

Já o questionário que avaliou a percepção dos estudantes sobre seus resultados de aprendizagem a partir da satisfação com a experiência universitária utilizou a Escala de Resultados de Aprendizagem dos Estudantes (SLOS, do inglês, The Student Learning Outcomes Scale) também apresentada inicialmente em Zhoc et al. (2019). Esta solicita o julgamento em 15 itens, em um modelo em três dimensões (Quadro 3) por meio da escala Likert 5-níveis (1 = Preciso melhorar, 2 = Razoável, 3 = Bom, 4 = Muito Bom, 5 = Excepcional). Quanto maior o valor obtido, mais positiva é a autopercepção dos alunos sobre seus resultados de aprendizagem, ou seja, uma maior satisfação com as experiências universitárias. Os itens da escala HESES apresentaram alta correlação com diferentes itens das dimensões da escala SLOS, tendo sido também validada em Zhoc et al. (2019) com Alfa de Cronbach entre 0,83 e 0,87.

Quadro 2
Dimensões e itens da Escala de Engajamento do Estudante de Ensino Superior

Quadro 3.
Dimensões e itens da Escala de Resultados de Aprendizagem dos Estudantes

Os alunos que responderam ao questionário foram contactados para a etapa presencial de entrevista semiestruturada mediada por MCs, sendo aceitos os cinco primeiros que manifestaram interesse. Foram elaborados dois MCs por aluno, um com foco no engajamento e outro nos resultados de aprendizagem, visando explorar o impacto do ERE em cada dimensão.

Os MCs são organizadores gráficos do conhecimento (Autores, 2013), estabelecidos a partir de uma rede proposicional que explicita a relação conceitual que emerge dos discursos do entrevistado. Apesar de ser uma metodologia relativamente recente (Kinchin, Streatfield, & Hay, 2010) os MCs vêm sendo explorados como artefatos mediadores no processo de elicitação de significados durante entrevistas e grupos focais, sendo particularmente úteis para tornar visíveis as estruturas de conhecimento, concepções, valores e crenças do entrevistado ou grupo de entrevistados, se caracterizando, portanto, como o próprio instrumento de coleta de dados. O uso de MCs em entrevistas semiestruturadas elimina a necessidade de uma possível transcrição dos dados uma vez que o discurso do entrevistado é retratado nas proposições que compõe o MC, estabelecendo assim o próprio objeto de estudo a ser analisado (Autores, 2019; Autores, 2020).

As entrevistas ocorreram em uma dinâmica colaborativa, com duração média de 1h por sujeito, em que o entrevistador, especialista na técnica de elicitação do conhecimento por meio do mapeamento conceitual, proferiu perguntas ao entrevistado e sugeriu alguns conceitos para iniciar a conversa. À medida que a entrevista transcorreu, o MC foi sendo construído em uma folha A3. Quando todas as questões pré-definidas terminaram, o entrevistador fez a leitura do MC e possíveis inserções e correções ainda puderam ser realizadas. Vale ressaltar que o entrevistado teve total autonomia de incluir, excluir ou modificar conceitos e proposições de modo a retratar mais fielmente suas concepções e visões sobre o tema. O entrevistador se manteve o mais neutro possível durante este processo, não proferindo julgamentos ou críticas às respostas.

A definição das questões norteadoras e conceitos atrelados a cada dimensão do engajamento e resultados de aprendizagem (Quadro 4) obedeceram aos modelos teóricos discutidos em Zhoc et al. (2019). Um projeto piloto, prévio a esta pesquisa, foi conduzido com alunos não ingressantes dos cursos de Química, de modo a corrigir possíveis inconsistências ou dubiedades. Neste piloto, percebeu-se que os alunos estabeleceram uma direta relação entre resultados de aprendizagem com satisfação e desempenho, resultando na inclusão destes termos nas questões norteadoras na fase posterior de coleta.

Quadro 4
Conceitos e perguntas utilizados na entrevista mediada por MCs

PROCEDIMENTO DE ANÁLISE DOS DADOS

O procedimento de análise de dados (Figura 2) envolveu tanto as respostas aos questionários, quanto os MCs produzidos nas entrevistas semiestruturadas.

Para iniciar este procedimento de análise com abordagem quantitativa, aplicou-se o teste de Kolmogorv-Smirnov de modo a confirmar a normalidade dos dados e, em seguida, buscou-se possíveis outliers por meio dos gráficos de box-plot. Para estimar a contribuição do engajamento (variável independente/exógena) nos resultados de aprendizagem dos alunos (variável dependente/endógena), os dados foram incluídos em um modelo recursivo por equações estruturais (Hair, Anderson, Tatham, & Black, 1998) padronizados pela Análise de Caminho (Path Analysis).

Figura 2
Procedimento de análise dos dados

A Modelagem de Equações Estruturais (MEE) combina a análise de regressão com a análise fatorial para compor um modelo preditivo que estima e confirma efeitos diretos e indiretos de variáveis explicativas sobre variáveis de resposta (Neves, 2018). No caso específico deste estudo, o modelo é recursivo, pois admite apenas uma direção na relação causal entre as variáveis (Amorim et al., 2012), ou seja, assumimos como pressuposto inicial teórico um efeito direto do engajamento sobre os resultados de aprendizagem sem considerar a possibilidade de um efeito contrário ou recíproco. Em termos práticos isso implica na análise de regressão como a metodologia estatística multivariada que estimará se mudanças médias ocorridas no engajamento escolar dos alunos ingressantes gerará (ou não) um efeito nos resultados de aprendizagem.

É importante notar que a MEE via Análise de Caminho é uma possibilidade para examinar a causalidade (relação de causa e efeito) entre duas ou mais variáveis considerando como premissa que as medidas de cada variável conceitual são perfeitamente confiáveis, ou seja, que cada medida é a exata manifestação da variável teórica. Nas Ciências Sociais não é plausível admitir uma perfeita confiabilidade, porém a Análise de Caminhos busca uma solução parcial para este problema a partir da inclusão de variáveis latentes, que apresentam indicadores que revelam a quantidade de variância não explicada pelas variáveis independentes. Entretanto, vale notar que por ser uma análise mais simples do ponto de vista estatístico, há perda de informações mais complexas provenientes das relações entre os itens do questionário e as variáveis observáveis. Segundo Kline (1998), o ponto de partida da Análise de Caminho é a especificação de um modelo estrutural que represente as hipóteses causais a partir de pressupostos teóricos robustos.

Para que a MEE de um modelo recursivo seja realizada, ele precisa ser totalmente ou superidentificável, ou seja, o número de incógnitas ou parâmetros a serem determinados não pode ser maior que o número de informações fornecidas ao modelo. No caso específico deste estudo, há um problema do baixo número de respondentes, o que gerou consequentemente um número inferior de informações em relação às incógnitas a serem determinadas no modelo (Amorim et al., 2012). Como forma de solucionar o problema do baixo número de respondentes, optou-se por definir como variáveis observadas o agrupamento dos escores totais (somatória dos itens) de cada dimensão dos constructos engajamento escolar e resultados de aprendizagem. No modelo calculado, o número de variáveis a serem determinadas (incógnitas) foi de 19, sendo 8 observadas e 11 não observadas, enquanto o número de informações fornecidas ao modelo a partir da matriz de covariância foi de 36. Com isso, o modelo se torna totalmente determinado ou superidentificável com graus de liberdade positivo e igual a 17.

Aglutinar os itens mensurados pelos questionários em variáveis latentes é uma estratégia válida para resolver o problema da indeterminação do modelo, ainda que ocorra uma perda de informação específica sobre cada item respondido pelos alunos. Conforme salienta Silva (2006), as variáveis latentes são aquelas que não podem ser mensuradas diretamente, mas podem ser representadas ou inferidas a partir das variáveis observadas. Por exemplo, o engajamento social de alunos universitários não pode ser mensurado diretamente ao ponto de não haver incerteza, mas a partir de múltiplos itens julgados em um questionário é possível avaliar diferentes aspectos deste constructo, fornecendo uma medida mais precisa para estes sujeitos.

Para Santos (2002), é frequente nas Ciências Sociais que os escores dos itens destinados a formar um constructo particular sejam somados para formar um escore único que é usado como a estimativa desta variável latente. Este procedimento não invalida ou diminui a confiabilidade preditiva do modelo, a qual deve ser amparada nos índices de ajuste do modelo. Sendo assim, o ajuste e aceitação do modelo foi analisado pelos índices de qualidade:¹ χ²/gl ≤ 2,0, CFI e GFI ≥ 0,90, RMSEA ≤ 0,10 (Maroco, 2014). Índices de modificação foram usados com parcimônia para garantir melhores ajustes, desde que a correlação entre as dimensões fizesse sentido do ponto de vista teórico. A contribuição de cada fator para as suas respectivas variáveis foi avaliada pela carga fatorial padronizada (λ) e o efeito do engajamento sobre os resultados de aprendizagem a partir do coeficiente de regressão padronizado (β), ambos avaliados para significância estatística de p ≤ 0,05 (95%). Os resultados foram demonstrados por meio do Diagrama de Caminho (Path Diagram) e todas as análises foram feitas no SPSS v. 25.0 e pacote Amos v. 25 (IBM, Chicago, IL).

Na etapa qualitativa da pesquisa, os 10 MCs construídos durante as entrevistas semiestruturadas com os cinco alunos (Tabela 1) foram avaliados considerando a Análise de Conteúdo (Bardin, 2011), a qual permite ao pesquisador “[...] compreender as características, estruturas ou modelos que estão por trás de fragmentos de mensagens tornados em consideração” (Câmara, 2013, p. 182).

Tabela 1
Perfil dos alunos entrevistados

Aluno	Idade	Modalidade	Ingresso	Entrevista
A1	19	Bacharelado	2021/2	Maio/2022
A2	19	Industrial	2021/2	Maio/2022
A3	20	Licenciatura	2020/2	Maio/2022
A4	21	Licenciatura	2021/1	Junho/2022
A5	20	Industrial	2020/2	Junho/2022

• Elaboração própria.

Considerando as etapas fundamentais da Análise de Conteúdo (Mendes & Miskulin, 2017), como pré-análise foi feita a transposição original dos MCs, produzidos no papel, para o meio digital utilizando o software gratuito CmapTools (IHMC, EUA). Na etapa de exploração do material, foi feita a leitura completa dos MCs e uma listagem de todas as proposições, separando-as naquelas relativas ao engajamento e aos resultados de aprendizagem. Por fim, a etapa de tratamento dos resultados envolveu a classificações das proposições em duas instâncias de análise: (i) focada nas categorias homônimas às dimensões dos modelos teóricos de engajamento (Quadro 2) e resultados de aprendizagem (Quadro 3), os quais embasam esta pesquisa, e (ii) focada na natureza de suas conotações em três diferentes categorias: positiva, neutra ou negativa. Para fins ilustrativos, a proposição “Ensino remoto auxiliou na organização” apresenta conotação positiva, já “Ensino remoto não alterou a visão sobre o desempenho”, uma conotação neutra e, por fim, “Ensino remoto diminuiu a motivação para os estudos”, negativa.

Para representar os resultados, primeiramente, foi feito o cálculo da incidência, em porcentagem, de proposições nas diferentes dimensões e com diferentes conotações, e, em seguida, o discurso dos estudantes foi discutido e exemplificado a partir das proposições de seus MCs e excertos de suas falas, permitindo a busca por padrões considerando os indícios de engajamento escolar e satisfação sobre a experiência universitária e desempenho acadêmico na perspectiva dos alunos entrevistados.

RESULTADOS E DISCUSSÃO

O ENGAJAMENTO ESCOLAR E OS RESULTADOS DE APRENDIZAGEM A PARTIR DA AVALIAÇÃO QUANTITATIVA DOS QUESTIONÁRIOS

Os participantes (n = 47) tiveram seu perfil analisado, sendo 59,1% do gênero feminino com média de idade 20,4 anos e Desvio-Padrão (DP) de 2,8 anos, não prevalente em qualquer modalidade do curso. O teste de normalidade confirmou que os dados, em sua totalidade, são paramétricos e não houve evidência de outliers entre os alunos em nenhuma das dimensões em análise. Os itens de engajamento Ad2 e Ad4 (Quadro 2) foram excluídos do modelo por apresentarem valores de curtose e assimetria que violaram o princípio da normalidade, exigido como pré-requisito quando se realiza a MEE (Pilati & Laros, 2007).

As escalas psicométricas previamente validadas na literatura, quando aplicadas no contexto brasileiro apresentaram resultados de “aceitável” a “bom” na análise de consistência interna via Alfa de Cronbach, tanto nos itens do questionário de engajamento, α_acadêmico = 0,62; α_cognitivo = 0,66; α_{social_pares} = 0,75; α_{social_docentes} = 0,66; α_afetivo = 0,78, como nos itens do questionário de resultados de aprendizagem, α_cognitivo = 0,73; α_social = 0,80; α_{autocrescimento} = 0,82. Vale notar que os questionários também se mostraram confiáveis em sua totalidade, sendo α = 0,88 (bom), para ambas as escalas, HESES e SLOS.

A Tabela 2 traz as médias e os desvios-padrão (DP) para cada dimensão em análise. O escore total foi dado pelo somatório dos itens individuais (de 1 a 5 da escala), resultando de 4-20 para cada dimensão do constructo engajamento e de 5-25 para os resultados de aprendizagem. Em dimensões que havia mais de uma vertente de análise (por exemplo, a Acadêmica), foi realizada a média aritmética dos escores totais.

Tabela 2
Médias e desvios-padrão (DP) dos escores para cada dimensão das escalas

	Mínimo	Máximo	Média	DP
Engajamento escolar
Acadêmica	6,7	20,0	16,3	3,2
Cognitiva	4,0	20,0	14,0	3,8
Social com pares	4,0	20,0	12,5	3,6
Social com docentes	5,0	20,0	12,7	3,8
Afetiva	4,0	20,0	15,2	4,1
Resultados de aprendizagem
Cognitivos	7,0	20,0	14,9	3,7
Sociais	7,0	25,0	18,4	4,3
Autocrescimento	5,0	25,0	16,3	4,6

• Elaboração própria.

O teste-t pareado para comparação de médias (Tabela 2) indica que, para este grupo de estudantes de Química, houve diferença estatística significativa entre quase todas as dimensões ²(com exceção da Social com Pares e Social com Docentes) quando comparadas dentro do próprio constructo. Isso indica que não houve uma homogeneidade no efeito que o ERE teve sobre cada dimensão em análise.

A Figura 3 apresenta o diagrama de caminho com o resultado final da MEE, indicando as cargas fatoriais (λ) e o coeficiente de regressão padronizado (β), todos com p < 0,05. Duas modificações foram incorporadas, considerando correlações significativas para p < 0,01 do constructo engajamento, entre as dimensões Cognitiva e Social com Pares, com uma correlação negativa (r = -0,96) e, da Social com Pares e com Docentes, com uma correlação positiva (r = 0,41).

Figura 3
Diagrama de caminho resultante da modelagem por equações estruturais

Os resultados da Figura 3 evidenciam que todas as dimensões do engajamento escolar apresentam uma contribuição estatisticamente significativa para a composição do constructo. Considerando as cargas fatoriais padronizadas determinadas pelo modelo, as variáveis latentes (ou fatores) mais importantes foram a dimensão Cognitiva (λ = 0,94) seguida da Acadêmica (λ = 0,71). As dimensões Afetiva e Social com Pares tiveram contribuições iguais (λ = 0,68) enquanto a Social com Docentes foi a que menos contribuiu (λ = 0,35). Quando tomados em conjunto com os resultados da Tabela 2, é possível observar que as dimensões Acadêmica, Afetiva e Cognitiva foram as que tiveram os maiores escores de engajamento e, portanto, foram as menos impactadas pelo ERE que se estabeleceu para este grupo de alunos universitários da Química. É possível inferir que houve uma relação preponderante nos aspectos referentes à aprendizagem, ao investimento psicológico feito para tal e ao sentimento de pertencimento à universidade. Estes resultados podem ser explicados pela mudança radical nas metodologias de ensino e avaliação da aprendizagem, bem como na dinâmica de estudo, que antes dependia de relações interpessoais de proximidade e empatia e, após a pandemia, se tornou de caráter assíncrono e distante da ocupação do espaço físico universitário.

Como era esperado, as dimensões Sociais (com Pares e Docentes) foram as mais afetadas pelo ERE para este grupo de alunos calouros, sendo estas positivamente correlacionadas. Isso é notadamente importante, uma vez que em estudo conduzido por Luan e colaboradores (2020), durante o período da pandemia com alunos universitários que cursam uma língua estrangeira, demonstrou, por meio da MEE, que o suporte social dos pares e docentes teve um efeito mediador nos engajamentos cognitivo, afetivo e acadêmico. Já os resultados de Qureshi e outros (2021) mostrou, por meio da MEE, que os fatores sociais, tais como a interação com pares e docentes e o uso de mídias sociais impactou positivamente a aprendizagem colaborativa, o envolvimento dos estudantes e, consequentemente, seus desempenhos no ambiente online e universitário.

Em relação ao constructo resultados de aprendizagem, suas variáveis também contribuíram de forma positiva e estatisticamente significativa para seu estabelecimento, sendo os fatores mais importantes aqueles Cognitivos (λ = 0,78) e de Autocrescimento (λ = 0,75). A componente Social foi a que menos contribuiu (λ = 0,35). A Tabela 2 confirma que o âmbito Social foi o menos impactado pelo ERE, uma vez que o escore obtido foi estatisticamente maior do que nas demais dimensões, denotando uma percepção mais positiva sobre suas experiências universitárias quando envolvem relações interpessoais, comunicação e colaboração com os outros. É possível inferir também que o ERE não minou a satisfação dos alunos sobre os avanços nos resultados cognitivos, que envolvem pensamento criativo, analítico, crítico, e de conhecimento bem como nas possibilidades de autocrescimento, evidenciados pelas habilidades de reflexão, autonomia, gestão de tempo, autorregulação e meta-aprendizagem.

Há na literatura nacional, estudos que exploram a satisfação com a experiência acadêmica de alunos universitários, contemplando satisfação com o curso, com a instituição e com oportunidades de crescimento, apresentando itens similares à SLOS adotada neste momento. Por exemplo, pesquisa recente de Pereira Neto, Faria e Almeida (2022), apontam que para os alunos ingressantes no Instituto Federal de Alagoas, a satisfação com as relações interpessoais, durante o ERE, foi a menos correlacionada com a satisfação com o próprio rendimento ou ainda com comportamentos de dedicação aos estudos. Já no estudo de Osti e Almeida (2022), todos os índices de satisfação dos alunos do curso de Geografia de uma universidade pública paulista diminuíram após a pandemia. Entretanto, a componente de satisfação interpessoal não foi a mais preponderante, tampouco aquela relativa à satisfação com o rendimento acadêmico.

Por fim, a MEE demonstrou um efeito direto do engajamento escolar (β = 0,51, p = 0,04) sobre os resultados de aprendizagem, confirmando a hipótese H₁ deste estudo. Os índices de ajuste foram adequados ao modelo proposto, com valores de χ²/df = 1,24, CFI = 0,96, GFI = 0,91, e RMSEA = 0,07. Em linhas gerais, é possível afirmar que os resultados de aprendizagem, ou seja, a satisfação dos alunos em relação às suas experiências universitárias e com seus desempenhos acadêmicos durante a pandemia, podem ser explicados pelo engajamento escolar em suas múltiplas dimensões, sendo as mais preponderantes aquelas cognitiva e acadêmica. Possivelmente, a falta de interação social com colegas, professores e o próprio ambiente universitário foi de alguma forma compensado por um maior tempo dedicado às atividades e tarefas voltadas à aquisição de conhecimento.

AVALIAÇÃO QUALITATIVA DO ENGAJAMENTO E DOS RESULTADOS DE APRENDIZAGEM A PARTIR DOS MCS

Ao longo da análise dos MCs, emergiu a necessidade de criar uma nova categoria que contemplasse as proposições que continham uma relação direta entre os conceitos “Ensino remoto” e “Engajamento” ou “Desempenho”. Desta forma, tanto para os MCs referentes ao engajamento escolar, quanto para aqueles acerca dos resultados de aprendizagem, foi estabelecida a categoria “Geral”. Este é um dos aspectos previstos na Análise de Conteúdo, a qual permite a criação de categorias a partir da teoria (a priori) ou com base na coleta de dados (a posteriori) a partir de um “[...] movimento contínuo da teoria para os dados e vice-versa [...]” (Câmara, 2013, p. 186).

As dimensões do engajamento escolar e suas conotações

A Tabela 3 resume a incidência das dimensões analisadas nas proposições dos MCs e a conotação do discurso do aluno considerando o fator engajamento escolar. Os conceitos da dimensão “Geral” foram preponderantemente relacionados sob uma ótica negativa (80,0%), tais como o “Ensino remoto impactou de forma negativa no engajamento” (A1) e “Ensino remoto acarretou um menor engajamento” (A5), demonstrando a forma desfavorável pela qual os estudantes enxergam o impacto que o ERE teve sobre sua dedicação, esforço e envolvimento com as tarefas acadêmicas.

Tabela 3
Resultados das análises dos MCs sobre engajamento escolar

Dimensão	Incidência	Conotação do discurso nas proposições dos mapas
		Negativa	Neutra	Positiva
Geral (Ge)	5,3%	80,0%	20,0%	0,0%
Acadêmica (Ad)	26,3%	44,0%	44,0%	12,0%
Cognitiva (Co)	12,6%	58,3%	8,4%	33,3%
Social com pares (Sp)	21,1%	20,0%	40,0%	20,0%
Social com docentes (Sd)	20,0%	36,9%	52,6%	10,5%
Afetiva (Af)	14,7%	35,7%	42,9%	21,4%
Total	100,0% (n = 95)	44,2% (n = 42)	39,0% (n = 37)	16,8% (n = 16)

• Elaboração própria.

Dimensão “Acadêmica”

Nesta dimensão, foram observados pontos de vista de neutro a negativo (ambos com 44,0%). Na perspectiva neutra, os estudantes apontaram a utilização massiva de materiais disponibilizados online para seus estudos no período remoto, como evidenciado nas proposições “Playlists de videoaulas foram os principais recursos online utilizados no ensino remoto” (A1) e “Ensino remoto necessitou de estudo por sites/materiais online” (A2). Além disso, um dos alunos também indicou o modo como enxergou o impacto do ensino remoto nas aulas por meio da proposição “Ensino remoto modificou a forma como eram ministradas as aulas” (A5), ilustrando em sua fala que “Acho que o formato da aula deixa um pouco desmotivado. O formato como foram aplicadas as aulas e as atividades deixou um pouquinho a desejar” (A5).

Já no que se refere aos aspectos negativos, os estudantes expuseram inseguranças quanto à aprendizagem durante o período remoto. Uma das proposições do A2 indicou que o “Ensino remoto trouxe dificuldades em relação à aprendizagem”, em que o estudante justifica seu posicionamento por uma falta de confirmação sobre os avanços em seu desempenho:

No final, eu estava com um pouco de receio de não ter entendido muito bem a matéria e acabasse passando e ficasse alguma dúvida. Senti que não teve essa confirmação. Não senti essa certeza de que eu estava entendendo bem a matéria [...] eu fui percebendo certas dificuldades, certos momentos que eu tinha um certo bloqueio e eu não sabia muito bem o que fazer a respeito [...]. (A2)

O A5, por sua vez, apontou no MC que o “Ensino remoto diminuiu a motivação para os estudos”, confirmado pelo seu discurso em que diz “O ensino remoto torna mais difícil ter aquele ânimo para estudar” (A5). No MC do mesmo estudante aparece a proposição “As aulas impactaram negativamente no engajamento” (A5) e o aluno menciona em sua fala que durante os encontros síncronos “[...] eu apenas ia reproduzindo sem necessariamente entender o que foi passado” (A5).

O distanciamento necessário no contexto pandêmico parece ter influenciado diretamente no entendimento que os alunos entrevistados tiveram de seus próprios engajamentos, corroborando com a ideia de Martins, Machado e Vosgerau (2021) em que afirmam que “o engajamento no contexto acadêmico implica uma experimentação, por parte dos estudantes, de ações que indiquem elevado grau de envolvimento em suas atividades estudantis [...]” (p. 4), aspectos que possivelmente foram preteridos durante o ERE.

Dimensão “Cognitiva”

A dimensão Cognitiva ficou marcada por um ponto de vista majoritariamente negativo (58,3%) por parte dos estudantes. Em suas entrevistas, três dos cinco alunos mencionaram o conceito “Satisfação” ao se referirem ao engajamento, conforme as proposições “Engajamento não trouxe satisfação” (A1), “Satisfação foi diminuindo com o tempo” (A2) e “Engajamento não despertou satisfação” (A3). Ao longo das explicitações, os alunos fizeram reflexões como: “[...] se estivesse no presencial, eu estaria mais satisfeito porque no remoto eu não consegui me dedicar tanto quanto eu queria às disciplinas” (A3) e “quando estava 100% remoto, parecia que eu não tinha a sensação de que eu estava na faculdade” (A1).

Na oportunidade, também foi mencionada a existência de obstáculos à concentração e foco para os estudos durante o ERE, os quais parte dos alunos nomeou como distrações. O A1 apontou em dois momentos no seu MC que “Distrações prejudicaram a realização das atividades” (A1) e “Distrações são maiores no ensino remoto” (A1), entendidos como empecilhos ao investimento psicológico visando a aquisição de conhecimento. Além disso, o posicionamento deste estudante e a existência destes obstáculos foram reforçados em seu discurso oral, em que diz em diferentes momentos da entrevista: “[...] eu olhava, tentava entender o que o professor falava, mas eu ficava muito mais aérea do que se fosse presencial [...] eu não conseguia me concentrar [...] eu não consigo assistir uma aula inteira hoje online [...] eu não consigo render nada, eu durmo” (A1).

O excesso de distrações e a falta de foco ao estudar pode ser um grande empecilho ao engajamento no ambiente online, uma vez que, segundo Schaufeli e colaboradores (2002), alunos engajados se sentem mais dispostos, “apaixonados” e mentalmente envolvidos em suas vidas acadêmicas, o que impacta diretamente na devoção e esforço para completar as tarefas e atingir seus objetivos e, por consequência, melhorar seus desempenhos.

Dimensão “Social Com Pares”

A análise das proposições classificadas nesta dimensão permitiu identificar uma perspectiva predominantemente neutra (40,0%), bem como a prevalência do uso das redes sociais como forma de contato dos estudantes com seus colegas durante o período remoto. Ferramentas como Email, WhatsApp®, Discord® e Google Meet® foram algumas daquelas citadas pelos alunos, as quais auxiliaram em trabalhos em grupo e no cultivo das relações interpessoais para além do horário destinado às aulas.

Contudo, três estudantes reportaram suas percepções negativas acerca da influência do período remoto no contato social através das proposições: “Ensino remoto afetou negativamente na interação com os colegas” (A3), “Ensino remoto impactou negativamente na socialização” (A4) e “Ensino remoto prejudicou a comunicação com os colegas” (A5). Um dos discentes citou em seu MC que o “Ensino remoto permitiu apenas um contato acadêmico com os colegas” (A4), explicando que “amigos que conversavam comigo não imaginavam quem eu era presencialmente” (A4). Já no que se refere ao âmbito extraclasse, alguns dos discentes entrevistados relataram não terem percebido uma influência do ERE na realização destas atividades. Contudo, um dos estudantes destacou em sua fala: “Uma questão que é importante falar do ensino remoto é a falta de atividades complementares [...] coisas que faziam diferença no currículo. Me senti um pouco defasado em relação a isso, de não ter essas oportunidades” (A4).

Dimensão “Social Com Docentes”

Na dimensão de socialização com os professores e funcionários, houve predominância do ponto de vista de caráter neutro (52,6%). O aspecto que mais se destacou foi a relação aluno-professor por meio do Email e do Google Classroom® para comunicação institucional. Um dos discentes entrevistados reportou o impacto das atividades solicitadas neste contato com os professores ao dizer que:

Senti que por um tempo eu realmente tinha um contato bom, mas depois, conforme o período foi passando, como estava tendo muita coisa, trabalho, essas coisas, realmente o contato ficava mais difícil. Mas, todos os professores que eu tive, eles realmente me respondiam email, tudo certinho. (A2)

Foram observadas visões antagônicas dos estudantes no que se refere às implicações das interações com os professores no engajamento. Ao passo que um aluno disse em seu MC que o “Engajamento é muito influenciado pelo contato com os professores” (A3) e reforçou mencionando em seu discurso que “Muitas vezes no período remoto, os professores se esforçam muito pra estar ali tirando dúvida, mas nem sempre é suficiente” (A3), outro aluno afirmou que o “Engajamento não foi afetado pelo relacionamento com os professores” (A4), justificando que em seu caso “Não fez diferença” (A4). Interessante notar que as interações professor-aluno também são diversas quando se trata do ambiente presencial, podendo estar associadas a traços de personalidade e estratégias de estudo e não necessariamente à modalidade de ensino ofertada.

Alguns alunos mencionam a preocupação demonstrada pelos docentes em se adaptarem à nova realidade por meio da adoção de metodologias inovadoras. Uma das proposições de um aluno citou que “Professores, alguns deles, adotaram novas metodologias/estratégias” (A5), reforçando seu ponto de vista através da fala:

De alguma forma, alguns professores viam que a gente não estava se adaptando à forma, esse tipo de estilo de ensino e eles às vezes tentavam tornar a aula mais leve, fazer tipos de atividades diferentes, alguns tipos de seminários diferentes. Introduzir a matéria em coisas mais cotidianas para que a gente pudesse se adaptar a elas. (A5)

É muito importante que os alunos tenham tido a percepção do esforço dos docentes na adaptação ao ERE, uma vez que Khlaif, Salha e Kouraichi (2021) afirmam que a qualidade do conteúdo e dos materiais disponibilizados pelos docentes é um dos três fatores que mais influenciam no engajamento dos estudantes na modalidade remota. O papel do professor também é ressaltado por Espinosa (2021), que cita a promoção de experiências significativas acerca de problemáticas da vida real como um dos principais potencializadores do engajamento dos estudantes em sala de aula, especialmente no ensino de Ciências.

Dimensão “Afetiva”

A dimensão Afetiva foi caracterizada por perspectivas mistas dos estudantes, apresentando visões de neutras (42,9%) a negativas (35,7%). Durante as entrevistas, quatro dos cinco alunos relataram a não interferência do ERE em suas impressões com relação ao curso de Química, tal como pode ser visto nas proposições “Ensino remoto não modificou a visão do curso” (A1), “Ensino remoto não afetou a visão do curso” (A2), “Ensino remoto não impactou na motivação em relação ao curso” (A4) e “Ensino remoto não impactou na satisfação com o curso” (A5). Todavia, um aluno reportou que, em seu caso, o ERE teve um impacto negativo no contentamento com o curso através da proposição “Ensino remoto impactou negativamente na satisfação com o curso” (A3). O discente justificou sua consideração afirmando que “No início, a gente fica super animado, né? Química, laboratório. E quando você entra, você vê Química e não vê laboratório. Você desanima. Você já ‘diminui’ um pouco, já fica um pouco triste” (A3).

A maioria dos estudantes entrevistados também citou os efeitos prejudiciais do ERE no fato de estar na universidade, como observado em proposições como “Ensino remoto afetou de forma negativa no sentimento de pertencimento à universidade” (A1), “Ensino remoto afetou negativamente na vivência da universidade” (A3), “Ensino remoto prejudicou em um maior conhecimento sobre a universidade” (A4) e “Ensino remoto gerou quebras de expectativa e dificuldades de adaptação na universidade” (A5). Estas proposições podem ser melhor entendidas nos discursos orais dos estudantes, tais como “Hoje, eu estou na faculdade, mas não é algo que tipo ‘nossa, eu estou na faculdade’. Acho que esse sentimento ainda não está genuíno, sabe?” (A1) e “O período remoto faz você questionar muito do porquê você escolheu estar na universidade” (A3).

Os relatos destacados retratam a forma como o ERE impactou na relação dos alunos com a instituição, tornando-a muito aquém do esperado para estudantes recém-chegados ao ensino superior. A entrada na universidade costuma ser um momento de grandes rupturas na vida dos discentes, que segundo Fagundes, Prado e Felix (2022) passam a necessitar de uma adaptação a um novo contexto de vida. A sensação de pertencimento do estudante com a Instituição de Ensino Superior (IES) auxilia neste processo, pois de acordo com os autores:

Quanto mais atraído o estudante se sentir pela identidade da IES, mais forte será sua identificação com esta, resultando em objetivos e valores em comum. Assim, cria-se o sentimento de pertencimento, de unidade, do indivíduo com a corporação. [...] Desta forma, os alunos que se identificam fortemente com a IES tendem a ser mais comprometidos e cumprir com mais eficácia sua função estudantil [...] (Fagundes, Prado, & Felix, 2022, p. 5)

As dimensões dos resultados de aprendizagem e suas conotações

A Tabela 4 resume a incidência das dimensões analisadas nas proposições dos MCs e a conotação do discurso do aluno considerando o fator resultados de aprendizagem. A dimensão “Geral” foi constituída majoritariamente por proposições com uma perspectiva neutra (60,0%), tais como “Ensino remoto não foi o culpado pelo desempenho” (A1) e “Ensino remoto não alterou a visão sobre o desempenho” (A4 e A5).

Tabela 4
Resultados das análises dos MCs sobre resultados de aprendizagem

Dimensão	Incidência	Conotação do discurso nas proposições dos mapas
		Negativa	Neutra	Positiva
Geral (Ge)	9,4%	40,0%	60,0%	0,0%
Cognitiva (Cg)	45,3%	33,3%	37,5%	29,2%
Social (So)	7,6%	0,0%	75,0%	25,0%
Autocrescimento (Ac)	37,7%	25,0%	30,0%	45,0%
Total	100,0% (n = 53)	28,3% (n = 15)	39,6% (n = 21)	32,1% (n = 17)

• Elaboração própria.

Dimensão “Cognitiva”

Nesta dimensão, os alunos reportaram suas percepções de forma neutra (37,5%) a negativa (33,3%), demonstrando assim uma pluralidade de experiências no que tange ao âmbito cognitivo de seus desempenhos. No que se refere à aprendizagem, alguns alunos relataram em seus MCs aspectos como “Desempenho não afetou de forma satisfatória na aprendizagem” (A1), “Ensino remoto gerou dúvidas em relação à real aprendizagem” (A3) e “Desempenho não refletiu a aprendizagem” (A5). Nota-se uma perspectiva negativa, em que os estudantes afirmam que “O período remoto faz você ir esquecendo muitas coisas, você não colocando em prática [...] a gente não percebia que tinha uma comunicação entre tudo o que estávamos fazendo” (A3) e “O ensino remoto criou uma sensação de um bom desempenho, mas não necessariamente um bom aprendizado” (A5).

As falas destes alunos indicam a ocorrência de uma aprendizagem superficial ou, conforme definido por Ausubel (2003), aprendizagem mecânica. Para o autor, isto ocorre devido à ausência de interação entre o novo conteúdo e algum conhecimento relevante previamente existente no arcabouço cognitivo do aprendiz. Desta forma, o armazenamento desta nova informação é feito por associações meramente arbitrárias, acarretando a memorização deste conhecimento e em um possível esquecimento posterior.

O ponto de vista neutro foi bastante notório nas menções ao conceito “Resultados”. Durante as entrevistas, os alunos citaram uma relação direta entre satisfação, desempenho e aprendizagem com os resultados ou avanços obtidos em seus estudos, como observado nas proposições: “Desempenho afetou de forma direta nos resultados” (A3), “Desempenho teve uma relação linear com os resultados” (A4), “Aprendizagem refletiu de forma linear nos resultados” (A4) e “Desempenho foi condizente com os resultados” (A5). Um aluno citou a maior disponibilidade de tempo ao justificar sua fala: “[...] você otimiza o tempo, você estuda menos também e consegue resultados melhores [...] eu acho que meu desempenho foi linear em questão de estar correndo atrás, eu estava muito mais sozinho” (A3). Enquanto outro aluno associou diretamente o conceito “Resultados” com as notas obtidas, quando diz: “Meu desempenho foi alto e meus resultados, também. Eu tive notas altas no geral” (A5).

Esta última fala remete a um retrato do sistema de avaliação o qual o aluno foi submetido ao longo de toda sua vida escolar: um reforço constante à mensuração de sua aprendizagem por meio da nota, desconsiderando a complexidade envolvida no processo de avaliação. Conforme ressalta Luz e Moreira (2022), a avaliação é limitada à “[...] verificação do acúmulo de conhecimentos e da habilidade de reprodução destes em situações definidas, controladas ou estruturadas” (p. 4) por meio de “[...] instrumentos pontuais, fragmentados, desligados dos processos ditos objetivos, para permitir classificações e hierarquizações” (Sousa, Almeida, Bard, & Cancela, 2018, p. 60).

A ênfase excessiva nas notas como medida de sucesso acadêmico pode levar a uma falta de desenvolvimento de habilidades importantes, como pensamento crítico, resolução de problemas e argumentação. A adoção de avaliações, que consideram o desenvolvimento destas habilidades, deveria estar contemplada em todo percurso universitário, valorizando atitudes para o mercado de trabalho e para a vida em sociedade.

Dimensão “Social”

Diferentemente das demais, esta foi uma dimensão observada somente em um dos MCs produzidos, fato que indica pouco impacto deste componente nos resultados de aprendizagem dos entrevistados. Na ocasião, um aluno citou sob uma perspectiva predominantemente neutra (75,0%), a influência que a participação em grupos de estudo teve em seus resultados de aprendizagem. Proposições como “Desempenho foi a consequência da participação em grupos de estudo”, (A2) “Grupos de estudo permitiram uma socialização com os colegas” (A2) e “Grupos de estudo fizeram sentir o mais próximo possível do modelo presencial” (A2) refletem a importância de tais reuniões colaborativas, as quais o discente descreveu como “Grupos de estudos que depois se tornaram grupos de conversa” (A2).

Dimensão “Autocrescimento”

As proposições referentes à dimensão foram em sua maioria positivas (45,0%). No que se refere ao desenvolvimento de habilidades, três dos cinco alunos entrevistados relataram terem aprendido novas ou aperfeiçoado alguma já existente. Além disso, o conceito “Tempo” também foi citado em alguns momentos, como “Resultados eram relacionados à disponibilidade de tempo” (A3), entendido como um fator limitante para este aluno ou “Ensino remoto permitiu ter mais tempo” (A4), dispensando a necessidade de deslocamento até a universidade e adoção de atividades com maior prazo de resolução pelos professores, como aspectos benéficos durante o ERE.

Foram observadas também percepções mistas com relação ao conceito “Satisfação” em quatro dos cinco MCs produzidos, frutos de autorreflexões críticas dos estudantes, tais como as proposições “Desempenho não proporcionou satisfação” (A1) que é antagônico a “Desempenho despertou satisfação” (A4). Da mesma forma, para um aluno os “Resultados foram melhores em disciplinas que despertavam satisfação” (A3), justificando seu ponto de vista dizendo que “onde eu consegui me dedicar e ter tempo hábil para estar dedicado aquilo, a minha satisfação dentro daquelas disciplinas era grande” (A3). Enquanto para outro discente, “Desempenho foi alto, mas não despertou satisfação” (A5), explicando em sua fala que “era como se eu sentisse que eu ganhei uma nota, mas não necessariamente eu merecia aquela nota” (A5).

Conclusão

Diante do cenário pandêmico ocasionado pela COVID-19, as instituições de ensino superior adotaram, em caráter excepcional, o ERE como forma de dar continuidade às suas atividades, o qual marcou uma ruptura das práticas presenciais e também momentos de reinvenção e adaptação por parte de toda comunidade acadêmica. No presente trabalho, a avaliação do engajamento escolar dos estudantes foi realizada por meio da aplicação de um modelo teórico multidimensional e complexo.

A abordagem metodológica mista por triangulação sequencial, se adequou ao problema de pesquisa proposto, fornecendo um olhar amplo, não reducionista, do engajamento universitário em tempos de pandemia. A abordagem quantitativa, coletada por questionários validados na literatura e em nosso contexto, permitiu compreender as dimensões do engajamento mais (Social com Docentes) e menos (Acadêmica) afetadas pelo ERE para este grupo de alunos ingressantes no curso de Química, ao mesmo tempo que trouxe evidências, por meio da MEE, do efeito deste engajamento em uma boa experiência universitária.

Já o estudo de natureza qualitativa, por sua vez, possibilitou uma perspectiva mais individualizada e pormenorizada das observações ora discutidas. As entrevistas mediadas por MCs permitiram detalhar os efeitos do ERE a partir do ponto de vista de um grupo de cinco alunos. Com isso, foi possível constatar padrões nas respostas, os quais indicaram um impacto predominantemente negativo no engajamento escolar e de forma mais neutra em suas experiências universitárias.

Quando as duas abordagens são tomadas em conjunto, o estudo proposto indica que para os ingressantes do curso de Química desta instituição pública, o ERE afetou substancialmente a forma pela qual eles se relacionam com os professores, seus colegas, com o conhecimento e com a própria instituição, minando algumas possibilidades de reflexão, autocrescimento e pertencimento à universidade. Ainda assim, percebe-se que os alunos criaram mecanismos de suplantar estas dificuldades, mantendo o foco em suas conquistas cognitivas e acadêmicas, muitas vezes relacionadas às notas e aprovação.

A falta de predisposição dos estudantes em responder aos questionários limitou uma maior robustez das análises quantitativas, ainda que a literatura aponte resultados similares para o ensino presencial e online. O convite para participação na pesquisa ocorreu entre os meses de fevereiro e abril de 2022, período em que a universidade aderiu um sistema híbrido de ensino como forma de transição às aulas presenciais, que retornariam integralmente no período imediatamente posterior. Portanto, para que fosse possível contar com os alunos ingressantes que cumprissem com os critérios de participação, optou-se por dar continuidade à coleta de dados, mesmo com a baixa adesão. Isso implica em dizer que apesar dos dados terem sido suficientes para realização das análises estatísticas, é preciso reconhecer que talvez o baixo número de respondentes pode não ser representativo da população.

O tempo dedicado para as entrevistas com MCs permitiu uma abertura para um diálogo franco e individualizado com os estudantes. Entretanto, a necessidade de expertise neste método de coleta de dados pode inviabilizar uma adoção em larga escala. Como consequência deste tipo de abordagem, é possível vislumbrar que as percepções dos alunos sobre seu próprio engajamento, dedicação, motivação e a satisfação com suas experiências universitárias, desempenho e avanço nos estudos são intrinsecamente heterogêneas e diversas, tanto quanto às próprias idiossincrasias que compõe a complexidade dos indivíduos em lidar com situações adversas e desafiantes.

Como implicações educacionais é possível apontar primeiramente, que docentes e gestores estejam atentos às mudanças comportamentais, sociais e afetivas advindas do ERE em suas práticas diárias de ensino. Mesmo após retorno à modalidade presencial, é perceptível notar os efeitos deletérios que dois anos de estudos à distância provocaram em termos de socialização, pertencimento à universidade, acesso às oportunidades extraclasse e de crescimento pessoal e profissional destes estudantes ingressantes. É preciso atualizar os paradigmas que envolvem a formação universitária para além dos resultados focados em aprendizagem e aquisição de conhecimento especializado, incluindo aspectos socioemocionais, afetivos, de desenvolvimento de reflexão e crítica. Conforme destacado por Khlaif e colaboradores (2021) e Espinosa (2022), neste processo educativo, o professor, os materiais didáticos, as estratégias de ensino e o próprio ambiente acadêmico devem também ser parte deste modelo dinâmico, complexo e multidimensional, eximindo, em parte, a responsabilidade muitas vezes depositada apenas nos alunos do engajamento e sucesso acadêmico.

Em termos de pesquisa, ressalta-se a importância de um acompanhamento do engajamento escolar a médio e longo-prazo, uma vez que o cenário pós-pandêmico universitário ainda gera incertezas e inseguranças. Por fim, estudos similares poderiam ser reproduzidos com estudantes de outros cursos, instituições e regiões do Brasil, ampliando e aprofundando o entendimento que professores, pesquisadores e lideranças acadêmicas possuem sobre as consequências da pandemia no contexto escolar universitário.

REFERÊNCIAS

• Amorim, L. D. A. F., Fiaccone, R. L., Santos, C. A. S. T., Moraes, L. T. L. P., Oliveira, N. F., Oliveira, S. B., & Santosm T. N. L. (2012). Modelo com Equações Estruturais: Princípios Básicos e Aplicações (1. Ed). Salvador, Brasil: UFBA.
• Appleton, J. J., Christenson, S. L., & Furlong, M. J. (2008). Student engagement with school: Critical conceptual and methodological issues of the construct. Psychology in the Schools, 45(5), 369-386.
• Ausubel, D. P. (2003). Aquisição e retenção de conhecimentos: uma perspectiva cognitiva (1. Ed). Lisboa, Portugal: Paralelo.
• Bardin, L. (2011). Análise de conteúdo (1. Ed). São Paulo, Brasil: Edições 70.
• Câmara, R. H. (2013). Análise de conteúdo: da teoria à prática em pesquisas sociais aplicadas às organizações. Gerais: Revista Interinstitucional de Psicologia, 6(2), 179-191.
• Campos, L. V. e, Schmitt, J. C., & Justi, F. R. dos R. (2020). Um panorama sobre engajamento escolar: Uma revisão sistemátic. Revista Portuguesa De Educação, 33(1), 221-246.
• Coates, H. (2005). The value of student engagement for higher education quality assurance. Quality in Higher Education, 11(1), 5-36.
• Creswell, J. W. (2021). Projeto de pesquisa: Métodos qualitativo, quantitativo e misto (5. ed). Penso.
• Cunha, A. M., Tunes, E., & Silva, R. R. (2001). Evasão do curso de Química da Universidade de Brasília: a interpretação do aluno evadido. Química Nova (Educação), 24(1), 262-280.
• Elmore, G. M., & Huebner, E. S. (2010). Adolescents’ satisfaction with school experiences: Relationships with demographics, attachment relationships, and school engagement behavior. Psychology in the Schools, 47(6), 525-537.
• Espinosa, T. (2021). Reflexões sobre o engajamento de estudantes no en. Ensaio: Pesquisa em Educação em Ciências, 23
• Fagundes, A. F. A., Prado, R. A. D. P., & Felix, D. F. (2022). S A identificação dos discentes com as associações atléticas universitárias e o reflexo quanto ao engajamento estudantil junto às instituições de ensino superior. Educação e Pesquisa, 48 (contínuo).
• Field, A. (2009). Descobrindo a Estatística usando o SPSS (2. Ed). ArtMed.
• Finn, J. D., & Zimmer, K. S. (2012). Student engagement: What is it? Why does it matter? In: Christenson, S. L., Reschly, A. L., & Wylie, C. (Eds.), Handbook of research on student engagement (97-131). Springer Science + Business Media.
• Fonsêca, P. N. (2008). Desempenho acadêmico de adolescentes: proposta de um modelo explicativo (Tese de Doutorado). Universidade Federal da Paraíba, João Pessoa, Brasil.
• Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109.
• Hachem, M., Gorgun, G., Chu, M.-W., & Bulut, O. (2022). Social and emotional variables as predictors of students’ perceived cognitive competence and academic performance. Canadian Journal of School Psychology, 37(4), 362-384.
• Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (1998). Structural Equation Modeling. In: Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (org.) Multivariate data analysis (5ª ed.). Upper Sanddle River.
• Joo, Y. J., Lim, K. Y., & Kim, J. (2013). Locus of control, self-efficacy, and task value as predictors of learning outcome in an online university context. Computers & Education, 62(3), 149-158.
• Kahu, E. R. (2013). Framing student engagement in higher education. Studies in Higher Education, 38(5), 758-773.
• Khlaif, Z. N., Salha, S., & Kouraichi, B (2021). Emergency remote learning during COVID-19 crisis Students’ engagement. Education and Information Technologies, 26(6), 7033-7055.
• Kim, S. Y., Westine, C., Wu, T., & Maher, D. (2022). Validation of the Higher Education Student Engagement Scale in use for Program Evaluation. Journal of College Student Retention: Research, Theory & Practice
• Kinchin, I. M., Streatfield, D., & Hay, D. B. (2010). Using concept mapping to enhance the research interview. International Journal of Qualitative Methods, 9(1), 52-68.
• Kline, R. B. (1998). Principles and practice of structural equation modelling Nova York, United States of America: The Guildford Press.
• Krause, K.L., & Coates, H. (2008). Students’ Engagement in First-Year University. Assessment & Evaluation in Higher Education, 33, 493-505.
• Lima, K. M. R., & Moraes, E. A. (2023). A relação entre o burnout e o engajamento com a autoeficácia e autoregulação dos estudantes universitários em cursos a distância. Administração: Ensino e Pesquisa, 24(1), 140-191.
• Lovelace, S. V., Reschly, A. L., & Appleton, J. J. (2018). Beyond school records: The value of cognitive and affective engagement in predicting dropout and on-time graduation. Professional School Counseling, 21(1).
• Luan, L., Hong, J. C., Cao, M., Dong, Y., & Hou, X. (2020). Exploring the role of online EFL learners’perceived social support in their learning engagement: a structural equation model. Interactive Learning Environments, 31(3), 1703-1714.
• Luz, M. D., & Moreira, H. (2022). Avaliação no Ensino Superior: uma análise da prática. Estudos em Avaliação Educacional, 33.
• Marcionetti, J., & Zammitti, A. (2023). Italian Higher Education Student Engagement Scale (I-HESES): initial validation and psychometric evidences. Counselling Psychology Quaterly
• Maroco, J. (2014). Análise de equações estruturais Report Number.
• Martinez, I. M., Youssef-Morgan, C. M., Chambel, M. J., & Marques-Pinto, A. (2019). Antecedents of academic performance of university students: Academic engagement and psychological capital resources. Educational Psychology, 39, 1047-1067.
• Martins, L. M., & Ribeiro, J. L. D. (2017). Engajamento do estudante no ensino superior como indicador de avaliação. Avaliação, 22(1), 223-247.
• Martins, P. C. P., Machado, P. G. B., & Vosgerau, D. S. R. (2021). Engajamento de estudantes universitários em atividades acadêmicas. Revista Internacional de Educação Superior, 7, 1-14.
• Maslach, C., & Jackson, S. E. (1981). The measurement of experienced burnout. Journal of Occupational Behaviour, 2(2), 99-113.
• Mendes, R. M., & Miskulin, R. G. S. (2017). A análise de conteúdo como uma metodologia. Cadernos de Pesquisa, 47(165), 1044-1066.
• Morse, J. M. (1991). Approaches to qualitative-quantitative methodological triangulation. Nursing Research, 40(1), 120-132.
• Neves, J. A. B. (2018). Modelo de equações estruturais: uma introdução aplicada (1. Ed). Brasília, Brasil: Enap.
• Nystrand, M., & Gamoran, A. Instructional discourse and student engagement. In: Schunk, D. H.; Meece, J. (Eds.). (1992). Student perceptions in the classroom Lawrence Erlbaum.
• Osti, A., & S. Almeida, L. (2022). A satisfação acadêmica em um grupo de estudantes universitários antes e durante a pandemia: Satisfacción académica en un grupo de estudiantes universitarios antes y durante la pandemia. Revista Cocar, 17(35).
• Panigrahi, R., Srivastava, P. R., & Sharma, D. (2018). Online learning: Adoption, continuance, and learning outcome-A review of literature. International Journal of Information Management, 43(12), 1-14.
• Pereira Neto, L. L., Faria, A. A. G. de B. T., & Almeida, L. S. (2022). Satisfação acadêmica no contexto da pandemia da COVID-19 em estudantes do Ensino Superior. Educação & Formação, 7.
• Pilati, R., Laros, J. A. (2007). Modelos de Equações Estruturais em Psicologia: Conceitos e Aplicações. Psicologia: Teoria e Pesquisa, 23(2), 205-216.
• Qureshi, M. A., Khaskheli, A., Betina, H. S., Qureshi, J. A., Raza, S. A., & Yousufi, S. Q. (2023). Factors affecting students’ learning performance through collaborative learning and engagement. Interactive Learning Environments, 31(4), 2371-2391.
• Reeve, J. & Tseng, C. M. (2011). Agency as a fourth aspect of students’ engagement during learning activities. Contemporary Educational Psychology, 36(4), 257-267.
• Santos, J. L. G., Erdmann, A. L. M., Betina, H. S., Lanzoni, G. M. de M., Cunha, V. P., & Ross, R. (2017). Integração entre dados quantitativos e qualitativos em uma pesquisa de métodos mistos. Texto & Contexto Enfermagem, 26(3).
• Santos, R. B. (2002). Modelos de Equações Estruturais Trabalho de Conclusão de Curso, Departamento de Estatística, Instituto de Matemática, Universidade Federal do Rio Grande do Sul. Porto Alegre, Brasil.
• Schaufeli, W. B., Salanova, M., González-romá, V., & Bakker, A. B. (2002). The measurement of engagement and burnout: a two sample confirmatory factor analytic approach. Journal of Happiness Studies, 3, 71-92.
• Silva, J. S. F. (2006). Modelagem de equações estruturais: apresentação de uma metodologia (Dissertação de mestrado). Universidade Federal do Rio Grande do Sul, Porto Alegre, Brasil.
• Slåtten, T., Lien, G., Evenstad, S.B.N., & Onshus, T. (2021). Supportive study climate and academic performance among university students: The role of psychological capital, positive emotions and study engagement. International Journal of Quality and Service Sciences, 13(4), 585-600.
• Sousa, L. D., Almeida, F. A., Bard, L. A., & Cancela, L. B. (2018). Os desafios enfrentados pelos professores no processo de avaliação no ensino superior. Revista de Gestão e Avaliação Educacional, 7(16), 59-66.
• Teixeira, J. C., Nascimento, M. C. R., & Antonialli, L. M. (2013). Perfil de estudos em Administração que utilizaram triangulação metodológica: uma análise dos anais do EnANPAD de 2007 a 2011. Revista da Administração, 48(4), 800-812.
• Upadyaya, K., & Salmela-Aro, K. (2012). The Schoolwork Engagement Inventory. European Journal of Psychological Assessment, 28, 60-67.
• Upadyaya, K., & Salmela-Aro, K. (2013). Development of school engagement in association with academic success and well-being in varying social contexts: A review of empirical research. European Psychologist, 18, 136 -147.
• Veiga, F. H. (2013). Envolvimento dos alunos na escola: Elaboração de uma nova escala de avaliação. International Journal of Developmental and Educational Psychology, 1(1), 441-450.
• Vizoso, C., Rodríguez, C., & Arias-GunDín, O. (2018). Coping, academic engagement and performance in university students. Higher Education Research & Development, 37(7), 1515-1529.
• Wang, M.‐T., & Eccles, J. S. (2012). Adolescent behavioral, emotional, and cognitive engagement trajectories in school and their differential relations to educational success. Journal of Research on Adolescence, 22(1), 31-39.
• Wang, Z., Qadir, A., Asmat, A., Aslam Mian, M. S., & Luo, X. (2022). The advent of Coronavirus disease 2019 and the impact of mobile learning on student learning performance: the mediating role of student learning behavior. Frontiers in Psychology, 12.
• Willms, J. D. (2003). Student engagement at school: A sense of belonging and participation. Paris: Organisation for Economic Cooperation and Development.
• Zhoc, K. C. H., Webster, B. J., King, R. B., Li, J. C. H., & Chung, T. S. H. (2019). Higher Education Student Engagement Scale (HESES): Development and Psychometric Evidence. Research in Higher Education, 60(2), 219-244.
• Zucoloto, M. L., Oliveira, V., Maroco, J., & Campos, J. A. D. B. (2016). School engagement and burnout in a sample of Brazilian students. Currents in Pharmacy Teaching and Learning, 8(5), 659-666.

• DECLARAÇÃO SOBRE DISPONIBILIDADE DE DADOS

  “Todo o conjunto de dados que dá suporte aos resultados deste estudo foi publicado no próprio artigo. De acordo com a aprovação do projeto em comitê de ética, terão acesso aos dados coletados unicamente as pessoas autoras do trabalho.”

• 1
  c²/gl: razão do qui-quadrado com os graus de liberdade (gl); GFI: Goodness-of-Fit Index (Índice de Qualidade do Ajuste), CFI: Comparative Fit Index (Índice Comparativo de Ajuste); RMSEA: Root Mean Square Error of Approximation (Raiz Quadrada Média do Erro de Aproximação).

• 2
  Por questões de parcimônia na representação dos resultados estatísticos, suprimimos os valores de t encontrados nas comparações de média por teste-t pareado.

• O CECIMIG agradece ao CNPq (Conselho Nacional de Desenvolvimento Científico) e à FAPEMIG (Fundação de Amparo à Pesquisa do Estado de Minas Gerais) pela verba para a editoração deste artigo.

Editado por

Editor responsável: Glauco dos Santos Ferreira e Silva

Disponibilidade de dados

“Todo o conjunto de dados que dá suporte aos resultados deste estudo foi publicado no próprio artigo. De acordo com a aprovação do projeto em comitê de ética, terão acesso aos dados coletados unicamente as pessoas autoras do trabalho.”

Datas de Publicação

• Publicação nesta coleção
  09 Ago 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  07 Jul 2023
• Aceito
  24 Mar 2024