Verificación de evidencias y fuentes de información de trabajos académicos elaborados con Inteligencia Artificial GenerativaResumen
Se realizó un estudio preexperimental con evaluación postest y grupo control para evaluar los resultados del uso de una herramienta para la verificación de fuentes de información en el aprendizaje de esta habilidad y la reflexión sobre el uso de la IAGen para la elaboración de trabajos académicos de estudiantes universitarios. Participaron 30 estudiantes universitarios en la modalidad en línea divididos en dos grupos: GE (n=20) y GC (n=10). El GE participó de una sesión sincrónica en la que se presentó información sobre el uso de la Inteligencia Artificial Generativa (IAGen) y su relación con el pensamiento crítico, luego de lo cual se les orientó en el uso de un cuestionario para verificar la calidad de las evidencias y fuentes de información proporcionada por la IAGen. El estudio muestra un cambio hacia resultados más altos en la identificación de características relevantes de las evidencias, en el GE, y poca claridad en cuanto a la calidad de las fuentes de información proporcionada por la IAGen y si puede ser verificable o no. Se concluye acerca de la importancia de la verificación de evidencias y fuentes de información como parte de las habilidades de pensamiento crítico necesarias para el aprendizaje en educación superior, además de la necesidad de alfabetizar a los estudiantes acerca de su uso ético y responsable, así como a los docentes para la implementación de estrategias que la integren en el aula.
Palabras clave:
Verificación de evidencias; Inteligencia Artificial; Desempeño académico; Educación Superior
Abstract
A pre-experimental study with post-test evaluation and a control group was conducted to assess the results of using a tool for verifying information sources, in the learning of this skill and in reflecting on the use of Generative Artificial Intelligence (GAI) for the development of academic assignments by university students. Thirty university students participated in the online program, divided into two groups: EG (n=20) and CG (n=10). The EG participated in a synchronous session in which information was presented on the use of Generative Artificial Intelligence (GAI) and its relationship to critical thinking. Following this, they were guided in using a questionnaire to verify the quality of the evidence and information sources provided by GAI. The study shows a shift towards higher scores in the identification of relevant characteristics of the evidence in the EG, but less clarity regarding the quality of the information sources provided by GAI and whether they can be verified. It is concluded that the verification of evidence and sources of information is important as part of the critical thinking skills needed for learning in higher education, as well as the necessity to educate students about its ethical and responsible use, and to educate teachers about the implementation of strategies that integrate it in the classroom.
Keywords:
Evidences verification; Artificial Intelligence; Academic performance; Higher education
Introducción
La Inteligencia Artificial (IA) está siendo cada vez más adoptada y aceptada en diversos ámbitos; durante la Primera Jornada de Inteligencia Artificial Generativa en Educación de la Universidad Nacional Autónoma de México (UNAM), realizada en noviembre del 2023, el Dr. Melchor Sánchez Mendiola, Coordinador de Universidad Abierta, Innovación Educativa y Educación a Distancia (CUAIEED), mencionó que, a nivel mundial, existen más de 200 millones de usuarios de la inteligencia artificial. En educación, la IA está generando cada vez más herramientas para su uso en el aula como procesadores de texto, desarrollo de mapas conceptuales, hojas de cálculo, generación de presentaciones, audio, video, motores de búsqueda, entre otras. Ante esto, investigaciones como la de Castillo Acobo et al. (2023) señalan que los usuarios jóvenes tienden a usar la IA en el aula de forma excesiva por lo que se requieren más tácticas y políticas que fomenten su uso adecuado en la educación de todos los niveles.
El desarrollo y manejo de la IA en el área educativa trae consigo dificultades como la utilización de datos y/o información los cuales pueden ser inexactos o sesgados, además de que su implementación en la educación requiere un costo extra de capacitación, tanto para educadores como para estudiantes, la consideración de aspectos como la privacidad y la seguridad de los datos (Haidar, 2024), así como el cuidado de la integridad académica. Uno de los dilemas éticos del uso de la IA, sobre todo en su forma generativa (IAGen), proviene de su utilización para elaborar trabajos que pueden ser presentados por los estudiantes como de autoría propia, lo cual demanda un abordaje proactivo de todas las problemáticas relacionadas para garantizar un uso efectivo y responsable de la IA en la educación (Bolaño García; Duarte Acosta, 2024).
Según Abeliuk y Gutiérrez (2021), la IA se caracteriza por manejar mecanismo de aprendizaje automático y profundo, es decir que sus respuestas se desarrollan a partir de la interacción con el usuario y grandes cantidades de datos, mediante redes neuronales.
Cuando un estudiante emplea internet, incluyendo herramientas de IA para la elaboración de sus trabajos académicos, considerando los mecanismos de aprendizaje autónomo y profundo, se expone a una gran cantidad de datos y fuentes de información con características de multiplicidad, no linealidad (Morales Ruíz; Flores Macías; Meza Cano, 2017), es decir que, así como la demás información encontrada en la red, aquella que proviene de la IA puede ser falsa, provenir de fuentes no verificables o construida a partir de las preferencias del usuario. Otras razones por las que la IA puede mostrar información errónea o falsa se relacionan con un entrenamiento insuficiente en su proceso de programación, la falta de habilidades del usuario para evaluar si un dato es verídico, la mala interpretación de lo que se le solicita o la intencionalidad del programador, entre otras. Actualmente, es difícil conocer con exactitud los niveles en que la IAGen genera información falsa, por lo que resulta relevante estudiar aquellos elementos del pensamiento crítico que permiten mejorar la calidad de los trabajos académicos elaborados a través de estas herramientas.
En la actualidad, el pensamiento crítico es considerado una habilidad esencial por distintos organismos, como la Organización para la Cooperación y el Desarrollo Económicos (OCDE), que establece que se trata de una de las “[...] competencias cognitivas necesarias para responder y mejorar el futuro de la sociedad” (OCDE, 2019, p. 71). Como resultado de este énfasis, la OCDE inició un proyecto para monitorear la forma en que los docentes promueven el pensamiento crítico y establece los elementos que lo integran y deben ser evaluados, reconociendo al proceso de identificar las fortalezas y debilidades de la evidencia como elementos indispensables para hacer frente a los retos que presenta el futuro y, en este caso, para la incorporación adecuada de la IA a la educación (Vincent Lancrin et al., 2019).
Estudiantes de todos los niveles se enfrentan a una constante necesidad de evaluar la información que encuentran en internet, para lo que necesitan desarrollar ciertos elementos del pensamiento crítico, como parte de sus habilidades profesionales, en donde la habilidad para discernir y evaluar críticamente las fuentes de información será necesaria para utilizar la IA en el desarrollo de sus actividades académicas y de aprendizaje. Es necesario que utilicen datos de manera ética, responsable y produzcan trabajos académicos de alta calidad; sin embargo, no todos los estudiantes realizan este proceso de verificación por diversas causas, entre las que destacan creencias ingenuas sobre la certeza y la estructura del conocimiento o la precisión tecnológica (Meza Cano; Salas García, 2021), falta de conciencia sobre la posibilidad de sesgos y la comodidad de aceptar respuestas sin cuestionarlas, además de la actitud pasiva debido a la rapidez con la que se accede a la información en línea, entre otras.
En síntesis, la problemática radica en que no se sabe con exactitud si los estudiantes evalúan y verifican adecuadamente la información que reciben de la IA o si asumen que esta información es correcta sin cuestionar, lo que los puede llevar a cometer errores o entregar trabajos académicos deficientes, es decir con datos incorrectos o incompletos, comprometiendo, así, su proceso de aprendizaje. A nivel de las instituciones de educación superior, esto merma el nivel educativo y la confianza en la calidad de los resultados de sus investigaciones, además de impactar la práctica profesional al tener una base de información errónea, falsa o incompleta, lo que se traduce en negligencia.
La relevancia de esta investigación tiene que ver con la generación de conocimiento, la innovación educativa y el uso ético de la IAGen. En primer lugar, esta investigación aporta datos acerca de los elementos del pensamiento crítico útiles para evaluar mejor la información, la relación entre pensamiento crítico y el uso de IAGen, que aportará a la profundización de conocimiento en este campo de estudio emergente (Mena-Guacas et al., 2024); en segundo lugar, puede derivar en la identificación de las necesidades formativas de los estudiantes frente a la incorporación de la IAGen.
En términos de innovación educativa, se propone una herramienta utilizable a) en el desarrollo de competencias digitales y el análisis crítico de los documentos y fuentes generados por la IA en universitarios; b) como una evaluación dinámica y contextualizada de las habilidades de pensamiento crítico de los estudiantes, a partir de la verificación de las fuentes de información; c) como un apoyo en el aprendizaje de los estudiantes para interactuar de manera crítica con la IA, al aprender a solicitar a la IA que revele sus fuentes de información y su relación con los argumentos mostrados por ella; y d) como parte de estrategias más amplias, contextualizadas y personalizadas, con las que se aporte al cumplimiento de los objetivos de educación superior (OCDE, 2019; Oseda Gago; Mendivel Gerónimo; Angoma Astocuri, 2020; Walter, 2024).
Marco teórico
Uso de la IAGen en la educación superior
La IA se define como la rama o campo de estudio de la ciencia de la computación que se encarga de crear agentes, programas, máquinas o sistemas inteligentes, que simulan la inteligencia humana, es decir que pueden adaptarse, razonar, aprender y actuar de forma autónoma (Abeliuk; Gutiérrez, 2021; Rouhiainen, 2018). A partir de esta simulación, surge la IAGen, como un subtipo de IA que se centra en crear contenido nuevo y original, similar al que podría generar una persona, a partir de un conjunto de datos existentes (Abeliuk; Gutiérrez, 2021; Franganillo; Lopezosa; Salse, 2023). En el ámbito educativo, este tipo de tecnología ha abierto la posibilidad de generar materiales diversos, tanto a docentes como a alumnos de diferentes niveles y ha abierto un debate amplio acerca de su uso.
De manera general, existen dos posturas en el estudio del uso de la IA en el ámbito educativo: la primera plantea la necesidad de evitar su uso inadecuado y poco ético, por lo que se busca analizar y desarrollar herramientas que permitan detectar y evaluar su uso en la elaboración de productos académicos y, con ello, evitar prácticas de plagio (Díaz Arce, 2023); la segunda postura enfatiza la utilidad de su uso para facilitar el aprendizaje y promueve la adopción de herramientas, como tutores inteligentes, que permitan atender las necesidades educativas de cada alumno (Molina Huartatis; Pascuas; Millán Rojas, 2015).
A pesar de este debate, el punto de convergencia se encuentra en la necesidad de que el estudiante aprenda a usar la IA como herramienta para su aprendizaje y formación académica, lo que conlleva la necesidad de un modelo educativo novedoso y la evolución de la educación superior con procesos de alfabetización que permitan la integración de nuevas estrategias de aprendizaje y enseñanza mediadas por la IA (Chiu, 2024). Para esta integración de la IA en la educación, es necesario atender las problemáticas emergentes, entre las que destacan creencias erróneas acerca de la sustitución de la función docente por la IA, la falta de precisión en sus resultados, dada la gran calidad de datos que utiliza, la falta de certeza respecto a la privacidad y la seguridad de los datos de los usuarios y la necesidad de capacitación a docentes y estudiantes para garantizar su uso ético y responsable (Bolaño García; Duarte Acosta, 2024; Collin; Lepage; Nebel, 2023; Tuomi, 2018).
Diversos estudios resaltan el papel del pensamiento crítico como habilidad fundamental en el ámbito académico y profesional, sobre todo en esta época de desarrollo tecnológico y de integración de la IA en diversos ámbitos sociales, pues permite al estudiante analizar y discernir entre lo que es falso y verdadero, lo que lo llevará a ser más selectivo y consciente de su uso y de su propio aprendizaje, además de cuestionar y tomar decisiones éticamente responsables en este proceso.
Pensamiento crítico, verificación de evidencias y fuentes de información
Desde la psicología, a partir del aporte de Dewey (1910) se define al pensamiento crítico como la capacidad o proceso racional para el análisis, la solución de problemas, indagación y reflexión. Este proceso implica una transición del pensamiento habitual a un pensamiento riguroso y disciplinado, que cuestiona lo que se lee o escucha y se adhiere a las normas derivadas de las evidencias científicas, es decir que requiere de la verificación y validación de fuentes de información (Arenas, 2007; Herrero, 2016; Nadurak, 2022).
En un sentido amplio, el pensamiento crítico contempla la habilidad de determinar la credibilidad de los recursos, evaluar una creencia, argumentos, valores, interpretaciones y evidencia para poder diferenciar entre un hecho relevante y verdadero y uno que no lo es, así como una utilización apropiada del lenguaje (Herrero, 2016). A partir de esta definición, se entiende que el pensamiento crítico es un proceso activo muy relacionado con la investigación científica, pues en ella es esencial verificar y validar las fuentes de información para garantizar que los datos utilizados sean precisos, confiables y relevantes (Nadurak, 2022).
Esta capacidad se desarrolla a través del diálogo con otros, en diferentes formas y escenarios (Rodríguez Ortiz, 2018), por lo que supone diferentes niveles y se ha derivado en el desarrollo de diversas evaluaciones como la prueba de Pensamiento Crítico de Watson-Glaser o el Test de Cornell Critical Thinking (CCTT), entre otros. Una de las limitaciones de estos instrumentos es que se enfocan en distintas dimensiones, es decir que no son equivalentes teóricamente y enfatizan distintos elementos del proceso de pensamiento crítico; a pesar de esto, existe consenso en la importancia que tiene la evaluación de la información y sus fuentes para identificar el nivel de desarrollo de pensamiento crítico (Ossa Cornejo et al., 2017).
Derivado de sus características y de la noción de que se trata de una habilidad desarrollable, el pensamiento crítico se ha convertido en una meta educativa (García Carmona, 2023), sobre todo a nivel superior, donde se traduce en la habilidad de los profesionales para resolver problemas complejos, tomar decisiones informadas, investigar, comprender profundamente conceptos y evaluar información de manera autónoma; más aún, se reconoce que estas habilidades son altamente valoradas por los empleadores y por eso es importante su promoción (Penup et al., 2023; Vendrell Morancho; Rodríguez Mantilla, 2020).
Dentro de los elementos del pensamiento crítico, se destaca la validación de evidencias y de fuentes de información como un proceso que implica una interacción activa entre el estudiante y expertos en un área específica y que resulta fundamental para la aceptación de la evidencia y el fortalecimiento del pensamiento crítico (Rodríguez Ortiz, 2018).
Las evidencias son definidas como hechos o razones, que se convierten en pruebas tangibles o premisas lógicas, luego de un proceso de reflexión, y que guían la forma de pensar o actuar, la toma de decisiones y la conclusión; estas deben ser suficientes en cantidad y contundencia, relevantes y aceptables respecto a la fuente de donde provienen, lo cual le brindará legitimidad a la fuente. Las principales fuentes para obtener una evidencia son los testimonios, ya sea de testigos, especialistas o autoridades en un tema o área, declaraciones de expertos, estudios y encuestas; específicamente, las fuentes de información aceptables, deben cubrir cinco categorías: 1) Respaldo de otras fuentes; 2) Calidad y relevancia de la información; 3) Coherencia con conocimiento científico; 4) Sustento basado en evidencia; y 5) Aspectos de rigor metodológico (Herrero, 2016).
Con estas características, la verificación y validación de las fuentes de información se relacionan con otros procesos como las estrategias de un lector experto, el desarrollo de investigación científica y el análisis de textos pseudocientíficos (Herrero, 2016; Meza Cano; Salas García, 2021; Morales Ruíz; Flores Macías; Meza Cano, 2017). Frente al uso creciente de la IA en las aulas, la verificación de fuentes de información puede ayudar a que los estudiantes procesen los datos que generan herramientas como Chat GPT, Claude.ai, perplexity.ai, aithor.com, entre otras.
Esto se relaciona con lo que Meza Cano y Salas García (2021) mencionan en su estudio sobre el análisis de textos pseudocientíficos, en el que observaron que los estudiantes tienden a verificar la fuente de información para dar argumento de veracidad a un texto. En dicho estudio se muestran diversas categorías utilizadas para el análisis de un texto, de las cuales, para fines de esta investigación, se retoman dos: la valoración de la fuente y la importancia de dicha fuente para medir la verificación y la validación de los resultados, pero, en esta ocasión, las categorías se aplican al uso de la inteligencia artificial.
Pensamiento crítico y uso responsable de la IAGen
Actualmente, se reconoce la necesidad de preparar a las personas para vivir y trabajar con la IA (UNESCO, 2021), pero se debe hacer énfasis en su uso ético, inclusivo y equitativo, que, además, promueva la autonomía estudiantil; esta necesidad requiere un abordaje multidisciplinario que potencie los beneficios de la IA y reduzca sus riesgos éticos y académicos, para lo cual es importante que los estudiantes sepan usar la IA, comprendan sus limitaciones y piensen críticamente sobre la información y las herramientas que provienen de ella. De este modo, el pensamiento crítico es crucial para que la IA sea una herramienta útil para el aprendizaje, principalmente por la importancia que tiene analizar la información a la que están expuestos los estudiantes (Rariţa, 2022; Ubal Camacho et al., 2023).
En síntesis, es necesario fortalecer la relación entre la IA y el pensamiento crítico para mejorar el desempeño académico de los estudiantes en tareas como trabajos escritos, exposiciones orales y evaluaciones periódicas, lo cual llevará a un aprendizaje más profundo, mayor motivación y el fortalecimiento de habilidades para el análisis de información y el uso ético de ella; a nivel institucional, este fortalecimiento mejorará la formación de los futuros profesionales, quienes se desempeñarán en la sociedad con mayor conocimiento y conciencia ética. Considerando estos antecedentes, esta investigación pretende responder a la pregunta: ¿Cuáles son los efectos de la introducción del proceso de verificación de la evidencia en la mejora de trabajos académicos generados con apoyo de IAGen?
El objetivo general de esta investigación es evaluar los resultados del uso de una herramienta para la verificación de fuentes de información en el aprendizaje de esta habilidad y la reflexión sobre el uso de la IAGen para la elaboración de trabajos académicos de estudiantes universitarios. Como objetivos específicos se plantean: 1) Instrumentar una herramienta para la verificación de fuentes de información generada por la IAGen; 2) Comparar la habilidad para verificar fuentes de información de trabajos académicos generados con apoyo de IAGen entre estudiantes que emplearon la herramienta y quienes no; y 3) Analizar las percepciones de los participantes acerca de la utilidad de la herramienta para su aprendizaje, desarrollo de habilidades de pensamiento crítico, así como los aspectos éticos que conlleva.
Método
Diseño y tipo de estudio
Se realizó un estudio preexperimental de comparación con grupo estático (Campbell; Stanley, 1973), con un enfoque cuantitativo; es decir que se realizó la intervención y evaluación posterior de un grupo y se compararon los resultados con los de un grupo que no fue sometido a la intervención, para lo cual se requerirán datos de tipo cuantitativo y cualitativo que se complementen entre sí.
Participantes
Se realizó un muestreo no probabilístico de sujetos voluntarios, quienes fueron convocados a través de redes sociales y conformaron una muestra de 30 participantes. Dentro de los criterios de inclusión, los participantes debían ser estudiantes de nivel superior, en modalidad en línea, y estar familiarizados con el uso de la IAGen. Los participantes tenían entre 18 a 59 años (¯x=38.37 años); 66.7% de ellos se identificaron con el género femenino, 13.3% con el masculino, 3.3% con trans y el resto no especificó. El 60% de los participantes cursa estudios en la UNAM FES Iztacala, y el resto en otras instituciones; de ellos, el 70% estudia la licenciatura y el 30% un posgrado. La muestra se dividió en un Grupo Experimental (GE) (n=20) y Grupo Control (GC) (n=10), según la disponibilidad de los participantes para la intervención.
Materiales y aparatos
La recolección de datos se realizó en línea, por lo que se empleó un equipo de cómputo con acceso a internet y diferentes aplicaciones, como Gmail, Google Forms y Google Sites. Para realizar la secuencia didáctica, se empleó la plataforma de Zoom, como medio de comunicación sincrónica, un sitio web con información teórica y consejos prácticos sobre la verificación de fuentes de información y el uso de IAGen, así como materiales de consulta y la herramienta de verificación principal de este proyecto. Para el análisis de datos, se emplearon hoja de cálculo de Google y el software de análisis estadístico JASP 0.16.3.
Variables
Se considera como variable independiente la secuencia didáctica de la intervención para evaluar y validar una fuente de información dada por la inteligencia artificial; en ella, se presenta a los participantes una metodología para verificar las fuentes de información utilizando tecnología de IAGen durante una sesión sincrónica de dos horas a través de Zoom.
Como variables dependientes, se evaluó: 1) la habilidad para emplear la herramienta propuesta durante el proceso de verificación y validación de las fuentes de información; y 2) el nivel de confianza que los participantes depositan en los datos proporcionados por la IA. Estas son las respuestas o comportamientos que se están midiendo.
Instrumentos y técnicas de recolección de datos
-
Cuestionario de evaluación de fuentes de información. Este instrumento se propone con el doble objetivo de guiar a los participantes en el análisis de las fuentes de información brindadas por la IA y de evaluar las habilidades con las que cuentan para realizar esa tarea; consta de 13 ítems con preguntas abiertas y cerradas, cuyo objetivo fue evaluar las siguientes categorías: Datos del usuario (1 ítem); Conocimiento previo (3 ítems); Características de la evidencia (1 ítem); Uso ético y responsable (3 ítems); y Validación y verificación (6 ítems). Como herramienta de aprendizaje, se sustenta en las categorías de análisis propuestas por Herrero (2016), aunque, como instrumento de evaluación, aún requiere ser validado. Para su aplicación, se empleó un formulario de Google Forms que cada participante debía responder individualmente (ver Cuadro 1).
-
Lista de verificación. Al igual que el cuestionario, la lista de verificación fungía como guía de aprendizaje y para la recolección de datos acerca de las habilidades de los participantes; está compuesta por 20 ítems dicotómicos (sí/no) que consideran las categorías propuestas por Meza Cano y Salas García (2021) y Herrero (2016) para evaluar las fuentes proporcionadas por la IAGen en términos de: 1) Respaldo de otras fuentes; 2) Calidad y relevancia de la información; 3) Coherencia con conocimiento científico; 4) Sustento basado en evidencia; y 5) Aspectos de rigor metodológico. Para aplicar este instrumento, también se empleó un formulario de Google Forms que cada participante debía contestar, con base en el ejercicio realizado (ver Cuadro 2).
-
Observación sistemática. Durante la sesión sincrónica, se realizó una observación detallada de las interacciones y se tomaron notas acerca de los comentarios de los participantes, poniendo énfasis en su percepción de la herramienta, inquietudes acerca de la verificación de fuentes de información y dudas acerca del uso de la lista de verificación.
Procedimiento de recolección y análisis de datos
Luego de la convocatoria en redes sociales, se abrió un periodo de registro en el que se recopilaron datos sociodemográficos de los participantes y se conformaron los grupos de trabajo al azar; posteriormente, se envió un correo electrónico al GE, con la invitación a la sesión sincrónica, y al GC, con el cuestionario y la lista de verificación para que las contestaran de forma individual. Dada la disponibilidad de los participantes del GE, se realizaron dos sesiones sincrónicas (n=6 y n=24, respectivamente) en las que se realizó una presentación sobre IAGen, las evidencias como un elemento del pensamiento crítico y la relación entre ellos, luego de la cual se mostró el sitio web y se les pidió a los participantes que solicitaran a una IAGen la generación de un texto original acerca de un tema específico.
Una vez generado el texto, se les pidió que contestaran el cuestionario y emplearan la lista de verificación para evaluar las evidencias y fuentes de información proporcionadas por la IA; mientras tanto, el responsable de la sesión iba verificando que todos los participantes respondieran, resolviendo dudas, tomando notas y realizando comentarios de apoyo; por su parte, el GC realizó el ejercicio de forma individual, siguiendo las indicaciones por escrito y envió las respuestas al formulario. Las respuestas de ambos grupos, así como los comentarios recabados durante las sesiones, se integraron en una base de datos, en una hoja de cálculo Google, para su análisis en 3 formas:
-
A partir de las respuestas dicotómicas de la categoría de uso ético y responsable de la IA, se realizó una comparación entre grupos, mediante una prueba U de Mann-Whitney para muestras independientes, para lo cual se exportó la hoja de cálculo a JASP y se corrió la prueba estadística.
-
Para la verificación de fuentes de información, se asignó un punto para cada dimensión (característica de la evidencia) identificada, con lo que los participantes obtuvieron un puntaje máximo de 20; los puntos obtenidos sirvieron para realizar una comparación entre grupos, a partir de la frecuencia de los puntajes obtenidos.
-
Para las respuesta abiertas de la categoría de uso ético y responsable de la IA, se realizó un proceso de categorización inductiva que incluyó una prelectura, una categorización inicial, un refinamiento por ideas y conceptos principales y la propuesta de las categorías finales: Fuente poco confiables-poco verificable; Información poco original-superficial-imprecisa; Información útil como base; Preocupación ética; y Sin respuesta, para las que se calcularon frecuencias, tanto del GE como del GC. Los datos de las respuestas abiertas en la categoría de verificación y validación de la fuente de información se categorizaron por el mismo procedimiento para, finalmente, contrastarlos con los datos obtenidos durante las sesiones presenciales.
Resultados
Aspectos éticos del uso de la IAGen para la producción de trabajos académicos
Los resultados de la U de Mann-Whitney (W=115, p=0.357), respecto al uso ético y responsable de la IA, establece que no existe diferencias estadísticamente significativas entre el GE y el GC; sin embargo, todos los participantes del GC y el 85% del GE manifestaron haber adquirido conocimientos sobre el tema seleccionado, después de realizar el proceso de verificación de evidencias; Asimismo, el 90% del GC y 75% del GE declaró que no pondría su nombre en un documento generado por IA, incluso después de verificar las fuentes de información, debido a la preocupación ética, la falta de originalidad/imprecisión, en el GC, y la utilización de fuentes poco confiables y falta de originalidad/imprecisión, en el GE.
Durante las sesiones de intervención, el GE expresó un gran interés en el tema de la ética y el uso responsable de la IA, además de la importancia de comprender los resultados proporcionados por la IA; por ejemplo, se comenta la falta de certeza respecto a la originalidad de dos o más textos generados a partir del mismo prompt. Otro tema emergente, durante las sesiones, se refirió a la falta de experiencia para la generación de prompts y la obtención de resultados adecuados, según lo requerido para el trabajo, con lo que se abrió el debate acerca de la importancia dada a la experiencia del usuario y la habilidad de la IA para generar resultados por sí misma.
Identificación de características de evidencias confiables
La Figura 1 presenta los resultados respecto a la identificación de las características de la evidencia, en los textos generados por IAGen, y se observa que el GC tiene un rango de frecuencias menor y los puntajes obtenidos tienden a ser bajos (0-6), mientras que, en el GE, el rango es mayor, aunque siguen siendo más frecuentes los puntajes más bajos. Esto sugiere que los textos generados por el GE, con ayuda de la IAGen tienen más características de una evidencia confiable y los estudiantes son capaces de identificarlas, a partir del uso de la herramienta.
Dentro de las sesiones, surgieron categorías de datos cualitativos relacionadas con la identificación de características de una evidencia confiable, sobre todo respecto a dudas metodológicas, en la identificación de argumentos, la justificación de la muestra y el contraste de evidencia; es decir que algunos de los participantes encontraron difícil la tarea de verificar las fuentes debido a que no tienen claridad conceptual respecto a lo que significan esos procesos y no se sienten seguros de contestar el instrumento. En contraste con los puntajes obtenidos en la lista de verificación, estas dudas surgidas durante las sesiones sugieren que las evidencias proporcionadas por la IAGen pueden ser confiables, pero los estudiantes no pueden saberlo del todo, si no cuentan con conocimientos previos disciplinares adecuados.
Verificación y validación de fuentes de información
Con base en las categorías planteadas por Meza Cano y Salas García (2021), se observan diferencias cualitativas en la percepción del GE y el GC sobre los textos generados por la IAGen. En la categoría de certeza de la fuente de información, la mayoría de los participantes del GC (80%) consideró que la fuente es verdadera o confiable, mientras que de los participantes del GE el 40% consideran que es parcialmente verdadera o requiere verificación. La mayoría de los participantes (GC=60%, GE=65%) considera que la simplicidad o complejidad de la información proporcionada por la IAGen se relaciona con otras disciplinas, conceptos o hechos de la disciplina en cuestión.
En ambos grupos, la mayoría de los participantes considera que la fuente proporcionada por la IAGen es contrastable con otras fuentes o información científica (GC=80%, GE=75%); sin embargo, el 10% de los participantes de ambos grupos presentaron confusión en este aspecto y 10% del GC no respondió, lo cual sugiere un desconocimiento de los términos empleados o la falta de elementos para responder contundentemente a la pregunta. Lo mismo sucedió en las respuestas referentes a la importancia que tienen las fuentes proporcionadas por la IAGen, pero, en este caso, la mitad de los participantes de ambos grupos consideran que las fuentes son realmente importantes, relevantes y útiles. Esta confusión también estuvo presente durante las sesiones, en las que se tuvo que abrir un espacio para la definición de conceptos que le permitiera a los participantes responder adecuadamente a las preguntas.
De manera general, la mayoría de los participantes en ambos grupos (GC=60%, GE=70%) consideran que la verificación de fuentes de información es el proceso que les ayuda a justificar la información proporcionada por la IAGen. Finalmente, en la Figura 2 se presentan las frecuencias de las categorías respecto a la conclusión a la que llegaron los participantes, luego de evaluar la fuente de información proporcionada por la IAGen; se puede observar que, en ambos grupos, la mayoría de los participantes considera que las fuentes verificadas son confiables o de fácil comprensión, y que se repite el fenómeno de la confusión respecto a la pregunta.
Discusión
Según los resultados presentados, la herramienta resultó útil como apoyo para los estudiantes en el proceso de verificación de evidencias y fuentes de información; sin embargo, llama la atención la confusión en las respuestas a ciertas preguntas, que hacen suponer la existencia de lagunas de conocimiento disciplinar básico entre los participantes, es decir que las instituciones educativas donde estudian necesitan promover aún más el desarrollo de este conocimiento. De manera específica, los estudiantes necesitan comprender a profundidad la importancia de la verificación y validación de las fuentes de información, así como la capacidad de evaluar la calidad y confiabilidad de la información generada por la IA, no sólo para su uso, sino para el desarrollo de habilidades profesionales (Penup et al., 2023; Vendrell I Morancho; Rodríguez Mantilla, 2020).
Con base en lo anterior, la herramienta puede ser funcional, al ser empleada en una secuencia más amplia que enfatice los elementos de la verificación de fuentes de información, como parte de las habilidades de pensamiento crítico necesarias para el perfil profesional, es decir contextualizadas en el dominio de la carrera a la que pertenezcan los estudiantes y enlazada con otras habilidades y saberes conceptuales, especialmente en el área de investigación; además, se hace necesaria la instrucción previa acerca de los elementos que conforman la herramienta y su empleo, de manera que mejoren los resultados.
De manera general, los resultados sugieren que no hay diferencia entre los resultados de los participantes que emplearon la herramienta y quienes no; sin embargo, a partir de los resultados en la verificación de evidencias confiables y los comentarios durante las sesiones sincrónicas se puede ver que el desempeño del GE es mejor, lo cual implica que el acompañamiento a los participantes fue un factor importante para ello. Estas diferencias pueden estar relacionadas con factores como el conocimiento disciplinar con el que cuentan o las habilidades y experiencia en el empleo de la IAGen para la elaboración de trabajos académicos, por lo cual también se hace necesario un proceso de alfabetización respecto a la integración de la IA en el aula, de modo que los estudiantes refinen sus interacciones y comprendan su funcionamiento con lo que mejorarán sus resultados y habilidades, en general (Bolaño García; Duarte Acosta, 2024).
Entre los participantes, son dos los aspectos en torno a los cuales giran las preocupaciones: 1) la calidad de la información proporcionada por la IAGen, es decir la confiabilidad de las fuentes y la necesidad de contraste y comparación con otras fuentes para determinar si el producto tiene la calidad académica esperada para un trabajo de nivel superior; y 2) la dependencia de la IA en la generación de trabajos académicos, que demanda verificar la originalidad de varios textos, generados a partir de un mismo prompt. En ambos casos se requiere fortalecer habilidades de pensamiento crítico y para el uso de la IA, con lo que se garantizarán resultados más precisos y confiables (Rariţa, 2022; Ubal Camacho et al., 2023).
Conclusiones
El objetivo general de esta investigación fue evaluar los resultados del uso de una herramienta para la verificación de fuentes de información en el aprendizaje de esta habilidad y la reflexión sobre el uso de la IAGen para la elaboración de trabajos académicos de estudiantes universitarios. A partir de los resultados presentados se puede concluir que la herramienta es útil para promover el aprendizaje de los estudiantes, no sólo de la verificación de fuentes de información, sido de aspectos formativos relevantes, como el uso de la tecnología para el aprendizaje, habilidades reflexivas y conocimientos disciplinares; además, su uso dentro de las sesiones síncronas promovió el diálogo y la reflexión acerca del uso de la IAGen y aspectos, tanto académicos como éticos.
Mediante esta investigación, también se visualiza la necesidad de fortalecer conocimientos y habilidades disciplinares, en general, y en metodología de investigación, en particular, además de la capacitación para que el estudiante pueda instruir correctamente a la IA. A pesar de las limitaciones para su uso, los resultados sugieren que la IA puede servir como un asesor tecnológico, presentando conceptos clave que sirvan de fundamento para que los estudiantes desarrollen su conocimiento, lo cual requiere un cambio en las estrategias de enseñanza empleadas.
Estos resultados pueden enriquecerse, si se superan las limitaciones de este estudio; por ejemplo, al ser un estudio preexperimental, los resultados no pueden ser generalizables, por lo cual es conveniente realizar un diseño con mayor rigor. Otra limitante tiene que ver con el número de participantes y la falta de equivalencia entre grupos, lo cual puede superarse si se implementa un estudio cuasiexperimental con grupos intactos. Respecto al uso práctico de la herramienta, ya se ha señalado la necesidad de considerar variables como conocimientos previos para establecer una secuencia didáctica más amplia y de mayor valor en el aprendizaje de los estudiantes. Finalmente, es conveniente emplear un diseño que permita la evaluación antes y después de la intervención, lo cual permitirá analizar su impacto real, además de considerar aspectos cualitativos más amplios.
Referencias
-
ABELIUK, Andrés; GUTIÉRREZ, Claudio. Historia y evolución de la inteligencia artificial. Revista Bits de Ciencia, v. 21, n. 1, p. 14-21, 2021. https://doi.org/10.71904/bits.vi21.2767
» https://doi.org/10.71904/bits.vi21.2767 - ARENAS, Agustín Campos. Pensamiento crítico: técnicas para su desarrollo. Bogotá: Coop. Editorial Magisterio, 2007.
-
BOLAÑO GARCÍA, Matilde; DUARTE ACOSTA, Nixon. Una revisión sistemática del uso de la inteligencia artificial en la educación. Revista Colombiana de Cirugía, Santa Martha, v. 31, p. 51-63, 2024. https://doi.org/10.30944/20117582.2365
» https://doi.org/10.30944/20117582.2365 - CAMPBELL, Donald Thomas; STANLEY, Julian Cooper. Diseños experimentales y cuasiexperimentales en la investigación social. Buenos Aires: Amorrortu, 1973.
-
CASTILLO ACOBO, Yolanda Roxana et al. Artificial intelligence application in education. Journal of Namibian Studies, Hong Kong, v. 33, n. s1, p. 192-807, 2023. Disponível em: https://www.researchgate.net/publication/371709425_artificial_intelligence_application_in_education Acesso em: 18 nov. 2025.
» https://www.researchgate.net/publication/371709425_artificial_intelligence_application_in_education -
CHIU, Thomas Kin-Fung. Future research recommendations for transforming higher education with generative ai. computers and education. Artificial Intelligence, v. 6, n. 1, p. 1-9, 2024. Disponível em: https://www.sciencedirect.com/science/article/pii/s2666920x23000760?via%3dihub Acesso em: 18 nov. 2025.
» https://www.sciencedirect.com/science/article/pii/s2666920x23000760?via%3dihub -
COLLIN, Simon; LEPAGE, Alexandre; NEBEL, Léo. Cuestiones éticas y críticas de la inteligencia artificial en la educación: Una revisión sistemática de la literatura. Canadian Journal of Learning and Technology / La Revue Canadienne de l'Apprentissage et de la Technologie, Otawa, v. 49, n. 4, 2023. Disponível em: https://cjlt.ca/index.php/cjlt/article/view/28448 Acesso em: 18 nov. 2025.
» https://cjlt.ca/index.php/cjlt/article/view/28448 - DEWEY, John. How we think. New York: Health, 1910.
-
DÍAZ ARCE, Dariel. Inteligencia artificial vs Turnitin: implicaciones para el plagio académico. Revista Cognosis, Manabí, v. 3, n. 1, p. 15-26, 2023. Disponível em: https://revistas.utm.edu.ec/index.php/cognosis/article/view/5517 Acesso em: 18 nov. 2025.
» https://revistas.utm.edu.ec/index.php/cognosis/article/view/5517 -
FRANGANILLO, Jorge; LOPEZOSA, Carlos; SALSE, Marina. La inteligencia artificial generativa en la docencia universitaria. Barcelona: Universidad de Barcelona, 2023. Disponível em: http://hdl.handle.net/2445/202932 Acesso em: 18 nov. 2025.
» http://hdl.handle.net/2445/202932 -
GARCÍA CARMONA, Antonio. Scientific Thinking and Critical Thinking in Science Education: Two Distinct but Symbiotically Related Intellectual Processes. Science & Education. v. 34, 227-245, 2023. Disponível em: https://link.springer.com/article/10.1007/s11191-023-00460-5#citeas
» https://link.springer.com/article/10.1007/s11191-023-00460-5#citeas - HAIDAR, Ahmad. ChatGPT and generative ai in educational ecosystems: transforming student engagement and ensuring digital safety. In: HUSSEINY, Fatima Al; MUNNA, Afzal Sayed (ed.). Preparing students for the future educational paradigm. Pennsylvania: IGI Global, 2024. p. 70-100.
- HERRERO, Julio César. Elementos del pensamiento crítico. Madrid: Marcial Pons, 2016.
-
MENA-GUACAS, Andrés Felipe et al. La inteligencia artificial y su producción científica en el campo de la educación. Formación Universitaria, La Serena, v. 17, n. 1, p. 155-164, 2024. Disponível em: https://www.scielo.cl/scielo.php?script=sci_arttext&pid=s0718-50062024000100155 Acesso em: 18 nov. 2025.
» https://www.scielo.cl/scielo.php?script=sci_arttext&pid=s0718-50062024000100155 -
MEZA CANO, José Manuel; SALAS GARCÍA, Víctor Eduardo. Análisis de textos pseudocientíficos desde las creencias epistemológicas de estudiantes de psicología. IE Revista de Investigación Educativa de la REDIECH, Chihuahua, v. 12, e1234, 2021. https://doi.org/10.33010/ie_rie_rediech.v12i0.1234
» https://doi.org/10.33010/ie_rie_rediech.v12i0.1234 -
MOLINA HUARTATIS, Yilver Estiven; PASCUAS, Yois; MILLÁN ROJAS, Edwin Eduardo. Sistemas tutores inteligentes como apoyo en el proceso de aprendizaje. Redes de Ingeniería, Bogotá, v. 6, n. 1, p. 25-44, 2015. Disponível em: https://www.researchgate.net/publication/302477182_sistemas_tutores_inteligentes_como_apoyo_en_el_proceso_de_aprendizaje Acesso em: 18 nov. 2025.
» https://www.researchgate.net/publication/302477182_sistemas_tutores_inteligentes_como_apoyo_en_el_proceso_de_aprendizaje -
MORALES RUÍZ, Mario Ernesto; FLORES MACÍAS, Rosa del Carmen; MEZA CANO, José Manuel. El papel de las estrategias y los conocimientos previos al leer en internet: revisión y discusión de la literatura relevante al tema. Avances en Psicología Latinoamericana, Bogotá, v. 35, n. 1, p. 131-141, 2017. Disponível em: https://revistas.urosario.edu.co/index.php/apl/article/view/3624 Acesso em: 18 nov. 2025.
» https://revistas.urosario.edu.co/index.php/apl/article/view/3624 -
NADURAK, Vitaliy. Critical thinking: concept and practice. Filosofiya Ocvimu. Philosophy of Education, Kyiv, v. 28, n. 2, p. 129-147, 2022. Disponível em: https://philosopheducation.com/index.php/philed/article/view/739 Acesso em: 18 nov. 2025.
» https://philosopheducation.com/index.php/philed/article/view/739 - OCDE. Organización para la Cooperación y el Desarrollo Económicos. Estrategia de competencias de la OCDE de 2019: competencias para construir un futuro mejor. Paris: Fundación Santillana, 2019.
-
OSEDA GAGO, Dulio; MENDIVEL GERÓNIMO, Ruth Katherine; ANGOMA ASTOCURI, Miriam. Estrategias didácticas para el desarrollo de competencias y pensamiento complejo en estudiantes universitarios. Sophia: Colección de Filosofía de la Educación, Cuenca, v. 29, n. 1, p. 235-259, 2020. https://doi.org/10.17163/soph.n29.2020.08
» https://doi.org/10.17163/soph.n29.2020.08 -
OSSA CORNEJO, Carlos Javier et al. Análisis de instrumentos de medición del pensamiento crítico. Ciencias Psicológicas, Montevideo, v. 11, n. 1, p. 19-28, 2017. Disponível em: https://revistas.ucu.edu.uy/index.php/cienciaspsicologicas/article/view/1343 Acesso em: 18 nov. 2025.
» https://revistas.ucu.edu.uy/index.php/cienciaspsicologicas/article/view/1343 -
RARITA, Mihail. La relevancia del pensamiento crítico para la educación en una sociedad cambiante. Anales de la Universidad Danubiana de Galati, Galati, v. 20, n. 17, p. 79-90, 2022. Disponível em: https://www.gup.ugal.ro/ugaljournals/index.php/socio/article/view/5550 Acesso em: 18 nov. 2025.
» https://www.gup.ugal.ro/ugaljournals/index.php/socio/article/view/5550 -
RODRÍGUEZ ORTIZ, Angélica María. Elementos ontológicos del pensamiento crítico. Teoría de la Educación, Salamanca, v. 30, n. 1, p. 53-74, 2018. Disponível em: https://revistas.usal.es/tres/index.php/1130-3743/article/view/teoredu3015374/18946 Acesso em: 18 nov. 2025.
» https://revistas.usal.es/tres/index.php/1130-3743/article/view/teoredu3015374/18946 - ROUHIAINEN, Lassae. Inteligencia artificial: 101 cosas que debes saber hoy sobre nuestro futuro. España, Barcelona: Alienta, 2018.
- TUOMI, Ilkka. The impact of artificial intelligence on learning, teaching, and education: policies for the future. Luxembourg: Publications Office of the European Union, 2018.
-
UBAL CAMACHO, Marcelo et al. El impacto de la inteligencia artificial en la educación. Riesgos y potencialidades de la IA en el aula. RIITE Revista Interuniversitaria de Investigación en Tecnología Rducativa, Murcia, n. 15, p. 41-57, 2023. Disponível em: https://revistas.um.es/riite/article/view/584501 Acesso em: 18 nov. 2025.
» https://revistas.um.es/riite/article/view/584501 - UNESCO. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. Inteligencia artificial y educación: guía para las personas a cargo de formular políticas. París: Unesco, 2021.
-
VENDRELL I MORANCHO, Mireia; RODRÍGUEZ MANTILLA, Jesús. Miguel. Pensamiento crítico: conceptualización y relevancia en el seno de la educación superior. Revista de la Educación Superior, Ciudad de México, v. 49, n. 194, p. 9-25, 2020. Disponível em: https://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=s0185-27602020000200009 Acesso em: 18 nov. 2025.
» https://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=s0185-27602020000200009 -
VINCENT LANCRIN, Stéphan et al. Fostering students' creativity and critical thinking: what it means in school, educational research and innovation. Paris: OECD, 2019. Disponível em: https://www.oecd-ilibrary.org/education/fostering-students-creativity-and-critical-thinking_62212c37-en Acesso em: 18 nov. 2025.
» https://www.oecd-ilibrary.org/education/fostering-students-creativity-and-critical-thinking_62212c37-en -
WALTER, Yoshija. Embracing the future of artificial intelligence in the classroom: the relevance of ai literacy, prompt engineering, and critical thinking in modern education. International Journal of Educational Technology in Higher Education, New York, v. 21, n. 15, 2024. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-024-00448-3#citeas Acesso em: 18 nov. 2025.
» https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-024-00448-3#citeas
-
1
Investigación realizada gracias al proyecto UNAM-PAPIIT <TA300123>: Andamios cognitivos: Aplicaciones contra la desinformación y las noticias falsas.
-
2- Disponibilidad de datos:
Datos abiertos disponibles en Scielodata: https://data.scielo.org/dataset.xhtml?persistentId=doi:10.48331/SCIELODATA.VXUAYT
-
Editor:
Prof. Dr. Hugo Heredia Ponce
Datos abiertos disponibles en Scielodata: https://data.scielo.org/dataset.xhtml?persistentId=doi:10.48331/SCIELODATA.VXUAYT
Fuente: Elaboración propia.
Fuente: Elaboración propia.