El lanzamiento de ChatGPT el mes pasado ha supuesto una revolución en el ámbito educativo. La herramienta conversacional de OpenAI es un arma de doble filo: por un lado, su capacidad para ayudar al aprendizaje y comprensión desgranándonos conceptos resulta de lo más eficaz. Por otro, hacerse chuletas para los exámenes o directamente generar trabajos del tema, extensión y tono que tú elijas está al alcance de cualquiera. ¿Cómo puede lidiar el profesorado y las instituciones académicas con las trampas de la IA?
'Escríbeme un resumen de 100 palabras de La Celestina'. 'Quiero un soneto al estilo de Francisco de Quevedo'. Entras en ChatGPT, tecleas la orden, esperas unos segundos y listo. ¿Que quieres burlar posibles detectores? Entonces dispones de herramientas como Quillbot o parafrasear.org, que parafrasea los textos de ChatGPT por si las moscas.
Quizás ChatGPT no vaya a ganar un Pulitzer (todavía), pero sí que da el pego para entregar trabajos y aprobar sin problemas. ¿El problema? Obviamente, que no lo has hecho tú. Que la herramienta te sirva para aprender materias nuevas o resolver dudas de forma autónoma es un gran avance, pero cuando se usa para la evaluación de tus conocimientos, es un engaño. Lo sabes tú y lo sabe el profesorado.
Pero es que puedes hacer trampas con ChatGPT y suspender un trabajo. Hay que tener en cuenta dos cuestiones: aunque su argumentación es de alto nivel, las respuestas pueden ser incorrectas, por lo que detectarlo puede ser complicado para una persona que no domine una materia (motivo por el cual su empleo está prohibido en Stack Overflow). Como además no revela qué fuentes de información ha empleado, no podrás ni contrastar los datos ni ampliarlos.
¿Cómo se preparan las instituciones académicas para este probable aluvión de trabajos elaborados por una IA? Como recoge The Washington Post, el departamento de educación de la ciudad de Nueva York ha sido una de las primeras instituciones en tomar medidas, prohibiendo el uso de ChatGPT en redes y dispositivos del campus, pero no está claro si está prohibido fuera. Según el San Francisco Standard, en algunos institutos de California se ha enviado mensajes a los estudiantes advirtiendo del uso de software de escritura mediante inteligencia artificial. Hay quien incluso pide que los trabajos se entreguen a mano o mediante plataformas que impiden las operaciones de copiar y pegar. Por algo parecido apuestan el Group of Eight, las ocho principales universidades australianas, que han modificado sus métodos de evaluación hacia fórmulas más tradicionales como "un mayor uso de los exámenes y tests a papel y bolígrafo". ¿Y en España? Según eldiario.es, el ministerio de Educación está analizando la herramienta y sus implicaciones.
Para evitar estos plagios existen herramientas capaces de reconocer la escritura de la inteligencia artificial. Es el caso del GPT-2 Output Detector Demo elaborado por la propia OpenAI, lo que en teoría anticipa una buena precisión, Writer.com o más recientemente, GPTZero, una aplicación que según su creador detecta con rapidez y eficiencia si un texto está escrito por un humano o por ChatGPT. Hemos puesto a prueba un par de veces esta herramienta y le hemos marcado algún que otro gol.
Por ejemplo, este resumen de 200 palabras de La Celestina:
Sale airoso del análisis:
Desgraciadamente, la inteligencia artificial avanza más rápido que los detectores. No obstante, la OpenAI se encuentra trabajando en una especie de marca de agua digital para sus textos, de modo que quede constancia robots (no para los humanos).
Habida cuenta del poco tiempo que lleva ChatGPT entre el público general y la dificultad de elaborar una línea de acción fiable que permita velar por su cumplimiento, es normal que todavía no haya protocolos oficiales ni consenso sobre cómo proceder. Más allá de invitar al alumnado a buenas prácticas éticas, en estos momentos el grueso del profesorado va a la guerra por su cuenta.
Cómo combaten las trampas con IA centros educativos y docentes
Hemos consultado a algunos docentes sobre el desafío que supone ChatGPT en su tarea: Antonio Diéguez, profesor de Lógica y Filosofía de la Ciencia en la Universidad de Málaga; Nereida Bueno Guerra, profesora de cognición humana para alumnos del título Matemáticas e Inteligencia Artificial en la Universidad Pontificia Comillas; Santiago Sánchez-Migallón, profesor de filosofía del IES Alba Longa (Granada) y jefe de departamento, especializado en Filosofía de la Inteligencia Artificial, neurociencias y Filosofía de la Biología.
Ya hemos visto que algunas universidades del mundo se están poniendo las pilas con el tema pero, están ¿preparados los centros educativos en España para la revolución que supone ChatGPT (y otras herramientas IA como VALL-E)?:
Santiago Sánchez-Migallón es rotundo: "Obviamente hasta ahora no. Poco a poco van existiendo herramientas que permiten detectar si el texto está hecho por una IA, así que ya ha comenzado esta carrera armamentística entre polis y cacos que se ha dado siempre. No obstante, en estos momentos los cacos están muy por delante." Y es práctico respecto al uso de estas herramientas:
"El profesor no puede estar buscando la trampa en todo momento. Por ejemplo, si un día corriges ejercicios en clase, no puedes coger libreta por libreta de tus treinta alumnos, escanear todo, digitalizarlo y luego pasarlo por un programa de detección de fraude."
Antonio Diéguez va más allá: "No lo están. Pero, lo más preocupante es que tampoco lo están las revistas académicas, y no debe olvidarse que la información que ofrece el ChatGPT no es fiable. En ocasiones inventa las cosas que dice y las da por buenas. Hay herramientas informáticas para detectar los plagios, y se usan rutinariamente en las universidades y, si hay sospechas, también en las revistas, pero no hay por el momento ninguna herramienta efectiva que permita detectar que un texto o una parte de él procede de algún sistema de IA si ha sido adecuadamente copiado, modificado y combinado con otros textos. Para que estas herramientas actuales detecten que el texto procede de ChatGPT, este debe permanecer casi inalterado. Los alumnos hábiles podrían sortear ese filtro con facilidad."
Nereida entiende el miedo que ha suscitado, pero afirma que hay herramientas para combatirlo:
"Cuando surgieron Internet y Google podríamos haber pensado que la investigación o los trabajos universitarios habían llegado a su fin porque ya existía un motor de búsqueda capaz de ofrecer respuestas a preguntas de manera instantánea. Sin embargo, la investigación y los trabajos continuaron, porque todavía se necesitaba un sistema cognitivo capaz de filtrar la información, relacionarla o entenderla de forma profunda, como es capaz de hacer la mente humana. Por eso quiero pensar que con ChatGPT pasará igual."
Además de las herramientas para detectar plagios, Nereida sugiere otras dos: "No olvidemos el factor humano: detrás de los servicios tecnológicos también contamos con el profesor, que puede conocer la manera que tienen sus alumnos de expresarse en clase o exponer trabajos y compararla con los trabajos escritos. Por último, un trabajo no es (ni creo que debiese ser) la única manera de evaluación para un alumno: debemos apostar por una evaluación variada donde el estudiante demuestre en clase a través de distintas formas combinadas de evaluación lo que ha aprendido. Y no solo existen los trabajos escritos, también existen las exposiciones orales, resolución de problemas, role-playing, debates..."
A las puertas la evaluación de enero y con ChatGPT disponible desde el diciembre pasado, estos son los protocolos a seguir en sus respectivos centros educativos.
Nereida asegura "no conocer ahora mismo un software específico que permita la detección de uso de ChatGPT en un trabajo." Así que su método a aplicar sería el de siempre: "leer uno por uno los trabajos, pasarlos por detector de plagio y, a nivel subjetivo, comparar la forma en que se ha redactado y pensado el contenido con lo explicado en clase y la manera que tiene ese alumno de expresarse."
Más arriba explicábamos que ChatGPT no ofrece la fuente de obtención de sus respuestas y esto puede servir para que salte la liebre:
"En cualquier caso, una detección de plagio, de falsificación o de ausencia de referencias bibliográficas en la elaboración de un trabajo suele estar recogido como falta en las normativas académicas de las universidades y se penaliza de diversa forma."
Santiago explica que "La única medida con respecto a las nuevas tecnologías que yo he visto es la prohibición generalizada de traer el teléfono móvil a clase (y que, por cierto, nunca se cumple: todo el alumnado trae su móvil a escondidas)."
Antonio lo desconoce, pero se muestra pesimista respecto a posibles protocolos futuros "si el problema se vuelve acuciante, pero será difícil encontrar un remedio efectivo, sobre todo a medida que los textos producidos por estos sistemas de IA vayan mejorando, como parece que lo harán en los próximos años."
Más allá de los detectores de plagios habituales, el profesorado tiene sus propios métodos: así es como afrontan este curso con ChatGPT.
Antonio apuesta por evaluar de una forma diferente: "Una modificación que ya se usa (yo lo hago en una de mis asignaturas) es sustituir el trabajo escrito por la conversación personal con el alumno sobre un tema, un autor o un libro. Quizás los trabajos de clase tengan que cambiar mucho en estructura o formato. No obstante, es importante conseguir que el alumno se entrene también en la escritura, así que no hay un remedio fácil."
Si después de aplicar sus herramientas estándar, Nereida tiene dudas, "probaría de manera manual preguntando a ChatGPT. El proceso también puede hacerse al contrario: preguntar a ChatGPT antes de recibir los trabajos, para tener ya registrada la respuesta del programa, y compararla por defecto con el contenido de los trabajos."
Una vez se hubieran confirmado sus sospechas: "Mi primera acción sería hablar con los alumnos implicados. Si lo admiten en primer lugar, la sanción sería más baja y les instaría a repetir el trabajo por sus propios medios: confío en las segundas oportunidades previa asunción de la responsabilidad. Si no lo admiten en primer lugar, mostraría las evidencias que confirman el uso del programa y la sanción sería más elevada. Entre las sanciones más habituales se encuentran la admonición por escrito, no permitir que el alumno se presente a la convocatoria ordinaria del examen de la asignatura o la expulsión durante unos días de clase."
" En cualquier caso, reflexionaría con ellos sobre las competencias que necesitan adquirir como profesionales: al final, el alumno que copia sin que se detecte es un alumno que aprueba pero que miente sobre su preparación, y esto le provocará problemas en algún momento de su vida laboral, cuando se dé cuenta de que no es capaz de hacer aquello que le piden sin contar con ayuda externa. Copiar o usar este tipo de herramientas implica hipotecarse un futuro sin necesidad."
Como profesor en un instituto, para Santiago los cambios en la forma de redactar dan el cante: "Hay que tener en cuenta que, dados los penosos niveles actuales, gran cantidad del alumnado tiene muy mal nivel de redacción en la ESO e, incluso, también en mitad de Bachillerato. Y por eso lo pillas: lees un comentario de texto o una redacción que está muchísimo mejor escrita que todo lo que el alumno ha hecho hasta entonces.
Ver 2 comentarios