El 16 de junio se celebró en Francia el examen de bachillerato de filosofía... y una cadena de televisión pública del país, France 3, aprovechó la ocasión para hacer un pequeño experimento. Para ello, el sitio web de la filial regional de France 3 Hauts-de-France hizo que ChatGPT escribiera la respuesta a una pregunta del examen de filosofía. Tras esto, una profesora y herramientas de IA tenían que evaluar el resultado.

La profesora sabía que el texto había sido escrito por una IA. Sin embargo, tenía que evaluarlo de la forma más objetiva posible como si estuviera analizando a cualquier estudiante. Su evaluación dio un resultado de 8 de 20 puntos.

En Genbeta

Este profesor da un punto extra a los alumnos que usen ChatGPT en las prácticas. Si no puedes con el enemigo, únete a él

Por el contrario, las herramientas de IA le dieron notas mucho más altas. En una escala de hasta 20 puntos, ese examen realizado por ChatGPT recibió entre 15 y 19,5 puntos por parte de varias herramientas de inteligencia artificial de varias empresas.

Un error desde el principio, la comprensión de la cuestión

Cabe decir que la profesora tiene claro por qué la nota ha bajado tanto en su criterio humano: se debe, en parte, a un claro error cometido por ChatGPT nada más comenzar el trabajo.

El Bachillerato en Francia (en francés: baccalauréat o Bac) es un examen para poder ingresar en una universidad y para obtenerlo hay que pasar unas pruebas al  finalizar la Enseñanza Secundaria o en candidatura libre que dan una calificación. Es algo así  como la Selectividad o PAU en España con sus normas, criterios y resultados.

Qué le pidieron a ChatGPT

Lo primero de todo, el canal de la TV pública francesa compartió cuál era su pegunta en cuestión a la reconocida inteligencia artificial. Como explican desde France 3, partieron de la base de que para obtener buenas respuestas, se necesita de un buen prompt.

Así, el prompt que escribieron pone en contexto a ChatGPT: explican quién es (estudiante para la mencionada prueba) y qué busca con el resultado: "La mejor calificación posible del Bac". También concreta cómo necesita que sea el resultado y que lleve una introducción, un desarrollo y una conclusión. Antes de lanzar el prompt en cuestión, le pregunta a ChatGPT si entiende su misión.

En Genbeta

Un estudiante pidió entregar un trabajo más tarde porque ChatGPT no funcionaba: una universidad comparte historias en la era de la IA

Cuando ChatGPT responde que sí, la redacción del canal de televisión decidió ponerla a prueba sobre el tema, de filosofía: «¿La verdad es siempre convincente?». Se trata de una de las dos preguntas planteadas a los estudiantes de último curso de bachillerato general.

Los periodistas encargados de este experimento afirman que a primera vista, el resultado parece correcto. Las partes están bien estructuradas, se dan ejemplos para cada argumento, las frases están bien construidas y no hay faltas de ortografía. Con esto, entregaron la copia a una profesora de filosofía del liceo Louis Thuillier de Amiens. Ella ya sabía, por la información que recibió, que era un texto creado mediante inteligencia artificial.

Un alumno bueno lo habría hecho mucho mejor

El primer problema que notó la experta es la estructura ya que "un plan en filosofía no es una serie de puntos". El segundo problema: la sustancia del tema y es que la inteligencia artificial transformó el tema inicial. De la pregunta "¿Es la verdad siempre convincente?" pasó a responder: "¿Es la verdad suficiente para convencer?".

La profesora ha concluido que el planteamiento fue interesante, pero que no se definen los términos importantes del tema y la profesora afirma que un alumno o alumna bueno en la materia "habría pensado en todo lo que faltaba y habría hecho algo mucho mejor".

En Genbeta

Un sobresaliente en tiempo récord gracias a ChatGPT: este estudiante sacó un 9,4 estudiando solo tres días

Dada la falta de información y la incoherencia de algunos de los argumentos, a la profesora le resultaba difícil otorgar una nota. Dijo que lo calificaba como imposible de calificar, pero que si lo recibiera de manos de un alumno le acabaría poniendo un 8 sobre 20.

Según los autores del estudio: los resultados aquí son claros. La inteligencia artificial ha hecho un buen trabajo de comprensión del tema, pero el resultado final no responde a las expectativas de un experto en la materia.

Qué opina la IA al respecto

Por su parte, la IA se ama a sí misma. Los periodistas pidieron a la inteligencia artificial que corrigiera su propio trabajo. El resultado: comentarios con muchos elogios y poco margen para la autocrítica. Se otorgó a sí misma un 19,5/20.

Dede la web Gamestar fueron más allá y llevaron este tema a otras herramientas de IA para ver si son tan aduladoras como ChatGPT con sus propios resultados. Las conclusiones fueron estas:

En Genbeta

Usar ChatGPT le pasa factura a nuestro cerebro: el MIT ha estudiado cuánto afecta a su actividad (o a la ausencia de la misma)

Gemini : 15 / 20
Perplexity: 17 / 20
DeepSeek: 17 / 20
Copilot: 17 / 20

Según esta prueba, ninguna de las herramientas menciona en su evaluación la gran metedura de pata justo al principio del trabajo de ChatGPT de comprender mal la pregunta filosófica. Al mismo tiempo, todas alaban la buena estructura, así como la argumentación convincente y coherente.

Vía | GameStar y France 3

Imagen | Foto de Ben Mullins en Unsplash

En Genbeta | Ya sabemos a qué velocidad funciona nuestro cerebro: tenemos un 'cuello de botella' que nos deja por detrás de estas tecnologías

A aquellos de vosotros que estáis en vuestra etapa universitaria, uno de los momentos más temido lo tendréis en la cercana convocatoria de exámenes. Claro que una ayuda nunca viene mal, sobre todo, para buscar todo tipo de apuntes, textos, exámenes de cursos anteriores y otros documentos que, de manera clasificada por titulación y universidad, os permitirá buscar Buscaexamen.com

Y es que Roberto Pérez acaba de lanzar este útil directorio de documentos universitarios, documentos que son compartidos tanto por profesores como estudiantes de las distintas universidades.

Su uso es muy sencillo, ya que dispone de un buscador cuyos contenidos se pueden buscar de manera filtrada por asignaturas, titulaciones o universidades. Además, también se puede acceder desde la nube de etiquetas o a través de algunas de las listas de portada. Una vez en determinado documento, los usuarios podrán dejar sus comentarios además de sus dudas, que serán resueltas por otros profesores y estudiantes. Además, incorpora un sistema de karma para los propios usuarios, de manera que en cualquier momento pueden verse penalizados.

Lo interesante de este sistema, además de que no dispone de publicidad en la web, es que una vez que los usuarios se descarguen un documento, recibirán en el mismo un ticket de descuento que le permitirá la compra de determinados productos que estén relacionados directamente con su localidad y con la asignatura, titulación o universidad que están cursando.

Actualmente hay 934 documentos de 27 universidades y 47 titulaciones.

Enlace | Buscaexamen.com