Los investigadores de la empresa de inteligencia artificial o IA Anthropic, creadores de Claude, afirman haber logrado un avance muy importante en la comprensión de cómo funcionan exactamente los grandes modelos de lenguaje (LLM por sus siglas en inglés). Concretamente, dicen poder comprender ahora mejor sus cajas negras.

Uno de los problemas de las herramientas de IA que usamos, basada en grandes modelos lingüísticos (LLM), es que los modelos son cajas negras. Podemos saber qué instrucciones les damos y qué resultados producen, pero cómo llegan exactamente a una respuesta concreta es un misterio, incluso para investigadores y desarrolladores de las diferentes soluciones de inteligencia artificial que usamos a menudo.

En Genbeta

Un desarrollador preguntó qué IA es mejor para programar. Los más de 28.000 votos fueron muy contundentes

Por ejemplo, en el caso de Google, su CEO Sundar Pichai, ya explicó en el pasado que en el "sector llamamos una "caja negra" cuando algo no se entiende completamente”. Es decir, que ni sus creadores pueden decir muy bien por qué una IA hizo algo, por qué hubo un error en el proceso hasta llegar al resultado. Con el problema de las cajas negras resulta difícil predecir las probabilidades de que un modelo vaya a arrojar información errónea.

Como publicaba a finales de 2023 Scientific American, las cajas negras de IA se refieren al funcionamiento interno de sistemas de inteligencia artificial que son invisibles para el usuario: una IA "puede proporcionar información y obtener resultados, pero "no puede examinar el código del sistema o la lógica que produjo el resultado".

Ahora Anthropic dice tener mayor claridad en este asunto. La firma ha realizado una investigación que ofrece una vía para resolver algunos de estos problemas y, para ello, los científicos crearon una herramienta para descifrar cómo "piensan" los LLM. Esta investigación sirve para comprender sus herramientas y también cualquier otra IA.

Qué ha analizado Anthropic

Básicamente, lo que los investigadores de Anthropic han creado para la comprensión de la IA se parece a los escáneres fMRI que los neurocientíficos utilizan para escanear el cerebro de los sujetos humanos de investigación y descubrir qué regiones cerebrales parecen desempeñar el papel más importante en diferentes aspectos de la cognición.

Tras inventar esta herramienta similar a la IRMf, Anthropic la aplicó al modelo Claude 3.5 Haiku de Anthropic. De este modo, pudieron resolver varias cuestiones clave sobre el funcionamiento de Claude y, de acuerdo con la información compartida, creen que puede servir para la mayoría de los LLM.

En Genbeta

Unos profesores avisan de que la IA supone una amenaza para el pensamiento crítico de los estudiantes: "escribir también es pensar"

Los investigadores de Anthropic y otros centros estudian los grandes modelos lingüísticos como si fueran fenómenos naturales y no programas informáticos creados por el hombre. Esto se debe a que los modelos se entrenan, no se programan, tal y como explican desde el Instituto Tecnológico de Massachusetts o MIT.

Entre otros asuntos, afirman desde la empresa que se plantearon cuestiones para luego resolverlas y comprender mejor a su IA, Quisieron saber, por ejemplo, que si Claude puede hablar docenas de idiomas, cuál es el idioma que más usa en sus procesos. O también plantearon cómo formula Claude un texto, si se centra sólo en predecir la palabra siguiente o planifica alguna vez.

En Genbeta

Todas las IA mostraban menos coeficiente intelectual que un humano medio en esta prueba. Esta ha roto la barrera

Por otro lado, decidieron mirar dentro de Claude 3.5 Haiku, realizando estudios en profundidad de tareas sencillas representativas de diez comportamientos cruciales del modelo, incluyendo del uso de idiomas y cómo desarrolla textos.

Otra de sus pruebas se basó en comprender cómo realizar cálculos matemáticos y los científicos demostraron con un gráfico el complejo proceso que Claude usa para realizar cuentas y obtener los resultados.

Qué encontró Anthropic

Según recoge el MIT, Anthropic analizó 10 comportamientos diferentes en Claude. Uno de ellos es el uso de diferentes idiomas. "¿Tiene Claude una parte que habla francés y otra que habla chino, y así sucesivamente?" ha sido una de las cuestiones planteadas.

El equipo descubrió que Claude utilizaba componentes independientes de cualquier idioma para responder a una pregunta o resolver un problema y luego elegía un idioma específico cuando respondía. Le preguntaron: "¿Qué es lo contrario de pequeño?" en inglés, francés y chino, y vieron que Claude utilizará primero los componentes independientemente de la lengua para dar una respuesta.

En Genbeta

La biblioteca de prompts de Anthropic es una joya para conseguir mejores resultados con cualquier inteligencia artificial

Tras eso, elegirá una lengua concreta para responder. Esto sugiere que los grandes modelos lingüísticos pueden aprender cosas en una lengua y aplicarlas en otras.

Anthropic también observó cómo Claude resolvía problemas matemáticos sencillos. El equipo descubrió que el modelo parece haber desarrollado sus propias estrategias internas, distintas de las que ha visto en sus datos de entrenamiento.

Un ejemplo de cómo Claude suma 36 y 59 hasta llegar a su resultado

Una tercera tarea que estudió Anthropic fue la escritura de poemas. Los investigadores querían saber si el modelo se limitaba a improvisar, prediciendo una palabra a cada vez. Pero no fue así y descubrieron que Claude, de alguna manera, mira hacia delante, eligiendo la palabra al final de la línea siguiente.

Según la empresa: "Estos hallazgos no sólo son interesantes desde el punto de vista científico, sino que suponen un avance significativo hacia nuestro objetivo de comprender los sistemas de IA y asegurarnos de que son fiables".

Además, la firma dice que tiene el objetivo y la esperanza de que resulten útiles a otros grupos y, potencialmente, en otros ámbitos: por ejemplo, las técnicas de interpretabilidad se han utilizado en campos como la imagen médica y la genómica, "ya que diseccionar los mecanismos internos de los modelos entrenados para aplicaciones científicas puede revelar nuevos conocimientos sobre la ciencia".

La empresa se ha sorprendido con muchos hallazgos

En sus conclusiones, Anthropic afirma que se ha sorprendido con muchos de sus descubrimientos. Por ejemplo, en el estudio del caso de la poesía, "nos habíamos propuesto demostrar que el modelo no planificaba con antelación, y descubrimos que sí lo hacía".

Otro ejemplo es que "en una respuesta a un ejemplo de fuga de la cárcel, descubrimos que el modelo reconocía que se le había pedido información peligrosa mucho antes de ser capaz de reconducir la conversación".

En Genbeta

La gente nacida desde este 2025 es Generación Beta. Ya han empezado a analizarlos: se criarán con la inteligencia artificial

Aunque la firma dice estar convencida de que sus hallazgos son ahora muy útiles para los fabricantes de otras IA y para clarificar más cómo es todo el proceso hasta llegar a resultados, "reconocemos las limitaciones de nuestro enfoque actual. Incluso en indicaciones cortas y sencillas, nuestro método sólo capta una fracción del cálculo total realizado por Claude, y los mecanismos que vemos pueden tener algunos artefactos basados en nuestras herramientas que no reflejan lo que ocurre en el modelo subyacente".

Y afirma que "en la actualidad se necesitan varias horas de esfuerzo humano para comprender los circuitos que vemos, incluso en indicaciones con sólo decenas de palabras. Para llegar a los miles de palabras que soportan las complejas cadenas de pensamiento que utilizan los modelos modernos, tendremos que mejorar tanto el método como (quizá con ayuda de la IA) la forma de dar sentido a lo que vemos con él".

Qué sucede en OpenAI y Google con las cajas negras

En junio del pasado año, OpenAI daba un gran paso adelante en la investigación de la inteligencia artificial al descubrir una manera de entender mejor cómo funcionan sus 'modelos de lenguaje'. Concretamente, la firma que ha creado ChatGPT desarrolló nuevas metodologías que permiten escalar sus autoencoders dispersos a decenas de millones de características en modelos de IA avanzados.

Como explicaba OpenAI en ese momento, las activaciones neuronales de los modelos tienen patrones impredecibles que dificultan su estudio. Los codificadores dispersos llegan para brindar un poco de luz. Estos eran capaces de recuperar decenas de millones de características de los modelos para entenderlos mejor. De todos modos, desde junio de 2024 OpenAI no ha compartido información relevante de novedades al respecto de este tema.

En Genbeta

La inteligencia artificial contribuye a la desigualdad social: hay IA para pobres e IA, muchísimo más potente, para ricos

En cuanto a Google, sus propios directivos explicaron abiertamente que es normal no entender todos los procesos por los que una IA llega a un resultado. En abril de 2023, expertos de Google explicaban que las herramientas de inteligencia artificial de la empresa estaban aprendiendo habilidades que no se esperaba que tuvieran.

Por ejemplo, un programa de IA de Google se adaptó, por sí solo, después de que se le preguntara en el idioma de Bangladesh", el cual no estaba entrenado para conocer”. A esto, un entrevistador de CBS les cuestionaba: “ustedes no entienden completamente cómo funciona, y sin embargo, ¿la han puesto a disposición de la sociedad?”. El CEO, Sundar Pichai respondió que no es algo grave y es que, alegó que “tampoco creo que entendamos del todo cómo funciona la mente humana”.

Imagen | Foto de Sam Moghadam en Unsplash

En Genbeta | Aún no hemos alcanzado la 'IA general', pero según OpenAI debemos pensar cómo regularemos el siguiente paso: la 'superinteligencia'

¿Es importante el envoltorio en el que viene un producto de software? En la gran mayoría de los casos, no. De hecho seguro que muchos de nosotros tenemos un armario donde guardamos todos esos programas que hemos comprado o que venían de serie con el ordenador.

A pesar de eso, Microsoft está cuidando mucho el aspecto de la caja del sistema operativo Windows Vista, no solo con un cuidado diseño, sino con una gama de colores amplia que permita diferenciar a las varias versiones que aparecerán, Home, Business y Ultimate.

¿Estarán igual de cuidados el exterior y lo que va dentro?

Vía | PC Doctor.