"El texto que figura a continuación es un documento filtrado [...], compartido por una persona anónima en un servidor público de Discord que ha dado permiso para su publicación. Procede de un investigador de Google. El documento es sólo la opinión de un empleado de Google, no de toda la empresa. Hemos verificado su autenticidad".
Este era el texto que encabezaba un artículo publicado el año pasado en la newsletter de la consultora Semianalysis. Varias voces del ámbito tecnológico se mostraron en su momento a favor de su autenticidad: así, Simon Willison, cocreador de Django (y que es citado en el informe), lo describía como "el escrito más interesante que he visto sobre los LLM en mucho tiempo", y le otorgaba "un 8" en la escala de credibilidad:
"Al leerlo, es el tipo de documento que uno esperaría ver circulando dentro de Google, y no veo por qué razón alguien escribiría algo tan bueno y luego decidiría pretender que fue una filtración en lugar de atribuirse el mérito".
El informe en cuestión gira en torno a una idea básica: que mientras OpenAI y Google siguen compitiendo entre ambos (o Google intenta competir contra OpenAI, ahí ya depende de la perspectiva), sus avances se ven poco a poco eclipsados por el trabajo que está llevando a cabo la comunidad 'open source'.
Su autor afirma que, si bien los modelos de Google y OpenAI aún conservan una ligera ventaja en términos de calidad, "la brecha se cierra sorprendentemente rápido".
"Los modelos de código abierto son más rápidos, más personalizables y, comparativamente hablando, más capaces".
El auge de las alternativas open source
Pero, ¿a qué se refiere por "más capaces comparativamente hablando"? A su capacidad medida en inversión y n.º de parámetros (la unidad de medida de la complejidad de los modelos de lenguaje). Es decir, según su propio ejemplo, los proyectos open source:
"están logrando cosas con 100 dólares 13.000 millones de parámetros que a nosotros nos costaron [lograr] con 10 millones de dólares y 540.000 millones de párametros".
Y aquí reside la clave de la preocupación del autor del artículo: "Y [todo esto] lo están haciendo en semanas, no en meses". A continuación, el informe aborda la rápida evolución desde que la comunidad tuvo acceso al modelo LLaMA de Meta en marzo de 2023:
"[LLaMA] no contaba con instrucciones, ni con sintonización de conversación, ni tampoco con RLHF. Sin embargo, la comunidad entendió de inmediato el significado de lo que se les había dado. Y aquí estamos, apenas un mes después, y ya hay variantes con ajustes de instrucciones, cuantización, mejoras de calidad, evaluaciones humanas, multimodalidad, RLHF, etc.".
Y recordemos que, en el momento de la publicación de este documento, aún no habían salido a la luz LLaMA 2 y LLaMA 3, ni los modelos de Mistral, todos ellos ejemplos perfectos del rápido avance de los modelos de IA open source.
"Lo más importante", afirma el documento, "es que han resuelto el problema de la escala", en el sentido de que han reducido a casi su mínima expresión la barrera de entrada para la capacitación y la experimentación con LLMs, haciendo que "una persona, en una noche y armada con un ordenador relativamente potente" logre lo que hasta hace nada sólo estaba al alcance de grandes organizaciones como OpenAI y Google.
De hecho, para ilustrar gráficamente esta idea, el documento incluye un gráfico extraído de la web del modelo open source Vicuna, modificado para incluir el plazo de tiempo transcurrido entre el acceso público a LLaMA y el lanzamiento de los dos modelos libres basados en aquel… un total de tres semanas:
A continuación, el autor anónimo establece una comparación entre el auge de los LLMs open source y el de los modelos de generación de imágenes igualmente open source:
"En muchos sentidos, esto no debería ser una sorpresa para nadie. El auge actual de los LLM de código abierto llega inmediatamente después del experimentado en el campo de la generación de imágenes. […] Muchos lo llaman el "momento Stable Diffusion" de los modelos de lenguaje".
No se puede competir contra el open source
Pero, ¿y en qué afecta todo esto a Google? El informe estima que, a partir de ahora, a Google le resultará aún más complicado competir en este campo: "¿Quién pagaría por un producto de Google con restricciones de uso si hay una alternativa gratuita y de alta calidad sin ellos?".
En cualquier caso, el único problema no reside sólo en la falta de restricciones de los modelos rivales, sino en el mismo modelo de desarrollo de Google, secreto y privativo:
"Mantener nuestra tecnología en secreto era una apuesta destinada a fallar. Los investigadores de Google se van a otras compañías constantemente, por lo que podemos suponer que [dichas compañías] saben todo lo que sabemos, y eso seguirá así mientras esa tubería esté abierta".
Y mientras, las instituciones de investigación de todo el mundo continúan sumando esfuerzos para desarrollar sobre lo desarrollado por otros, gracias al software libre. "Podemos tratar de aferrarnos firmemente a nuestros secretos mientras la innovación externa diluye su valor, o podemos tratar de aprender unos de otros".
Citaba, además, dos factores que hacen que los desarrolladores individuales sean más ágiles innovando que las propias empresas:
- En primer lugar, no están limitados por las licencias que circunscriben el acceso gratuito a los LLMs a un "uso personal" (el caso de LLaMA).
- En segundo lugar, la diversidad de LLMs personalizados para usos concretos se debe a desarrolladores comprometidos con estos casos de uso (pone de ejemplo los generadores de imágenes anime basados en Stable Diffusion):
"Está siendo utilizados y creados por personas profundamente inmersas en su subgénero particular, lo que aporta una profundidad de conocimientos y empatía que no podemos esperar igualar".
Meta es el nuevo Google
Según el documento, "paradójicamente el único ganador claro en todo esto es Meta. Como el modelo filtrado era suyo, han conseguido mano de obra gratuita para todo el planeta […] nada les impide incorporar las innovaciones realizadas directamente a sus productos".
"No se puede exagerar el valor de poseer el ecosistema. La propia Google ha utilizado con éxito este paradigma en sus ofertas de código abierto, como Chrome y Android".
¿Qué pasa con OpenAI?
"Cuanto más controlamos nuestros modelos, más atractivas resultan las alternativas abiertas. Tanto Google como OpenAI se han inclinado a la defensiva hacia modelos de publicación que les permiten mantener un estricto control sobre cómo se utilizan sus modelos. Pero este control es una ficción".
El autor del informe era tajante: "OpenAI no importa. Están cometiendo los mismos errores que nosotros en su postura con respecto al open source". Vaticinaba, además, que OpenAI terminará perdiendo su posición a menos que haga honor a su nombre y vuelva a apostar por lo 'open'. "En este sentido, al menos, [en Google] podemos dar el primer paso".
Imagen | Marcos Merino mediante IA
En Genbeta | ChatGPT, guía a fondo: qué es, cómo usarlo y lo mejor que puedes hacer con este chat conversacional de IA
Ver 1 comentarios