Tras el despido de más de 11.000 trabajadores, en febrero Meta explicaba en una entrada de su blog, que ya tenía su propia inteligencia artificial: LlaMa estará disponible con una licencia no comercial para ser empleada en investigación académica e industrial, sociedad civil y entidades gubernamentales. La razón de esta elección, según la empresa, es la de "mantener la integridad de la IA y evitar que se pueda utilizar de forma indebida por cualquier persona".
Ahora, se ha filtrado información de esta tecnología, antes de llegar al mercado, lo que pone a Meta en desventaja frente a una competencia que, ya de por sí, es muy fuerte. Después de la popular ChatGPT de OpenAI, Google Bard y el Bing con ChatGPT, las big tech tienen ahora un campo por explorar muy fuerte, que es el de la inteligencia artificial, y la competencia para triunfar ya tiene unos fuertes estándares.
Meta quería dar acceso libre a los investigadores para que conocieran su LLama, pero la interfaz y su funcionamiento se ha hecho público. Meta dijo que liberaría los checkpoints del modelo sólo a investigadores que aplicaran a ello, pero parece que alguien ha publicado un torrent con el modelo.
Alguien (no ha sido Meta) filtró los modelos y tuvo la idea de anunciar el enlace a través de un pull request de GitHub. Explican desde Reddit que "lo de ahorrar ancho de banda es una broma. Puede que los empleados de Meta no se hayan dado cuenta o todavía estén pensando cómo reaccionar". En los documentos filtrados hay ejemplos de las respuestas que LLama ofrece a preguntas que los usuarios le plantean. Es todo en inglés.
Cómo es LLama según lo que se puede ver en la filtración
LLaMA muestra que tiene la capacidad de resolver muchas tareas a un rendimiento similar a GPT-3. En esencia es similar al proyecto de Chinchilla de DeepMind (70B). Aunque, como explica el documento filtrado, a diferencia de Chinchilla, PaLM o GPT-3, la inteligencia artificial de Meta usa datos públicos, lo que hace que nuestro trabajo sea compatible con el open-sourcing.
Los puntos de control y el tokenizador para LLaMA de Meta ya están disponibles para su descarga a través de torrents gracias a algunos usuarios de 4chan (un foro de internet donde puedes encontrar muchísimas discusiones variadas, aunque a veces muy polémica también). Meta te pide que rellenes un formulario para tener acceso.
Muchas de las IA existentes se basan en datos que no están públicos o no están documentados (por ejemplo, "Libros - 2TB" o "Conversaciones en redes sociales"). En este documento hay un resumen de las modificaciones introducidas en la arquitectura (Vaswani et al., 2017) y el método de entrenamiento de LLama. También se exponen algunos de los sesgos y la toxicidad codificados en estos modelos. Entre sus fuentes para entrenar los modelos están Wikipedia, Github, English CommonCrawl o Arxiv, entre otros.
Sí que sabíamos de antes que esta IA está entrenada con texto en 20 idiomas diferentes aunque centrada en aquellos con alfabetos latinos y cirílicos, LLaMa toma secuencias de palabras como entradas, lo que le permite predecir las siguientes para generar así texto recursivamente. Meta explicó que LLaMa es un modelo pequeño que requiere de menos potencia y recursos informáticos.
Como cualquier otra inteligencia artificial que se ha lanzado en los últimos meses, LLaMa no está exenta de errores e información no veraz, por lo que explican que actualmente se encuentran trabajando en ello para minimizar problemas como los sesgos, comentarios tóxicos y otros desvaríos.
Ver 4 comentarios