Sam Altman, CEO de OpenAI —compañía desarrolladora de ChatGPT— participó hace unos meses en el evento 'Imagination in Action', organizado por el MIT… y, en un momento en el que ChatGPT está en boca de todos como buque insignia de la industria de la IA, algunos de los temas que se mencionan a lo largo de su intervención son ciertamente relevantes.
Así, por ejemplo, realiza un vaticinio sorprendente para muchos: que nos estamos acercando al límite de tamaño (medido en número de parámetros) de los grandes modelos de IA generadores de texto… pero que eso no significa que hayan alcanzado su techo de capacidad, pues podremos mejorarlos de otras maneras.
Denunciaba Altman cierta obsesión de la industria a la hora de sacar pecho por el número de parámetros de cada LLM, y lo compara directamente con la carrera entre fabricantes de chips que se dio en las décadas de 1990 y 2000 por conseguir el mayor número de megahercios.
"Por aquel entonces todos intentaban destacar sus grandes cifras". Hoy en día, sin embargo, los GHz han pasado a un segundo plano, y Altman cree que lo mismo deberíamos hacer con los parámetros de los modelos de IA, pues ambos son malos indicadores de calidad:
"La mayoría de vosotros no sabe cuántos gigahercios tiene su iPhone, pero sí que es rápido. Lo que realmente nos importa son las capacidades, y creo que es importante que nos mantengamos centrado en aumentar rápidamente la capacidad [de los LLM]".
"Y si hubiera alguna razón para preferir la progresiva disminución de parámetros o para apostar por tener múltiples modelos trabajando simultáneamente, lo haríamos. No estamos aquí para masturbarnos por el recuento de parámetros".
Esto es interesante, porque precisamente un documento interno de Google recientemente filtrado en el que se analizaba el mercado de los LLM, afirmaba que la brecha entre los grandes modelos propietarios (como ChatGPT o Bard) y sus alternativas open source
"se cierra sorprendentemente rápido, […] son comparativamente más capaces" porque "están logrando cosas con 100 dólares 13.000 millones de parámetros que a nosotros nos costaron [lograr] con 10 millones de dólares y 540.000 millones de párametros".
La famosa carta de Musk y cía
Hacia el final de la intervención de Altman, se aborda el polémico asunto de la carta que Musk impulsó en su momento pidiendo una moratoria en el desarrollo de IAs avanzadas... y que muchos tomaron como un ataque directo a OpenAI y su ChatGPT (sobre todo por el conocido mal rollo entre Altman y su antiguo socio Musk).
"Estoy realmente de acuerdo con algunas partes del enfoque [de esa carta]. Nosotros pasamos más de seis meses estudiando GPT-4 desde que terminamos de entrenarlo hasta que lo lanzamos, […] sometiéndolo a auditorías externas para mitigar todo lo posible. Eso es importante".
Pero a partir de ahí, aumentan las discrepancias: "Desafortunadamente, creo que a la carta le faltan los matices más técnicos sobre dónde debemos poner el límite". Así, aborda específicamente las referencias de la primera versión de la carta a un supuesto desarrollo de GPT-5:
"No lo estamos entrenando y tampoco lo haremos durante un tiempo, así que en ese sentido fue una tontería [hacer referencia a GPT-5]. Sin embargo, sí estamos haciendo otras cosas además de GPT-4 que creo que presentan todo tipo de problemas de seguridad relevantes, y que se quedaron totalmente fuera de la carta. […] No creo que las sugerencias [de ésta] sean la mejor forma de abordarla".
Según Altman, sus propias declaraciones sobre los riesgos de ChatGPT (que han sido acusadas de buscar generar titulares) están motivadas por una sincera preocupación por la seguridad, porque es importante tener un diálogo abierto sobre esa tecnología, incluso cuando eso les ha llevado a él y a otros directivos de la compañía a decir 'cosas tontas'.
Imagen | Marcos Merino mediante IA
