"No estamos aquí para masturbarnos por el número de parámetros". El CEO de OpenAI quita importancia a lo que más se alababa de GPT-4

Sammie
4 comentarios Facebook Twitter Flipboard E-mail

Sam Altman, CEO de OpenAI —compañía desarrolladora de ChatGPT— participó hace unas semanas en el evento 'Imagination in Action', organizado por el MIT… y finalmente su intervención se publicó ayer mismo en YouTube. En un momento en el que ChatGPT está en boca de todos como buque insignia de la industria de la IA, algunos de los temas que menciona son ciertamente relevantes.

Así, por ejemplo, realiza un vaticinio sorprendente para muchos: que nos estamos acercando al límite de tamaño de los LLM (grandes modelos de lenguaje, como GPT-4 o Bard)… pero que eso no significa que hayan alcanzado su techo de capacidad, pues podremos mejorarlos de otras maneras.

Denuncia cierta obsesión de la industria a la hora de sacar pecho por el número de parámetros de cada LLM, y lo compara directamente con la carrera entre fabricantes de chips que se dio en las décadas de 1990 y 2000 por conseguir el mayor número de megahercios.

"Por aquel entonces todos intentaban destacar sus grandes cifras". Hoy en día, sin embargo, los GHz han pasado a un segundo plano, y Altman cree que lo mismo deberíamos hacer con los parámetros de los modelos de IA, pues ambos son malos indicadores de calidad:

"La mayoría de vosotros no sabe cuántos gigahercios tiene su iPhone, pero sí que es rápido. Lo que realmente nos importa son las capacidades, y creo que es importante que nos mantengamos centrado en aumentar rápidamente la capacidad [de los LLM]".
"Y si hubiera alguna razón para preferir la progresiva disminución de parámetros o para apostar por tener múltiples modelos trabajando simultáneamente, lo haríamos. No estamos aquí para masturbarnos por el recuento de parámetros".
GPT-3 tiene 175.000 millones de parámetros. La mayoría de estimaciones indican que su actual sucesor los ha incrementado hasta 1-1,6 billones, aunque OpenAI no ha llegado a confirmar el dato

Esto es interesante, porque precisamente un documento interno de Google recientemente filtrado en el que se analizaba el mercado de los LLM, afirmaba que la brecha entre los grandes modelos propietarios (como ChatGPT o Bard) y sus alternativas open source

"se cierra sorprendentemente rápido, […] son comparativamente más capaces" porque "están logrando cosas con 100 dólares 13.000 millones de parámetros que a nosotros nos costaron [lograr] con 10 millones de dólares y 540.000 millones de párametros".
Un vistazo a…
ZAO, la APP MÓVIL china que a través de DEEPFAKE te convierte en DICAPRIO en SEGUNDOS

La famosa carta de Musk y cía

Hacia el final de la intervención de Altman, se aborda el polémico asunto de la carta de Musk y otros personajes públicos pidiendo una moratoria en el desarrollo de IAs avanzadas, que muchos tomaron como un ataque directo a OpenAI y su ChatGPT (sobre todo por el conocido mal rollo entre Altman y su antiguo socio Musk).

"Estoy realmente de acuerdo con algunas partes del enfoque [de esa carta]. Nosotros pasamos más de seis meses estudiando GPT-4 desde que terminamos de entrenarlo hasta que lo lanzamos, […] sometiéndolo a auditorías externas para mitigar todo lo posible. Eso es importante".
"La mayoría de estas cosas no terminan funcionando como en los libros de ciencia ficción y tampoco lo hará la inteligencia artificial"

Pero a partir de ahí, aumentan las discrepancias: "Desafortunadamente, creo que a la carta le faltan los matices más técnicos sobre dónde debemos poner el límite". Así, aborda específicamente las referencias de la primera versión de la carta a un supuesto desarrollo de GPT-5:

"No lo estamos entrenando y tampoco lo haremos durante un tiempo, así que en ese sentido fue una tontería [hacer referencia a GPT-5]. Sin embargo, sí estamos haciendo otras cosas además de GPT-4 que creo que presentan todo tipo de problemas de seguridad relevantes, y que se quedaron totalmente fuera de la carta. […] No creo que las sugerencias [de ésta] sean la mejor forma de abordarla".

Según Altman, sus propias declaraciones sobre los riesgos de ChatGPT (que han sido acusadas de buscar generar titulares) están motivadas por una sincera preocupación por la seguridad, porque es importante tener un diálogo abierto sobre esa tecnología, incluso cuando eso les ha llevado a él y a otros directivos de la compañía a decir 'cosas tontas'.

En Genbeta | Con GPT-4 tenemos una bomba nuclear entre manos. En 2019, OpenAI no permitió acceder su antepasado por ser "muy peligroso"

Comentarios cerrados
Inicio