El modelo de lenguaje GPT-3 ha sido uno de los últimos grandes ejemplos de cómo está evolucionando la inteligencia artificial en la actualidad. El uso y creación de este tipo de herramientas se está convirtiendo en una parte fundamental para el desarrollo de las tecnológicas, y en este sentido Google ha dado otro paso de gigante mostrando al mundo su nuevo modelo de lenguaje: PaLM.
A través de una entrada en su blog oficial, la compañía ha querido desvelar un ápice de lo que es capaz su LLM (acrónimo del inglés Large Language Model), y algunos ejemplos nos han resultado de lo más interesantes.
PaLM quiere superar a GPT-3, y lo ha logrado en muchos aspectos
PaLM viene de 'Pathways Language Model', un modelo de lenguaje que posee hasta 540.000 millones de parámetros, superando los 175.000 millones con los que contaba GPT-3 y alcanzando un hito en el entendimiento humano a través de la inteligencia artificial. En un riguroso documento escrito por el equipo de Google Research han explicado las múltiples funcionalidades de PaLM, un modelo de lenguaje que sorprende por la precisión de sus respuestas y 'razonamiento'.
Según afirman desde Google, PaLM ha sido entrenado utilizando una combinación del inglés y de un conjunto de datos multilingües que incluyen documentos de 'alta calidad'. Entre algunos ejemplos de estos datos se encuentran libros, Wikipedia, conversaciones, o código de GitHub. Además, la compañía asegura que han creado para PaLM un vocabulario 'sin pérdidas', conservando todos los espacios en blanco para código, y dividiendo los caracteres Unicode que no se encuentran en el vocabulario en bytes. También han dividido los números en tokens individuales, uno para cada dígito.
Esta IA sorprende en su capacidad de deducción del lenguaje natural
Este modelo de lenguaje ha presentado ser bastante coherente con sus respuestas, desenvolviéndose bastante bien en la deducción del lenguaje natural, razonamiento del sentido común, y comprensión lectora en contexto. En el blog se recogen algunos ejemplos bastante sorprendentes, como el que mostramos a continuación.
Como muestra de lo que es capaz esta IA, Google le hace una serie de preguntas, desde escoger entre dos opciones a algo tan complejo como identificar qué película describe la cadena de emojis escritos. Además, también vemos cómo encuentra sinónimos e incluso 'razona' ante múltiples supuestos.
PaLM también se desenvuelve bien ante problemas matemáticos sencillos, describiendo incluso por qué ha llegado a la solución matemática planteada. La IA ha logrado resolver el 58% de los problemas matemáticos presentados en GSM8K (Grade School Math), superando incluso a GPT-3, el cual logró resolver hasta el 55% de ellos.
Su capacidad del entendimiento conceptual y el 'leer entre líneas' es bastante sorprendente. Y sino echad un vistazo a cómo incluso explica los chistes introducidos por el equipo de Google.
Si bien es lógico pensar que aquí sus creadores han escogido las mejores respuestas, omitiendo los múltiples fallos que pueda tener esta IA, no deja de ser sorprendente hasta qué punto se puede llegar a entrenar una inteligencia artificial y lo tremendamente útil que puede llegar a ser en un futuro.
Ver 1 comentarios