Desde hace unos cuantos meses hay modelos de inteligencia artificial para elegir: GPT 3.5 y GPT 4, Mistral, LlaMA... y aunque puedes tener preferencia por alguna en concreto o incluso disponer de suscripción, quizás no te cases con nadie y uses varias (algo que por ejemplo, profesionalmente me toca hacer), no te agrade compartir tu información en servidores por cuestiones de privacidad y seguridad o simplemente no siempre tengas conexión a internet. Si es tu caso, merece la pena probar Jan.
Porque lo que Jan propone es convertir cualquier ordenador en una máquina de inteligencia artificial para poder interaccionar con ella en local. Después de conocer la iniciativa, la he probado y esta ha sido mi experiencia.
Qué es Jan y cómo funciona
Jan.ai es un proyecto de código abierto que propone ejecutar modelos como LlaMA o Mistral (entre otros muchos) directamente desde el ordenador. Sus principios son: lo local primero (de hecho, aunque permite conectarse a servidores, es la segunda opción), está centrado en la privacidad, detallando que no pueden ver los datos ni almacena los archivos, al ser de código abierto permite la personalización a medida y fomenta la independencia desde un punto ético, es decir, no trata de encerrar en un único ecosistema ni tiene coste.
Desde un punto de vista práctico, ofrece una experiencia de seguridad mejorada, ya que esta información no queda en servidores al alcance de la empresa, se emplea para el entrenamiento, puede aparecer de forma parcial o completa en las respuestas a otras personas o simplemente, expuesta ante posibles brechas de seguridad. Si además manejas información confidencial, con más razón todavía, no obstante hay empresas que han prohibido el uso de herramientas como ChatGPT por las posibles filtraciones de datos.
De este modo, no es necesario internet nada más que para descargar la aplicación (desde su web o desde su repositorio de GitHub) y el modelo correspondiente de su lista de disponibles. A partir de aquí, tanto todos los datos vertidos como el procesamiento se mantienen en local. Esto incluye por supuesto los chats, pero también las preferencias de uso y el uso general.
El proyecto explica que Jan está optimizado para cualquier dispositivo, desde PC hasta clústers multi GPU y asegura ser rápido en GPUs de NVIDIA, la serie M de Apple y puede usarse en los equipos de Apple con procesadores Intel, Linux Debian y Windows con arquitectura x64.
Así, con Jan es posible ejecutar LLM de código abierto de forma local o conectarse a la IA en la nube para por ejemplo usar ChatGPT o Google, buscar en la web y bases de datos, personalizar y agregar funciones con extensiones.
Mi experiencia de uso en un Mac Mini con chip M2 y 8GB de RAM
Tras visitar la web y descargar sin mucha complicación la aplicación para mi equipo (lo detectó al instante, proporcionando la alternativa de 'Download for Mac M1/M2/M3'), un Mac Mini con procesador M2, 8 GB de RAM y 256 GB, el modelo básico.
El software base de Jan ocupa poco y va fluido, otra cosa son los modelos disponibles que podemos instalar, además está en inglés. Lo que veis bajo estas líneas es la interfaz principal, con un espacio para chatear en el espacio principal central, en la columna de la izquierda se acumulan los diferentes chats (que podemos abrir con el mismo o diferentes modelos) y en la de la derecha los ajustes de cada chat ('Threads settings').
No obstante, lo primero que nos pedirá la aplicación es añadir un modelo tocando sobre 'Explore the hub'. Aquí aunque es interesante echar un vistazo a todos los modelos disponibles: diferentes variantes de Hermes, Mistral, Stealth, Trinity, Gemma, Openchat, GPT 3.5 y GPT 4, Llama...los que aparecen con lo que ocupan en MB o GB son para descarga y los que no (por ejemplo los de OpenAI), son para uso online.
Una recomendación: aunque puedan descargarse unos cuantos, lo mejor es apostar por los recomendados. Hay otros con un mensaje en rojo, en mi caso informando de que no tengo suficiente RAM para ejecutarlos. Teniendo en cuenta que mi equipo es más bien modesto y diseñado para uso ofimático, he experimentado con modelos livianos y con Mistral, que era el primero que aparecía como recomendado.
Nota: este modelo Mistral de siete millones tiene un límite de 4.096 tokens.
Una vez dentro del chat con Mistral, podemos irnos a la sección de ajustes para cambiar cosas: podemos poner nombre al chat en 'Title', en 'Assistant' puede editarse la configuración por defecto (por ejemplo, para cambiar idioma) y en las secciones de 'Interference parameters' , 'Model parameters' o 'Engine parameters'
podemos jugar con parámetros como la Temperatura (en pocas palabras, cuanto más a la derecha, más posibilidades hay de que alucine), entre otros. Cada uno tiene una breve explicación en la 'i' para saber qué hace y podemos ir probando para ver cómo afecta en los resultados. No obstante, todo esto puede dejarse como viene de serie sin problema, pero ya que está, es interesante experimentar.
A partir de aquí, es cuestión de empezar con los prompts como es habitual, pudiendo usar el castellano sin problema para que responda en la misma lengua. Aquí es donde mi hardware básico ha comenzado a pasar factura, ya que le cuesta arrancar el modelo. Al ir escribiendo, se ve el flujo de tokens, lo que afecta a la velocidad de respuesta. He notado que por ejemplo mientras está trabajando generando la respuesta en segundo, me cuesta realizar otras tareas como escribir esto o navegar y hasta mover el ratón. De hecho, he intentado monitorizar el consumo en 'Monitor de actividad' (una especie de homólogo en macOS del Task Manager de Windows) y se quedaba congelado.
Después de preguntarle por Genbeta y pedirle ideas de artículos sobre un tema, le solicito que me haga una traducción del castellano al inglés, que ejecuta moderadamente rápido. De momento, las respuestas son bastante acertadas y precisas, aunque esto no es tanto cuestión de Jan en sí y sí del modelo que estemos usando y sus limitaciones.
También le he pedido una carta para anunciarle a mi casero que ya no seguiré en el piso, una tarea que aunque a grandes rasgos ha hecho bien, tiene bastante margen de mejora en cuanto a estructura, concordancia y lenguaje natural.
Algunos detalles más. En la esquina inferior izquierda de la interfaz nos encontramos con 'Local API Server', que permite integrar el modelo que estemos usando en local para que accedan otras aplicaciones para su uso y con los ajustes generales (el icono del engranaje), para llegar añadir las extensiones. ¿Que queremos usar un modelo que está en internet? En ese caso habría que elegir el modelo que nos interesa, por ejemplo GPT 3.5 Turbo y pegar la API Key para iniciarlo con normalidad. En este caso y al recurrir a los servidores, la experiencia es notablemente más ágil.
Concluyendo: Jan es una gran alternativa para amantes de la privacidad y seguridad que usen inteligencia artificial en el día a día. Desde este punto de vista la idea es buena, aunque ejecutar un modelo de inteligencia artificial en local siempre va a ser menos ágil y limitado, lo que nos aboca a modelos más livianos.
Portada | Foto de Luke Chesser en Unsplash y Mockuphone
En Genbeta | Ni antes con Bard ni ahora con Gemini: seguimos prefiriendo ChatGPT o Copilot y estos son nuestros motivos
Ver 5 comentarios