Usar un Chat Bot en local en un ordenador convencional ya es possible con Ollama, usando Llama 3.2 de Meta.
La aparición de ChatGPT, el chatbot de OpenAI, es, sin lugar a dudas, uno de los acontecimientos tecnológicos más relevantes de las últimas décadas. Esta aplicación permite a los usuarios introducir textos como entrada y obtener respuestas generadas de forma artificial.
Hasta ahora, esta tecnología, además de requerir una infraestructura compleja para ejecutarse, estaba fuera del alcance de la mayoría de las personas y solo en manos de unos pocos. Sin embargo, gracias a los avances de empresas como Meta, proporcionando los modelos Llama, ahora es posible que usuarios comunes se adentren en este fascinante mundo.
Para gestionar estos modelos existe una aplicación llamada Ollama. Es una herramienta que te permite cargar y usar múltiples modelos LLM.
Ollama está disponible para múltiples plataformas. Puedes descargar la aplicación en los siguientes enlaces:
La colección Meta Llama 3.2 incluye modelos de lenguaje multilingües en dos tamaños, uno de mil millones de parámetros y otro de 3 mil millones de parámetros, diseñados para tareas de diálogo y generación de texto. Estos modelos, optimizados para resumir y recuperar información en varios idiomas, superan a muchos otros modelos abiertos y cerrados en las pruebas estándar de la industria.
Puedes instalar llama 3.2 ocupa 2GB o llama3.2:1b 1.3 GB.
ollama run llama3.2
La calidad de estos dos modelos es claramente inferior a la del buque insignia de Meta Llama 3.3 70B (que ocupa 43 GB) y necesita un mínimo de 64GB de RAM y una GPU NVIDIA RTX de al menos 24GB de VRAM. Aun así, Llama 3.2 3b es bastante útil para introducirse en este mundo y además bastante aceptable para tareas que requiran interpretar y seguir instrucciones, hacer resúmenes, reescribir texto o explicar como usar herramientas.
Una vez ejecutado el comando y descargado el modelo, ya puedes usar Ollama y interactuar con el Bot para preguntar sobre cualquier tema o darle instrucciones.
También destacar que puedes usar otros modelos como Mistral, Gemma, etc algunos son mejores para ciertas cosas que otros, desde entender o generar código de programación, o entender inputs de tipo imagen. Puedes ver una lista de modelos disponibles.
Hasta ahora hemos interactuado con la IA desde la consola, pero algo más interesante es usar otras interficies como una página web, una aplicación de móvil o una aplicación de escritorio para facilitar la introducción de texto. Para ello podemos usar la API de Ollama.
Podemos hacer una llamada al endpoint de la API /api/generate
, pasándole distintos parámetros como el campo model
con el modelo a usar, el prompt
con el mensaje o instrucción y el campo stream
a false
, para que nos devuelva una sola respuesta cuando haya terminiado en vez de varias respuestas con múltiples tokens.
curl http://localhost:11434/api/generate -d '{ "model": "llama3.2", "prompt": "¿Por qué el cielo es azul?", "stream": false}'
Al ejecutar esta instrucción en la consola obtendremos algo como:
{"model":"llama3.2","created_at":"2024-12-15T15:56:16.28169Z","response":"**El misterio del cielo azul**\n\nLa pregunta que todos nos han hecho desde la infancia es: ¿por qué el cielo es azul? La respuesta es más compleja de lo que parece..."}
En este artículo hemos presentado los LLM (Large Language Model) de Meta y hemos mostrado cómo probarlos tanto por consola como por API con Ollama.