Un modelo de IA de 744B en un portátil sin GPU
Colibri es un proyecto unipersonal que ejecuta un modelo de IA de primer nivel en hardware doméstico, sin servidores ni GPU carísimas.
Un modelo de IA de 744B en un portátil sin GPU
En algún lugar del mundo, un único desarrollador escribió unas 2.400 líneas de código y descubrió cómo ejecutar uno de los modelos de inteligencia artificial más potentes del momento en un portátil corriente.
El modelo se llama GLM-5.2. Tiene 744.000 millones de parámetros. Para hacerse una idea: hasta hace muy poco, ese tipo de modelo requería una sala entera de hardware especializado valorado en cientos de miles de euros.
El proyecto se llama Colibri. Es gratuito y de código abierto. Y hace algo genuinamente sorprendente: en lugar de cargar todo el modelo en memoria —lo que sería imposible en hardware normal—, mantiene solo las partes esenciales en RAM y va leyendo el resto desde el disco duro según lo necesita. Algo parecido a ver una película en streaming en lugar de descargarla entera de golpe.
No es rápido. En un equipo normal, puede que obtengas una palabra cada diez segundos. En un MacBook de gama alta con un SSD veloz, quizás una por segundo. Pero el caso es que funciona. Un modelo de 744.000 millones de parámetros, corriendo en local, en un equipo que cuesta menos que un solo componente de un servidor profesional de IA.
Para quienes gestionan un negocio, esto importa menos como herramienta para usar hoy y más como señal de hacia dónde van las cosas. La distancia entre «IA que solo puedes alquilar a una gran empresa» y «IA que puedes ejecutar tú mismo» se está cerrando más rápido de lo que casi nadie esperaba.
Palabras que vale la pena conocer
Parámetros — Piensa en ellos como las «neuronas» de un modelo de IA. Más parámetros suele significar un modelo más capaz. 744.000 millones es una cantidad enorme.
Código abierto — El código es público y gratuito: cualquiera puede usarlo, modificarlo y construir sobre él. Lo contrario de un producto cerrado y propietario.
GPU — Un chip especializado que nació para videojuegos y que resulta ser muy eficiente también para ejecutar IA. Son caras. Colibri no necesita ninguna.
Modelo de frontera — La forma que tiene el sector de referirse a los modelos de IA más capaces disponibles en cada momento, independientemente de quién los haya construido.
Si llevas un negocio y alguna vez te has preguntado cómo sería tener IA potente corriendo en tu propio hardware —sin suscripciones, sin que tus datos salgan de tu empresa—, Colibri merece que lo sigas de cerca.