Un modelo de IA de 744B en un portátil sin GPU

Un motor pequeño con mucho apetito

Los modelos de IA más potentes suelen ser demasiado grandes para un ordenador normal. Viven en centros de datos y tú pagas por usarlos.

Colibri, creado por Vincenzo Fornaro, va por otro camino. Su promesa es sencilla: ejecutar modelos punteros "en el hardware que ya tienes". Y su lema es precioso: "Motor diminuto, modelo inmenso".

Cómo lo consigue

Muchos modelos grandes de hoy funcionan como un equipo de especialistas. Cuando les preguntas algo, solo unos pocos responden. El resto se queda callado.

Así que Colibri no mete a todo el equipo en la memoria rápida del ordenador. Los deja en el disco duro y llama solo a los que hacen falta, en el momento justo. Es como en una cocina: no tienes todos los ingredientes en la encimera, vas a la cámara a por ellos según sale cada plato.

Además, no necesita instalar nada extra para funcionar, lo que lo hace muy ligero.

La gente se ha dado cuenta. El proyecto casi duplicó sus estrellas en GitHub entre dos capturas, hasta llegar a 41.600. Fornaro ya ha lanzado otro proyecto, lumabri, que reparte modelos grandes entre varias de tus propias máquinas.

Palabras para tu próxima reunión

Mezcla de expertos (MoE): un modelo de IA formado por muchos especialistas, donde solo unos pocos trabajan en cada petición.

Pesos: el conocimiento aprendido del modelo, guardado en un archivo enorme.

Ejecución local: la IA funciona en tu propio equipo, así que tus datos no salen de casa.

Para darle una vuelta

Si una IA seria pudiera vivir en tu oficina, sin enviar nunca un archivo de cliente a ningún sitio, ¿en qué la dejarías ayudarte por fin? Échale un ojo: github.com/JustVugg/colibri