llama.cpp es el motor en C/C++ sobre el que se apoyan muchas herramientas para ejecutar modelos de lenguaje en local. Lo que enseña sobre hacer mucho con poco.
Hay repositorios que usas.
Y hay repositorios que usan, sin que lo sepas, casi todas las herramientas que usas.
llama.cpp es de los segundos.
llama.cpp es una implementación en C/C++ para ejecutar modelos de lenguaje con muy poca configuración y en hardware muy variado: desde ordenadores normales hasta tarjetas gráficas potentes, pasando por portátiles de los que tienes en casa.
Trae herramientas de línea de comandos para chatear con un modelo y un servidor con una API compatible con la de los grandes proveedores. Y popularizó un formato de archivo, GGUF, en el que hoy se distribuyen muchísimos modelos abiertos.
Si usas herramientas para correr IA en local, es bastante probable que alguna se apoye en él.
Porque nació de una idea que parecía poco razonable: que estos modelos, que se suponía que necesitaban centros de datos, se podían ejecutar en un ordenador corriente si alguien se tomaba la molestia de optimizarlos a fondo.
Y alguien se la tomó.
Muchas cosas «imposibles» solo son caras. Y lo caro, con suficiente paciencia, se vuelve barato.
Me gusta porque es la misma lógica que intento aplicar en una empresa pequeña. No puedes competir en recursos con los grandes. Pero sí puedes hacer mucho con poco si eres más cuidadoso, más paciente y te fijas en los detalles que a otros les da igual optimizar.
Siendo sinceros: si no eres técnico, probablemente no lo uses directamente. Usarás herramientas que lo llevan dentro y te lo dan masticado.
Si eres desarrollador, merece la pena conocerlo:
Dos cosas.
La primera, que la infraestructura aburrida acaba siendo la más importante. Casi nadie habla de llama.cpp en una cena, pero media industria de IA en local se apoya en él.
La segunda, que una comunidad abierta puede mover un sector entero. Lo que empezó como el proyecto de una persona se convirtió en la base sobre la que otros construyeron productos, interfaces y empresas.
No hace falta ser el producto que sale en las noticias. A veces es mejor ser la pieza que todos necesitan.
P. D.: Si alguna vez te dicen que algo «no se puede hacer sin un servidor enorme», acuérdate de este repositorio. A veces lo único que falta es alguien con ganas de optimizar.