What AI-use

ggml (proyecto de código abierto)

Logo de llama.cpp

llama.cpp

El motor de código abierto que permite ejecutar modelos de IA en tu propio ordenador, incluso sin tarjeta gráfica. Está detrás de muchas apps de IA local.

Sirve para

  • Ejecutar un modelo de IA en tu ordenador
  • Usar IA sin internet ni servidores externos
  • Montar un servidor local compatible con OpenAI
  • Usar modelos comprimidos (GGUF) en equipos modestos
  • Integrar IA local en tus programas
Ir a la web
Precio
Open source · Gratis (código abierto, licencia MIT)Orientativo: compruébalo en la web oficial
Plataformas
Windows, macOS, Linux, Android
Open source
Sí
Empresa
ggml (proyecto de código abierto)

Qué es

llama.cpp es un motor de código abierto para ejecutar modelos de lenguaje en local, escrito en C/C++. Su gran logro es hacer que modelos de IA funcionen en ordenadores normales, incluso sin tarjeta gráfica, gracias a la compresión (cuantización).

Cómo funciona

  • Descargas un modelo en formato GGUF (por ejemplo, desde Hugging Face).
  • Lo ejecutas desde la terminal para chatear o generar texto.
  • Con llama-server levantas una API compatible con OpenAI y una interfaz web.
  • Aprovecha tu GPU (NVIDIA, AMD, Apple) si la tienes, o solo el procesador.

Para quién es (y para quién no)

Es para ti si te manejas con la terminal y quieres el máximo control y rendimiento en IA local.

Quizá no lo sea si prefieres una app con botones (LM Studio, Jan) o la forma más sencilla de empezar (Ollama).

Ventajas e inconvenientes

Ventajas

  • Funciona en casi cualquier hardware, incluso solo con procesador
  • Muy optimizado para los Mac con chip Apple
  • Incluye servidor con interfaz web y API compatible con OpenAI
  • Gratis, abierto y sin dependencias

Inconvenientes

  • Se usa desde la terminal; no es tan cómodo como una app
  • Hay que entender formatos y niveles de compresión de los modelos
  • Cambia muy a menudo

Conexión con otras IAs

Cómo usar llama.cpp desde tu código, la terminal o un agente de IA:

Alternativas a llama.cpp

OllamaLM StudioJan

Preguntas frecuentes

¿Qué relación tiene con Ollama o LM Studio?

Muchas apps de IA local, como Jan, usan llama.cpp por dentro como motor. Esas apps añaden una interfaz más cómoda y gestión de modelos.

¿Qué es GGUF?

El formato de archivo que usa llama.cpp para los modelos. Permite versiones comprimidas que ocupan menos memoria a cambio de algo de calidad.