What AI-use

Benson Wong (proyecto de código abierto)

llama-swap

Servidor gratuito y de código abierto que cambia entre modelos de IA locales bajo demanda, con API compatible con OpenAI y Anthropic.

Prueba a pedirle

  • Ayúdame a cambiar entre varios modelos locales sin reiniciar nada
  • Ayúdame a montar un servidor local compatible con OpenAI y Anthropic
  • Ayúdame a usar llama.cpp, vLLM o ComfyUI detrás de una sola dirección
  • Ayúdame a ejecutar modelos locales con Docker
Ir a la web

Ventajas

  • Un solo binario y un fichero de configuración
  • Carga y descarga los modelos según se piden
  • Compatible con la API de OpenAI y de Anthropic
  • Incluye interfaz web

Inconvenientes

  • Se configura con un fichero YAML
  • Necesitas ya un servidor de modelos como llama.cpp
  • No incluye modelos
Precio
Open source
  • Plan gratiscódigo abierto, licencia MITGratis
Orientativo: compruébalo en la web oficial
Plataformas
WindowsmacOSLinux
Open source
Sí
Empresa
Benson Wong (proyecto de código abierto)

Qué es

llama-swap es un intermediario para modelos de IA locales. Se pone delante de tus servidores y carga el modelo que pide cada petición.

Cómo funciona

  • Descargas un único binario o una imagen de Docker.
  • Describes tus modelos en un fichero de configuración.
  • Tus aplicaciones llaman a una API compatible con OpenAI.
  • llama-swap arranca y descarga modelos según haga falta.

Para quién es (y para quién no)

Es para ti si usas varios modelos locales y quieres cambiar sin pelearte con comandos.

Quizá no lo sea si quieres algo listo para usar (Ollama).

Conexión con otras IAs

Cómo usar llama-swap desde tu código, la terminal o un agente de IA:

APIDocumentación oficial

Para usarla desde tu propio código o desde otra aplicación.

  1. 1Arranca llama-swap con tu fichero de configuración; escucha por defecto en el puerto 8080 en Docker.llama-swap --config path/to/config.yaml --listen localhost:8080
  2. 2Apunta tu cliente a la API compatible con OpenAI, por ejemplo al endpoint v1/chat/completions.
  3. 3El campo «model» de cada petición indica qué modelo cargar; llama-swap cambia solo.
CLIDocumentación oficial

Para usarla desde la terminal o en scripts.

  1. 1Hay imágenes de Docker para cpu, cuda, vulkan, intel y musa.docker pull ghcr.io/mostlygeek/llama-swap:cuda
  2. 2Se puede configurar con variables como LLAMA_SWAP_CONFIG y LLAMA_SWAP_LISTEN en lugar de flags.

Alternativas a llama-swap

LiteLLMOpen sourceOllamaOpen sourcellama.cppOpen source

Preguntas frecuentes

¿llama-swap es gratis?

Sí, es de código abierto con licencia MIT.

¿Qué hace exactamente?

Recibe peticiones, arranca el servidor del modelo que pides y descarga el anterior, para que uses varios modelos con una sola dirección.

¿Incluye los modelos?

No. Tú aportas los modelos y los servidores, como llama.cpp o vLLM.

¿Qué diferencia tiene con Ollama?

Ollama descarga y ejecuta modelos. llama-swap no los ejecuta él mismo: orquesta tus servidores y cambia entre ellos.

¿En qué dispositivos se puede usar llama-swap?

Está disponible en Windows, macOS y Linux.

¿llama-swap es de código abierto?

Sí, su código es abierto: puedes revisarlo e instalarlo por tu cuenta.

¿Se puede conectar llama-swap con otras aplicaciones o agentes de IA?

Sí, tiene API y CLI oficial. Más arriba explicamos cómo conectarla.

Más IAs de modelos abiertos y locales

Ver todas las IAs de modelos abiertos y locales