Qué es
vLLM es un motor para servir modelos de lenguaje: el programa que se instala en un servidor para que un modelo abierto responda peticiones de muchos usuarios rápido y con poca memoria. Nació en la Universidad de Berkeley y hoy lo mantiene una gran comunidad de empresas y universidades.
Cómo funciona
- Lo instalas en un servidor con GPU.
- Lanzas un modelo abierto de Hugging Face con un comando.
- vLLM levanta una API compatible con OpenAI, así que tus apps lo usan como si fuera ChatGPT.
- Optimiza la memoria y agrupa peticiones para atender a muchos usuarios a la vez.
Para quién es (y para quién no)
Es para ti si eres desarrollador o empresa y quieres servir modelos abiertos en tu propia infraestructura.
Quizá no lo sea si solo quieres usar IA en tu ordenador (Ollama, Jan).