Qué es
SGLang es un motor para ejecutar modelos de IA de forma rápida y eficiente. Lo mantiene la organización sin ánimo de lucro LMSYS. Su documentación dice que mueve billones de tokens al día en más de 400.000 GPU.
Cómo funciona
- Lo instalas en un servidor con GPU.
- Lo arrancas con el modelo que quieras.
- Responde por una API compatible con OpenAI.
- Tus apps le hablan igual que a ChatGPT, pero con tu modelo.
Para quién es (y para quién no)
Es para ti si administras servidores y quieres servir modelos abiertos con buen rendimiento.
Quizá no lo sea si solo quieres probar un modelo en tu ordenador (Ollama).
