vLLM
OficialAplicación Docker from m0ngr31's Repository
Visión general
Easy, fast, and cheap LLM serving for everyone
Requisitos
Nvidia Driver plugin (nVidia Support)
Argumentos en tiempo de ejecución
- Interfaz web
http://[IP]:[PORT:8000]/- Concha
sh- Privilegiado
- false
- Parámetros adicionales
--runtime=nvidia --ipc=host
Configuración de plantillas
NVIDIA_VISIBLE_DEVICESVariable
- Por defecto
- all
- Valor
- all
NVIDIA_DRIVER_CAPABILITIESVariable
- Por defecto
- all
- Valor
- all
Model StoragePathrw
- Objetivo
- /root/.cache/huggingface
- Por defecto
- /mnt/user/appdata/vllm
- Valor
- /mnt/user/appdata/vllm
PortPorttcp
- Objetivo
- 8000
- Por defecto
- 8000
- Valor
- 8000
Hugging Face TokenVariable
- Objetivo
- HUGGING_FACE_HUB_TOKEN
Categorías
Descargar estadísticas
20,528,997
Descargas totales
2,939,323
Este mes
2,242,947
Media / Mes
Descargas totales a lo largo del tiempo
Cargando gráfico...
Detalles
Repositorio
vllm/vllm-openaiÚltima actualización2026-05-11
Visto por primera vez2024-11-15
Ejecute vLLM en Unraid.
vLLM se encuentra en Community Apps para Unraid OS. Explore Unraid para crear un servidor doméstico flexible, un NAS o un laboratorio doméstico.