vLLM
OffiziellDocker-Anwendung from m0ngr31's Repository
Übersicht
Easy, fast, and cheap LLM serving for everyone
Anforderungen
Nvidia Driver plugin (nVidia Support)
Laufzeit-Argumente
- Web-UI
http://[IP]:[PORT:8000]/- Shell
sh- Privilegiert
- false
- Extra Params
--runtime=nvidia --ipc=host
Konfiguration der Vorlage
NVIDIA_VISIBLE_DEVICESVariable
- Standard
- all
- Wert
- all
NVIDIA_DRIVER_CAPABILITIESVariable
- Standard
- all
- Wert
- all
Model StoragePathrw
- Ziel
- /root/.cache/huggingface
- Standard
- /mnt/user/appdata/vllm
- Wert
- /mnt/user/appdata/vllm
PortPorttcp
- Ziel
- 8000
- Standard
- 8000
- Wert
- 8000
Hugging Face TokenVariable
- Ziel
- HUGGING_FACE_HUB_TOKEN
Kategorien
Statistik herunterladen
20,528,997
Downloads insgesamt
2,939,323
Dieser Monat
2,242,947
Durchschnittlich / Monat
Gesamte Downloads im Laufe der Zeit
Tabelle laden...
Einzelheiten
Repository
vllm/vllm-openaiZuletzt aktualisiert2026-05-11
Erstmals gesehen2024-11-15
Führen Sie vLLM auf Unraid aus.
vLLM ist gelistet in Community Apps für Unraid OS. Erkunden Sie Unraid, um einen flexiblen Heimserver, ein NAS oder ein Heimlabor aufzubauen.