Retour aux applicationsSoumettre
vLLM

vLLM

Officielle

Application Docker from m0ngr31's Repository

Vue d'ensemble

Easy, fast, and cheap LLM serving for everyone

Exigences

Nvidia Driver plugin (nVidia Support)

Arguments d'exécution

Interface utilisateur Web
http://[IP]:[PORT:8000]/
Coquille
sh
Privilégié
false
Paramètres supplémentaires
--runtime=nvidia --ipc=host

Configuration du modèle

NVIDIA_VISIBLE_DEVICESVariable
Défaut
all
Valeur
all
NVIDIA_DRIVER_CAPABILITIESVariable
Défaut
all
Valeur
all
Model StoragePathrw
Cible
/root/.cache/huggingface
Défaut
/mnt/user/appdata/vllm
Valeur
/mnt/user/appdata/vllm
PortPorttcp
Cible
8000
Défaut
8000
Valeur
8000
Hugging Face TokenVariable
Cible
HUGGING_FACE_HUB_TOKEN

Catégories

AI

Télécharger les statistiques

20,528,997
Total des téléchargements
2,939,323
Ce mois-ci
2,242,947
Moyenne / Mois

Total des téléchargements au fil du temps

Chargement du graphique...

Liens

ModèleSoutienHub DockerProprojet

Détails

Référentiel
vllm/vllm-openai
Registre
https://hub.docker.com/r/vllm/vllm-openai
Dernière mise à jour2026-05-11
Première vue2024-11-15

Exécutez vLLM sur Unraid.

vLLM est listé dans Community Apps pour Unraid OS. Explorez Unraid pour créer un serveur domestique flexible, un NAS ou un laboratoire domestique.

Explorez Unraid OS