vLLM
官方Docker 应用程序 from m0ngr31's Repository
概述
Easy, fast, and cheap LLM serving for everyone
要求
Nvidia Driver plugin (nVidia Support)
运行时参数
- 网络用户界面
http://[IP]:[PORT:8000]/- 外壳
sh- 特权
- false
- 额外参数
--runtime=nvidia --ipc=host
模板配置
NVIDIA_VISIBLE_DEVICESVariable
- 默认值
- all
- 价值
- all
NVIDIA_DRIVER_CAPABILITIESVariable
- 默认值
- all
- 价值
- all
Model StoragePathrw
- 目标
- /root/.cache/huggingface
- 默认值
- /mnt/user/appdata/vllm
- 价值
- /mnt/user/appdata/vllm
PortPorttcp
- 目标
- 8000
- 默认值
- 8000
- 价值
- 8000
Hugging Face TokenVariable
- 目标
- HUGGING_FACE_HUB_TOKEN
类别
下载统计数据
20,528,997
下载总数
2,939,323
本月
2,242,947
平均每月
长期下载总量
加载图表...
详细信息
在Unraid 上运行 vLLM 。
vLLM 已被列入Unraid OS 的社区应用程序。探索Unraid ，构建灵活的家庭服务器、NAS 或家庭实验室。