koboldcpp
Docker 应用程序 from oromis95's Repository
概述
KoboldCpp is a lightweight but powerful AI backend, bundled with KoboldAI Lite frontend.
https://hub.docker.com/r/koboldai/koboldcpp/
运行时参数
- 网络用户界面
http://[IP]:[PORT:5001]/- 网络
bridge- 外壳
bash- 特权
- false
- 额外参数
--gpus all
模板配置
Don't Remote TunnelVariable
- 目标
- KCPP_DONT_TUNNEL
- 默认值
- true
- 价值
- true
WorkspacePathrw
This is where your docker data will be stored. Models and binaries will be saved here.
- 目标
- /workspace
KCPP_ARGSVariable
This is where we add run variables. '--model' accepts URL's and filenames.
- 默认值
- --model https://huggingface.co/concedo/KobbleTinyV2-1.1B-GGUF/resolve/main/KobbleTiny-Q4_K.gguf
- 价值
- --model https://huggingface.co/concedo/KobbleTinyV2-1.1B-GGUF/resolve/main/KobbleTiny-Q4_K.gguf
WebUI PortPorttcp
- 目标
- 5001
- 默认值
- 5002
- 价值
- 5002
Don't Update Kobold on LaunchVariable
The Docker container update is a separate update. This just updates the binary.
- 目标
- KCPP_DONT_UPDATE
- 默认值
- false
- 价值
- false
Retain Models on RestartVariable
- 目标
- KCPP_DONT_REMOVE_MODELS
- 默认值
- true
- 价值
- true
下载统计数据
112,230
下载总数
6,163
本月
6,101
平均每月
长期下载总量
加载图表...
详细信息
在Unraid 上运行 Koboldcpp 。
Koboldcpp 已被列入Unraid OS 的社区应用程序。探索Unraid ，构建灵活的家庭服务器、NAS 或家庭实验室。