OpenChat-Cuda
OpenChat-Cuda
Docker-Anwendung from el_pino's Repository
Übersicht
A self-hosted, offline, ChatGPT-like chatbot with open source LLM support. 100% private, with no data leaving your device.
Please note that this version requires an NVIDIA GPU with the Unraid NVIDIA-DRIVER plugin.
Laufzeit-Argumente
- Web-UI
http://[IP]:[PORT:3000]/- Netzwerk
bridge- Shell
sh- Privilegiert
- false
- Extra Params
--gpus all
Konfiguration der Vorlage
Local Model PathVariable
The local model path
- Ziel
- MODEL
- Standard
- /models/llama-2-7b-chat.bin
Model Download URLVariable
GGML Model Binary.
- Ziel
- MODEL_DOWNLOAD_URL
- Standard
- https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
Model DirectoryPathrw
The local model directory to use as a cache
- Ziel
- /models
- Standard
- /mnt/user/appdata/models
Web UIPorttcp
Chat UI Port
- Ziel
- 3000
- Standard
- 3000
API PortPorttcp
HTTP API Port
- Ziel
- 8000
- Standard
- 8000
Number Of GPU LayersVariable
Layers to offload to GPU. Update this number if server fails to load.
- Ziel
- N_GPU_LAYERS
- Wert
- 12
Einzelheiten
Repository
ghcr.io/edgar971/open-chat-cuda:v1.0.6Zuletzt aktualisiert2026-05-31
Erstmals gesehen2023-09-06
Führen Sie OpenChat-Cuda auf Unraid aus.
OpenChat-Cuda ist gelistet in Community Apps für Unraid OS. Erkunden Sie Unraid, um einen flexiblen Heimserver, ein NAS oder ein Heimlabor aufzubauen.