Vue d'ensemble

A self-hosted, offline, ChatGPT-like chatbot with open source LLM support. 100% private, with no data leaving your device. Please note that this version requires an NVIDIA GPU with the Unraid NVIDIA-DRIVER plugin.

Arguments d'exécution

Interface utilisateur Web: http://[IP]:[PORT:3000]/
Réseau: bridge
Coquille: sh
Privilégié: false
Paramètres supplémentaires: --gpus all

Configuration du modèle

Local Model PathVariable

The local model path

Cible: MODEL
Défaut: /models/llama-2-7b-chat.bin

Model Download URLVariable

GGML Model Binary.

Cible: MODEL_DOWNLOAD_URL
Défaut: https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin

Model DirectoryPathrw

The local model directory to use as a cache

Cible: /models
Défaut: /mnt/user/appdata/models

Web UIPorttcp

Chat UI Port

Cible: 3000
Défaut: 3000

API PortPorttcp

HTTP API Port

Cible: 8000
Défaut: 8000

Number Of GPU LayersVariable

Layers to offload to GPU. Update this number if server fails to load.

Cible: N_GPU_LAYERS
Valeur: 12

Catégories

AI Home Automation Productivity Tools > Utilities

Liens

Modèle Soutien GHCR Proprojet

Détails

Référentiel

ghcr.io/edgar971/open-chat-cuda:v1.0.6

Registre

https://registry.hub.docker.com/r/ghcr.io/edgar971/open-chat-cuda

Dernière mise à jour2026-06-01

Première vue2023-09-06

Exécutez OpenChat-Cuda sur Unraid.

OpenChat-Cuda est listé dans Community Apps pour Unraid OS. Explorez Unraid pour créer un serveur domestique flexible, un NAS ou un laboratoire domestique.

Explorez Unraid OS