Visión general

A self-hosted, offline, ChatGPT-like chatbot with open source LLM support. 100% private, with no data leaving your device. Please note that this version requires an NVIDIA GPU with the Unraid NVIDIA-DRIVER plugin.

Argumentos en tiempo de ejecución

Interfaz web: http://[IP]:[PORT:3000]/
Red: bridge
Concha: sh
Privilegiado: false
Parámetros adicionales: --gpus all

Configuración de plantillas

Local Model PathVariable

The local model path

Objetivo: MODEL
Por defecto: /models/llama-2-7b-chat.bin

Model Download URLVariable

GGML Model Binary.

Objetivo: MODEL_DOWNLOAD_URL
Por defecto: https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin

Model DirectoryPathrw

The local model directory to use as a cache

Objetivo: /models
Por defecto: /mnt/user/appdata/models

Web UIPorttcp

Chat UI Port

Objetivo: 3000
Por defecto: 3000

API PortPorttcp

HTTP API Port

Objetivo: 8000
Por defecto: 8000

Number Of GPU LayersVariable

Layers to offload to GPU. Update this number if server fails to load.

Objetivo: N_GPU_LAYERS
Valor: 12

Categorías

AI Home Automation Productivity Tools > Utilities

Enlaces

Plantilla Ayuda GHCR Project

Detalles

Repositorio

ghcr.io/edgar971/open-chat-cuda:v1.0.6

Registro

https://registry.hub.docker.com/r/ghcr.io/edgar971/open-chat-cuda

Última actualización2026-06-01

Visto por primera vez2023-09-06

Ejecute OpenChat-Cuda en Unraid.

OpenChat-Cuda se encuentra en Community Apps para Unraid OS. Explore Unraid para crear un servidor doméstico flexible, un NAS o un laboratorio doméstico.

Explore Unraid OS