gpt4all
Docker-Anwendung from grtgbln's Repository
Übersicht
An all-in-one LLM server and chat UI
Anforderungen
Requires an Nvidia GPU.
In **Post Arguments**, replace `$MODEL` with the model you want to host and `$NUM_SHARD` with the number of shards you want to use (recommended: 1).
Laufzeit-Argumente
- Netzwerk
bridge- Privilegiert
- true
- Extra Params
--gpus all --shm-size 1g
Konfiguration der Vorlage
HuggingFace TokenVariable
The HuggingFace token to use
- Ziel
- HUGGING_FACE_HUB_TOKEN
API PortPorttcp
Container Port: 8080
- Ziel
- 80
- Standard
- 8080
- Wert
- 8080
Data PathPathrw
Data directory
- Ziel
- /data
- Standard
- /mnt/user/appdata/gpt4all/data
- Wert
- /mnt/user/appdata/gpt4all/data
Use flash attentionVariable
Use flash attention
- Ziel
- USE_FLASH_ATTENTION
- Standard
- false|true
Kategorien
Einzelheiten
Repository
ghcr.io/huggingface/text-generation-inference:latestRegistry
Zuletzt aktualisiert2026-05-31
Erstmals gesehen2024-07-11
Führen Sie Gpt4all auf Unraid aus.
Gpt4all ist gelistet in Community Apps für Unraid OS. Erkunden Sie Unraid, um einen flexiblen Heimserver, ein NAS oder ein Heimlabor aufzubauen.