gpt4all
Application Docker from grtgbln's Repository
Vue d'ensemble
An all-in-one LLM server and chat UI
Exigences
Requires an Nvidia GPU.
In **Post Arguments**, replace `$MODEL` with the model you want to host and `$NUM_SHARD` with the number of shards you want to use (recommended: 1).
Arguments d'exécution
- Réseau
bridge- Privilégié
- true
- Paramètres supplémentaires
--gpus all --shm-size 1g
Configuration du modèle
HuggingFace TokenVariable
The HuggingFace token to use
- Cible
- HUGGING_FACE_HUB_TOKEN
API PortPorttcp
Container Port: 8080
- Cible
- 80
- Défaut
- 8080
- Valeur
- 8080
Data PathPathrw
Data directory
- Cible
- /data
- Défaut
- /mnt/user/appdata/gpt4all/data
- Valeur
- /mnt/user/appdata/gpt4all/data
Use flash attentionVariable
Use flash attention
- Cible
- USE_FLASH_ATTENTION
- Défaut
- false|true
Catégories
Détails
Référentiel
ghcr.io/huggingface/text-generation-inference:latestRegistre
Dernière mise à jour2026-05-31
Première vue2024-07-11
Exécutez Gpt4all sur Unraid.
Gpt4all est listé dans Community Apps pour Unraid OS. Explorez Unraid pour créer un serveur domestique flexible, un NAS ou un laboratoire domestique.