ollama-intel-gpu
ollama-intel-gpu
Application Docker from SpaceInvaderOne's Repository
Vue d'ensemble
Exigences
Arguments d'exécution
- Interface utilisateur Web
http://[IP]:[PORT:11434]/- Réseau
bridge- Coquille
bash- Privilégié
- false
- Paramètres supplémentaires
--device=/dev/dri
Configuration du modèle
Path on the host for persistent model storage. Models are large (4-20 GB each).
- Cible
- /root/.ollama
- Défaut
- /mnt/user/appdata/ollama-intel-gpu
- Valeur
- /mnt/user/appdata/ollama-intel-gpu
Port for the Ollama API.
- Cible
- 11434
- Défaut
- 11434
- Valeur
- 11434
Allowed origins for CORS. Set to * to allow Open WebUI and other frontends to connect.
- Défaut
- *
- Valeur
- *
Select which Intel GPU to use. Use level_zero:0 for the first GPU. Change only if you have multiple Intel GPUs.
- Défaut
- level_zero:0
- Valeur
- level_zero:0
Number of parallel inference requests. Set to 1 for 12 GB VRAM cards (B580). Increase only if you have more VRAM.
- Défaut
- 1
- Valeur
- 1
Context window size in tokens. Larger values use more VRAM. Default 4096 is a good balance for 12 GB cards.
- Défaut
- 4096
- Valeur
- 4096
How long to keep a model loaded in VRAM after the last request. Use 5m for 5 minutes, -1 for forever, 0 to unload immediately.
- Défaut
- 5m
- Valeur
- 5m
Catégories
Télécharger les statistiques
Détails
spaceinvaderone/ollama-intel-gpuExécutez ollama-intel-gpu sur Unraid.
ollama-intel-gpu est listé dans Community Apps pour Unraid OS. Explorez Unraid pour créer un serveur domestique flexible, un NAS ou un laboratoire domestique.