Vue d'ensemble

Inference of Meta's LLaMA model (and others) in pure C/C++

Exigences

        The image for this container is several gigabytes. If you receive a "no space left on device" warning during installation, please increase the vDisk size in your Docker settings.
        This container expects a "model.gguf" file to be present in the model storage path.
        If you are using an Nvidia GPU, add "--gpus all" to the Extra Parameters field under Advanced.

Arguments d'exécution

Interface utilisateur Web: http://[IP]:[PORT:8000]/
Réseau: bridge
Privilégié: false

Configuration du modèle

WebUIPorttcp

Container Port: 8000

Cible: 8000
Défaut: 8000
Valeur: 8000

Model Storage PathPathrw

Storage for model

Cible: /models
Défaut: /mnt/user/appdata/llama_cpp/model
Valeur: /mnt/user/appdata/llama_cpp/model

Catégories

AI Productivity Tools > Utilities Other

Liens

Modèle Soutien GHCR Proprojet

Détails

Référentiel

ghcr.io/ggml-org/llama.cpp:full

Registre

https://registry.hub.docker.com/r/ghcr.io/ggml-org/llama.cpp

Dernière mise à jour2026-06-01

Première vue2026-02-24

Exécutez llama.cpp sur Unraid.

llama.cpp est listé dans Community Apps pour Unraid OS. Explorez Unraid pour créer un serveur domestique flexible, un NAS ou un laboratoire domestique.

Explorez Unraid OS