llama.cpp

llama.cpp

Aplicación Docker from grtgbln's Repository

Visión general

Inference of Meta's LLaMA model (and others) in pure C/C++

Requisitos


        The image for this container is several gigabytes. If you receive a "no space left on device" warning during installation, please increase the vDisk size in your Docker settings.
        This container expects a "model.gguf" file to be present in the model storage path.
        If you are using an Nvidia GPU, add "--gpus all" to the Extra Parameters field under Advanced.
    

Argumentos en tiempo de ejecución

Interfaz web
http://[IP]:[PORT:8000]/
Red
bridge
Privilegiado
false

Configuración de plantillas

WebUIPorttcp

Container Port: 8000

Objetivo
8000
Por defecto
8000
Valor
8000
Model Storage PathPathrw

Storage for model

Objetivo
/models
Por defecto
/mnt/user/appdata/llama_cpp/model
Valor
/mnt/user/appdata/llama_cpp/model

Detalles

Repositorio
ghcr.io/ggml-org/llama.cpp:full
Última actualización2026-06-02
Visto por primera vez2026-02-24

Ejecute llama.cpp en Unraid.

llama.cpp se encuentra en Community Apps para Unraid OS. Explore Unraid para crear un servidor doméstico flexible, un NAS o un laboratorio doméstico.