Visión general

An all-in-one LLM server and chat UI

Requisitos

        Requires an Nvidia GPU.


        In **Post Arguments**, replace `$MODEL` with the model you want to host and `$NUM_SHARD` with the number of shards you want to use (recommended: 1).

Argumentos en tiempo de ejecución

Red: bridge
Privilegiado: true
Parámetros adicionales: --gpus all --shm-size 1g

Configuración de plantillas

HuggingFace TokenVariable

The HuggingFace token to use

Objetivo: HUGGING_FACE_HUB_TOKEN

API PortPorttcp

Container Port: 8080

Objetivo: 80
Por defecto: 8080
Valor: 8080

Data PathPathrw

Data directory

Objetivo: /data
Por defecto: /mnt/user/appdata/gpt4all/data
Valor: /mnt/user/appdata/gpt4all/data

Use flash attentionVariable

Use flash attention

Objetivo: USE_FLASH_ATTENTION
Por defecto: false|true

Categorías

AI Productivity Tools > Utilities Other

Enlaces

Plantilla Ayuda Registro Project

Detalles

Repositorio

ghcr.io/huggingface/text-generation-inference:latest

Registro

https://github.com/huggingface/text-generation-inference/pkgs/container/text-generation-inference

Última actualización2026-05-31

Visto por primera vez2024-07-11

Ejecute Gpt4all en Unraid.

Gpt4all se encuentra en Community Apps para Unraid OS. Explore Unraid para crear un servidor doméstico flexible, un NAS o un laboratorio doméstico.

Explore Unraid OS