gpt4all

概述

An all-in-one LLM server and chat UI

要求

        Requires an Nvidia GPU.


        In **Post Arguments**, replace `$MODEL` with the model you want to host and `$NUM_SHARD` with the number of shards you want to use (recommended: 1).

运行时参数

网络: bridge
特权: true
额外参数: --gpus all --shm-size 1g

模板配置

HuggingFace TokenVariable

The HuggingFace token to use

目标: HUGGING_FACE_HUB_TOKEN

API PortPorttcp

Container Port: 8080

目标: 80
默认值: 8080
价值: 8080

Data PathPathrw

Data directory

目标: /data
默认值: /mnt/user/appdata/gpt4all/data
价值: /mnt/user/appdata/gpt4all/data

Use flash attentionVariable

Use flash attention

目标: USE_FLASH_ATTENTION
默认值: false|true

类别

AI Productivity Tools > Utilities Other

链接

模板支持登记处 Pro连接

详细信息

存储库

ghcr.io/huggingface/text-generation-inference:latest

登记处

https://github.com/huggingface/text-generation-inference/pkgs/container/text-generation-inference

最后更新2026-05-31

初见2024-07-11

在Unraid 上运行 Gpt4all 。

Gpt4all 已被列入Unraid OS 的社区应用程序。探索Unraid ，构建灵活的家庭服务器、NAS 或家庭实验室。

探索Unraid OS