DreamServer 是什么?

Dream Server 是一个一条命令部署的自托管本地 AI 全栈平台:用分层 Docker Compose 预接好 24 个服务——llama-server(LLM 推理)、Open WebUI(聊天)、whisper(语音转文字)、Kokoro(文字转语音)、n8n(工作流)、ComfyUI(图像生成)、TEI 嵌入 + RAG、SearXNG 搜索等,安装器自动检测 GPU(NVIDIA/AMD Strix Halo/Apple Silicon/Intel Arc)、选模型、生成凭证、拉起整套,无云、无订阅。

⭐ 1,750 Stars 🍴 268 Forks Shell Apache-2.0 作者: Light-Heart-Labs
来源:README 首段 + What's In The Box + ARCHITECTURE.md(24 服务) 查看 GitHub 仓库 →

为什么值得关注

想自己跑本地 AI 的人面对的现实是:要把十几个项目(推理引擎、聊天 UI、语音、工作流、RAG、画图)拼起来、手写 Docker 配置、调 CUDA 驱动,多数人调到崩溃就回去付 OpenAI 了。Dream Server 把这件事做成「一条命令」:DREAMGATE 安装器自动检测 GPU、选合适模型、生成凭证、编排全部服务,所有组件开箱即通。它的工程亮点是分层 compose 模型(base 核心服务 + GPU 专属 overlay + 扩展 compose)+ registry 驱动的 dream-cli 管生命周期,硬件自检覆盖 NVIDIA/AMD Strix Halo 统一内存/Apple Silicon Metal/Intel Arc SYCL 四类,跨 Linux/Windows(WSL2)/macOS。每个服务都是可插拔扩展(dream enable),还能切云/混合模式(OpenAI/Anthropic/Together)。在「本地 AI 一键全家桶」这条线上,它把硬件适配和服务编排的脏活做得相当完整。

来源:README 'Why Dream Server' / Hardware Auto-Detection / Extensibility

核心功能

一条命令部署 24 服务全栈

DREAMGATE 安装器(install.sh / install.ps1 / dream-macos.sh)一条命令:检测 GPU、选模型、生成凭证、拉起全部服务、建 Dashboard 快捷方式。覆盖聊天/推理、agent/自动化、语音、搜索、RAG、图像生成、隐私工具、可观测、开发者工具,全部预接好开箱互通。

来源:README Why / Installation + ARCHITECTURE.md(24 service manifests)
核心服务栈(llama-server + Open WebUI + 语音 + n8n + ComfyUI + RAG)

llama-server(高性能 LLM 推理,continuous batching,Linux Docker 默认 :11434/容器 :8080)、Open WebUI(:3000,聊天+历史+网搜+文档上传+30 语言)、whisper(STT :9000)、Kokoro TTS(:8880)、n8n(工作流 :5678)、ComfyUI(图像生成 :8188)、TEI 嵌入 + RAG pipeline、SearXNG 搜索。

来源:README What's In The Box + ARCHITECTURE.md(端口/服务图)
硬件自动检测(NVIDIA/AMD/Apple/Intel)

安装器自动识别并配置加速路径:NVIDIA(CUDA + Docker GPU passthrough)、AMD Strix Halo(统一内存,平台专属加速路径)、Apple Silicon M1+(llama-server 原生 Metal、其余服务跑 Docker)、Intel Arc(Linux SYCL)。按显存/统一内存自动挑模型大小。

来源:README Hardware Auto-Detection 节
分层 Compose 架构 + dream-cli

架构是分层 compose:base compose 定义核心服务、GPU overlay 配硬件加速、扩展 compose 加可选服务;registry 驱动的 dream-cli 管理整个生命周期(status/enable 等)。这套分层让「同一套服务跨不同 GPU/平台」可维护。

来源:ARCHITECTURE.md(layered compose model + registry-driven CLI)
服务即扩展(可插拔 moddable)

每个服务都是一个扩展——丢进一个文件夹、dream enable 即启用。这套可插拔设计让用户按需增减服务、自定义栈,而不必改核心。

来源:README Extensibility / Why(Fully moddable)
云/混合模式 + 跨平台 + 隐私优先

无 GPU 也能跑——云模式用 OpenAI/Anthropic/Together API 撑同一套全栈,云/混合模式可选。跨 Linux(NVIDIA+AMD+Intel Arc)/Windows(Docker Desktop+WSL2)/macOS(Apple Silicon + Docker)。默认本地优先、无云无订阅、自动生成凭证,带 SECURITY_AUDIT。

来源:README Why / 平台支持表 / Bootstrap Mode

技术架构

Dream Server 是个「编排层」而非自研推理:核心资产是围绕 24 个 bundled service manifest 的分层 Docker Compose 配置(base 核心 + GPU 专属 overlay + 扩展 compose)+ 少量 host-managed helper(如 macOS 原生 llama-server)。dream-server/(1130 文件)是这些 compose、服务清单、配置和 dream-cli 的本体;installer/(59)是各平台安装器(DREAMGATE);用 Shell 写安装/编排逻辑(仓库主语言 Shell)。运行模型:安装器检测 GPU → 选 GPU overlay 和模型 → 生成凭证 → docker compose 拉起 base + overlay + 启用的扩展;服务间预接好(Open WebUI 连 llama-server/ComfyUI/whisper/TTS/SearX,dream-api 连 llama/n8n);registry 驱动的 dream-cli 管生命周期。测试面分层:CI + tower2 Docker 容器覆盖发行版安装逻辑、Incus VM 覆盖 systemd+Docker 行为、真实硬件 fleet 作为 NVIDIA/AMD/Apple GPU 运行时的发布门。设计判断:把「拼装本地 AI 栈」的脏活(硬件检测 + GPU overlay + 服务编排 + 凭证)封装成一条命令、用分层 compose 解决「同栈跨多 GPU/平台」、用扩展机制保持可插拔,是非常贴合「让普通人也能跑本地 AI」目标的工程;它本身不发明推理或模型,价值在编排与硬件适配的完整度,因此质量高度依赖所 bundle 的上游项目(llama.cpp/Open WebUI/ComfyUI/n8n 等)。

来源:ARCHITECTURE.md + tree(dream-server/installer)+ README

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) llama.cpp(llama-server)— LLM 推理;Open WebUI — 聊天 UIllama.cpp(lla… whisper — STT;Kokoro — TTSwhisper n8n — 工作流自动化;ComfyUI — 图像生成n8n TEI 嵌入 + RAG pipeline;SearXNG — 搜索TEI 嵌入 + RAG… Docker / Docker Desktop(Win 需 WSL2,mac 需 Apple Silicon)Docker / Docke… 一条命令部署 24 服务全栈一条命令部署 24 服务… 核心服务栈(llama-server + Open WebUI + 语音 + n8n + ComfyUI + RAG)核心服务栈(llama-se… 硬件自动检测(NVIDIA/AMD/Apple/Intel)硬件自动检测(NVIDIA/… 分层 Compose 架构 + dream-cli分层 Compose 架构 +… 服务即扩展(可插拔 moddable)服务即扩展(可插拔 mo… 云/混合模式 + 跨平台 + 隐私优先云/混合模式 + 跨平台… DreamServer 项目本体 核心功能 关键依赖

中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成

技术栈

语言Shell(安装/编排)+ YAML(Docker Compose / 服务清单)框架分层 Docker Compose(base + GPU overlay + 扩展)+ registry 驱动的 dream-cli
llama.cpp(llama-server)— LLM 推理;Open…whispern8nTEI 嵌入 + RAG pipeline;SearXNGDocker / Docker Desktop(Win 需 WSL2,m…
Docker Compose 编排,跨 Linux/Windows(WSL2)/macOS(Apple Silicon);GPU 加速 NVIDIA CUDA / AMD Strix Halo 统一内存 / Apple Metal / Intel Arc SYCL;可选云模式(OpenAI/Anthropic/Together);自动生成凭证 + SECURITY_AUDIT + gitleaks;Apache-2.0;端口默认 WebUI :3000 / llama :11434(Linux) 或 :8080(mac/win)
来源:ARCHITECTURE.md + README + topics

快速上手

# Linux / Windows / macOS 各有一键安装器(先装好 Docker Desktop 并运行) # Linux: curl -fsSL | bash # 见 README # Windows(需 Docker Desktop + WSL2): # 跑 install.ps1 # macOS(需 Apple Silicon + Docker Desktop): # 跑 dream-macos.sh # 安装器自动:检测 GPU → 选模型 → 生成凭证 → 拉起全部服务 → 建 Dashboard 快捷方式 # 访问 # Open WebUI 聊天: http://localhost:3000 # llama-server API: http://localhost:11434 (Linux Docker) 或 :8080 (mac/win 原生) # 管理(dream-cli) dream status # 查看服务状态 dream enable # 启用某扩展服务 # Windows: .\dream-server\installers\windows\dream.ps1 status # macOS: ./dream-macos.sh status # 无 GPU:用云模式(OpenAI/Anthropic/Together),同一套全栈
来源:README Installation / Bootstrap Mode / dream-cli 原文

使用场景

1. 想跑本地 AI 但不想调 CUDA/写 Docker 的人:一条命令拿到聊天、语音、画图、工作流、RAG 全栈,无需手动拼十几个项目;2. 隐私/离线场景:代码和数据留本机、无云无订阅,适合敏感数据或断网环境;3. 多硬件用户:NVIDIA/AMD Strix Halo/Apple Silicon/Intel Arc 都自动适配,换机器不用重配;4. 本地工作流自动化:用内置 n8n + llama-server 搭本地 AI 工作流,用 ComfyUi 做本地图像生成;5. 自定义 AI 栈:用扩展机制(dream enable)按需增减服务、搭自己的本地 AI 平台;6. 无 GPU 过渡:先用云模式跑同一套全栈,之后加 GPU 再切本地。

来源:README Why / What's In The Box / Extensibility / Bootstrap Mode

优势与局限

优势

  • 把本地 AI 拼装的脏活一键化:GPU 检测 + 模型选择 + 凭证生成 + 24 服务编排全自动,真正降低了「自己跑本地 AI」的门槛,直击「调到崩溃回去付 OpenAI」的痛点
  • 硬件适配覆盖全:NVIDIA CUDA / AMD Strix Halo 统一内存 / Apple Silicon Metal / Intel Arc SYCL 四类 GPU + 跨 Linux/Windows/macOS,分层 compose(base+overlay+扩展)让同栈跨平台可维护
  • 栈选型主流且完整:llama.cpp + Open WebUI + whisper + Kokoro + n8n + ComfyUI + TEI/RAG + SearXNG,都是各领域当红开源项目,预接好开箱互通
  • 可插拔 + 隐私优先:每个服务是扩展(dream enable),本地优先无云无订阅、自动生成凭证、带 SECURITY_AUDIT 和 gitleaks,云/混合模式可选作为退路
  • 测试与发布严谨:CI + tower2 Docker 容器测安装逻辑 + Incus VM 测 systemd/Docker + 真实硬件 fleet 作发布门,对一个部署编排项目而言验证面相当认真

局限

  • 质量依赖上游项目:本身不发明推理/模型,是编排层,整体体验取决于所 bundle 的 llama.cpp/Open WebUI/ComfyUI/n8n 等上游的质量与版本兼容,上游升级或破坏性变更会波及整栈
  • 可维护性 / 复杂度:24 个服务 + 多 GPU overlay + 多平台安装器,组合爆炸式的兼容矩阵,dream-server/ 1130 文件主要是 compose/配置,长期维护各硬件×各服务的组合是重负担
  • 资源门槛:全栈同跑(推理 + 画图 ComfyUI + 嵌入 + n8n + 语音)对显存/内存/磁盘要求高,低配机难以同时开满;模型自动选择缓解但重型服务仍吃资源
  • 稳定性 / 平台差异:Windows 必须 Docker Desktop + WSL2、macOS 必须 Apple Silicon,端口在不同平台不一致(llama :11434 vs :8080),AMD Strix Halo 走平台专属路径,跨平台一致性需实测
  • 可测试性局限:真实硬件 fleet 是发布门说明 GPU 运行时无法纯 CI 覆盖,用户的具体 GPU/驱动组合可能遇到未覆盖的边界;安装器是 Shell,复杂环境下的失败排查成本不低
  • 安全面:一键拉起多服务 + 自动生成凭证 + 暴露多个本地端口(3000/8080/8188/5678 等),若误暴露到公网风险大,SECURITY_AUDIT 有但用户仍需自己确认网络边界
来源:综合 README + ARCHITECTURE.md + tree + topics

最新版本

v2.5.0(2026-05-21)。3 个主要 release:v1.0.0 (2026-02-22) → v2.0.0 (2026-03-04) → v2.5.0 (2026-05-21)。仓库 2026-02-09 创建,2.x 线持续迭代,pushed 到 2026-05-21 活跃。具体变更以 release notes 为准。

来源:GitHub Releases API(3 个 tag)

总结评价

如果你想跑本地 AI 但不想花一个周末拼 Docker、调 CUDA,Dream Server 是目前一键化做得最完整的自托管全家桶:一条命令装好 llama.cpp + Open WebUI + ComfyUI + n8n + 语音 + RAG 等 24 个服务,自动适配 NVIDIA/AMD/Apple/Intel 四类 GPU。务实建议:1) 先确认硬件够——全栈同跑对显存/内存/磁盘要求不低,低配机建议只 enable 需要的服务而非全开;2) 装前先把 Docker Desktop(Win 要 WSL2、mac 要 Apple Silicon)跑起来;3) 它是编排层,体验质量取决于上游项目(Open WebUI/ComfyUI 等),遇到具体功能问题往往要查对应上游;4) 多个本地端口默认暴露(3000/8188/5678 等),务必确认不要误暴露到公网,自托管的网络边界自己负责;5) 没 GPU 可先用云模式过渡;6) AMD Strix Halo / Intel Arc 等较新路径建议查支持矩阵并实测,真实硬件组合是该项目的发布门、也最容易遇边界。

来源:综合分析
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间: 2026-05-22 10:23. 质量评分: 100/100.

数据来源:README、GitHub API、依赖文件