Dream Server 是一个一条命令部署的自托管本地 AI 全栈平台:用分层 Docker Compose 预接好 24 个服务——llama-server(LLM 推理)、Open WebUI(聊天)、whisper(语音转文字)、Kokoro(文字转语音)、n8n(工作流)、ComfyUI(图像生成)、TEI 嵌入 + RAG、SearXNG 搜索等,安装器自动检测 GPU(NVIDIA/AMD Strix Halo/Apple Silicon/Intel Arc)、选模型、生成凭证、拉起整套,无云、无订阅。
来源:README 首段 + What's In The Box + ARCHITECTURE.md(24 服务) 查看 GitHub 仓库 →想自己跑本地 AI 的人面对的现实是:要把十几个项目(推理引擎、聊天 UI、语音、工作流、RAG、画图)拼起来、手写 Docker 配置、调 CUDA 驱动,多数人调到崩溃就回去付 OpenAI 了。Dream Server 把这件事做成「一条命令」:DREAMGATE 安装器自动检测 GPU、选合适模型、生成凭证、编排全部服务,所有组件开箱即通。它的工程亮点是分层 compose 模型(base 核心服务 + GPU 专属 overlay + 扩展 compose)+ registry 驱动的 dream-cli 管生命周期,硬件自检覆盖 NVIDIA/AMD Strix Halo 统一内存/Apple Silicon Metal/Intel Arc SYCL 四类,跨 Linux/Windows(WSL2)/macOS。每个服务都是可插拔扩展(dream enable),还能切云/混合模式(OpenAI/Anthropic/Together)。在「本地 AI 一键全家桶」这条线上,它把硬件适配和服务编排的脏活做得相当完整。
来源:README 'Why Dream Server' / Hardware Auto-Detection / ExtensibilityDREAMGATE 安装器(install.sh / install.ps1 / dream-macos.sh)一条命令:检测 GPU、选模型、生成凭证、拉起全部服务、建 Dashboard 快捷方式。覆盖聊天/推理、agent/自动化、语音、搜索、RAG、图像生成、隐私工具、可观测、开发者工具,全部预接好开箱互通。
来源:README Why / Installation + ARCHITECTURE.md(24 service manifests)llama-server(高性能 LLM 推理,continuous batching,Linux Docker 默认 :11434/容器 :8080)、Open WebUI(:3000,聊天+历史+网搜+文档上传+30 语言)、whisper(STT :9000)、Kokoro TTS(:8880)、n8n(工作流 :5678)、ComfyUI(图像生成 :8188)、TEI 嵌入 + RAG pipeline、SearXNG 搜索。
来源:README What's In The Box + ARCHITECTURE.md(端口/服务图)安装器自动识别并配置加速路径:NVIDIA(CUDA + Docker GPU passthrough)、AMD Strix Halo(统一内存,平台专属加速路径)、Apple Silicon M1+(llama-server 原生 Metal、其余服务跑 Docker)、Intel Arc(Linux SYCL)。按显存/统一内存自动挑模型大小。
来源:README Hardware Auto-Detection 节架构是分层 compose:base compose 定义核心服务、GPU overlay 配硬件加速、扩展 compose 加可选服务;registry 驱动的 dream-cli 管理整个生命周期(status/enable 等)。这套分层让「同一套服务跨不同 GPU/平台」可维护。
来源:ARCHITECTURE.md(layered compose model + registry-driven CLI)每个服务都是一个扩展——丢进一个文件夹、dream enable 即启用。这套可插拔设计让用户按需增减服务、自定义栈,而不必改核心。
来源:README Extensibility / Why(Fully moddable)无 GPU 也能跑——云模式用 OpenAI/Anthropic/Together API 撑同一套全栈,云/混合模式可选。跨 Linux(NVIDIA+AMD+Intel Arc)/Windows(Docker Desktop+WSL2)/macOS(Apple Silicon + Docker)。默认本地优先、无云无订阅、自动生成凭证,带 SECURITY_AUDIT。
来源:README Why / 平台支持表 / Bootstrap ModeDream Server 是个「编排层」而非自研推理:核心资产是围绕 24 个 bundled service manifest 的分层 Docker Compose 配置(base 核心 + GPU 专属 overlay + 扩展 compose)+ 少量 host-managed helper(如 macOS 原生 llama-server)。dream-server/(1130 文件)是这些 compose、服务清单、配置和 dream-cli 的本体;installer/(59)是各平台安装器(DREAMGATE);用 Shell 写安装/编排逻辑(仓库主语言 Shell)。运行模型:安装器检测 GPU → 选 GPU overlay 和模型 → 生成凭证 → docker compose 拉起 base + overlay + 启用的扩展;服务间预接好(Open WebUI 连 llama-server/ComfyUI/whisper/TTS/SearX,dream-api 连 llama/n8n);registry 驱动的 dream-cli 管生命周期。测试面分层:CI + tower2 Docker 容器覆盖发行版安装逻辑、Incus VM 覆盖 systemd+Docker 行为、真实硬件 fleet 作为 NVIDIA/AMD/Apple GPU 运行时的发布门。设计判断:把「拼装本地 AI 栈」的脏活(硬件检测 + GPU overlay + 服务编排 + 凭证)封装成一条命令、用分层 compose 解决「同栈跨多 GPU/平台」、用扩展机制保持可插拔,是非常贴合「让普通人也能跑本地 AI」目标的工程;它本身不发明推理或模型,价值在编排与硬件适配的完整度,因此质量高度依赖所 bundle 的上游项目(llama.cpp/Open WebUI/ComfyUI/n8n 等)。
来源:ARCHITECTURE.md + tree(dream-server/installer)+ README中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成
llama.cpp(llama-server)— LLM 推理;Open…whispern8nTEI 嵌入 + RAG pipeline;SearXNGDocker / Docker Desktop(Win 需 WSL2,m…1. 想跑本地 AI 但不想调 CUDA/写 Docker 的人:一条命令拿到聊天、语音、画图、工作流、RAG 全栈,无需手动拼十几个项目;2. 隐私/离线场景:代码和数据留本机、无云无订阅,适合敏感数据或断网环境;3. 多硬件用户:NVIDIA/AMD Strix Halo/Apple Silicon/Intel Arc 都自动适配,换机器不用重配;4. 本地工作流自动化:用内置 n8n + llama-server 搭本地 AI 工作流,用 ComfyUi 做本地图像生成;5. 自定义 AI 栈:用扩展机制(dream enable)按需增减服务、搭自己的本地 AI 平台;6. 无 GPU 过渡:先用云模式跑同一套全栈,之后加 GPU 再切本地。
来源:README Why / What's In The Box / Extensibility / Bootstrap Modev2.5.0(2026-05-21)。3 个主要 release:v1.0.0 (2026-02-22) → v2.0.0 (2026-03-04) → v2.5.0 (2026-05-21)。仓库 2026-02-09 创建,2.x 线持续迭代,pushed 到 2026-05-21 活跃。具体变更以 release notes 为准。
来源:GitHub Releases API(3 个 tag)如果你想跑本地 AI 但不想花一个周末拼 Docker、调 CUDA,Dream Server 是目前一键化做得最完整的自托管全家桶:一条命令装好 llama.cpp + Open WebUI + ComfyUI + n8n + 语音 + RAG 等 24 个服务,自动适配 NVIDIA/AMD/Apple/Intel 四类 GPU。务实建议:1) 先确认硬件够——全栈同跑对显存/内存/磁盘要求不低,低配机建议只 enable 需要的服务而非全开;2) 装前先把 Docker Desktop(Win 要 WSL2、mac 要 Apple Silicon)跑起来;3) 它是编排层,体验质量取决于上游项目(Open WebUI/ComfyUI 等),遇到具体功能问题往往要查对应上游;4) 多个本地端口默认暴露(3000/8188/5678 等),务必确认不要误暴露到公网,自托管的网络边界自己负责;5) 没 GPU 可先用云模式过渡;6) AMD Strix Halo / Intel Arc 等较新路径建议查支持矩阵并实测,真实硬件组合是该项目的发布门、也最容易遇边界。
来源:综合分析