JoyAI-Image 是什么?

JoyAI-Image 是京东开源的图像多模态模型项目,当前可用重点是指令式单图编辑、Edit-Plus 多图编辑、理解骨干以及 Diffusers/ComfyUI 接入。它不是在线修图 SaaS;用户要下载数十 GB 权重并准备 CUDA GPU。仓库采用 Apache-2.0 许可。

⭐ 2,094 Stars 🍴 146 Forks Python Apache-2.0 作者: jd-opensource
来源:github.com/jd-opensource/JoyAI-Image;https://github.com/jd-opensource… 查看 GitHub 仓库 → 📘 使用教程 →

为什么值得关注

官方在 2026-06-23 放出 JoyAI-Image-Edit-Plus,2026-07-17 宣布单图和多图编辑原生进入 ComfyUI,2026-08-05 又发布同系列视频编辑项目。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md

核心功能

空间感知单图编辑

JoyAI-Image-Edit 用 8B 多模态理解骨干解析场景、关系和指令,再由 16B MMDiT 执行区域、视角和物体变化。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://hugg…
多图联合编辑

Edit-Plus 支持多输入图像的组合、一致性保持和联合操作;官方同时提供 Diffusers 与 ComfyUI 格式。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://hugg…
文字与版式处理

项目把中英文长文本、多行排版、漫画格和场景文字作为重点展示项,但展示图不能替代用户自己的准确率测试。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md
两条推理入口

官方仓库提供自有 inference.py,以及 Hugging Face Diffusers pipeline;最新版 ComfyUI 已能原生加载官方打包权重。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://hugg…

技术架构

模型家族用 8B MLLM 处理图像理解、关系定位和指令分解,以 16B 多模态扩散 Transformer 生成编辑结果。官方原生脚本从 checkpoint root 加载理解骨干、transformer 与 Wan2.1 VAE;Diffusers 将这些组件包装成 JoyImageEditPipeline。权重托管在 Hugging Face/ModelScope,首次运行还可能通过 kernels 下载预编译 Flash Attention 3;不匹配时会转为本地编译。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) CUDA-capable GPU;官方未给出一个可覆盖所有模式的最低显存数字CUDA-capable G… 完整单图编辑模型仓库约 50.6 GB,其中旧格式 transformer.pth 约 32.5 GB完整单图编辑模型… kernels 负责预编译 Flash Attention 3;没有匹配二进制时需要源码编译kernels 负责预… 空间感知单图编辑 多图联合编辑 文字与版式处理 两条推理入口 JoyAI-Image 项目本体 核心功能 关键依赖

技术栈

语言Python 3.10+,PyTorch 2.8、Transformers 4.57.x、Diffusers 与 CUDA框架8B MLLM + 16B MMDiT + Wan2.1 VAE;官方脚本、Diffusers、ComfyUI
CUDA-capable GPU;官方未给出一个可覆盖所有模式的最低显存数字完整单图编辑模型仓库约 50.6 GB,其中旧格式 transforme…kernels 负责预编译 Flash Attention 3;没有匹配…
权重从 Hugging Face 或 ModelScope 下载;可选 --rewrite-prompt 会增加外部 LLM 调用,默认关闭;Apache-2.0
来源:github.com/jd-opensource/JoyAI-Image/blob/main/pyproject.toml;https:/…

快速上手

先用独立 Python 3.10 环境安装官方仓库,保持 --rewrite-prompt 关闭,下载 Diffusers 格式单图模型并记录 commit。先用低风险测试图执行固定 seed 的简单改色,核对输入、输出路径和 GPU 峰值,再尝试文字、旋转或多图编辑。不要把旧模型卡中的依赖版本与当前 pyproject 混用,也不要在显存未知时一次加载多套权重。
来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

使用场景

适合有 CUDA 机器、需要私有图像本地编辑、空间变换、中英文文字编辑或多图合成的研究与制作流程。只想浏览器上传后立即出图、显存有限,或要求稳定批量 SLA 的团队,需要另选托管服务或较小模型。涉及人脸、商标和版权素材时仍要单独取得权限。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://hugg…

优势与局限

优势

  • 单图、多图、理解与 ComfyUI 路线由同一官方项目维护
  • 突出关系定位、视角变化和中英文文字编辑,任务边界较清楚
  • 提供官方脚本、Diffusers 与 ComfyUI 三种接入方式
  • 代码与模型卡标为 Apache-2.0,权重可下载到本地

局限

  • 模型体积很大;官方没有给出适用于全部分辨率和模式的最低显存保证
  • 仓库没有 GitHub Release,更新以 main、模型仓库和新闻日期为主,复现时必须记录 commit
  • JoyAI-Image-Edit-Distilled 与文生图主模型在当前 Model Zoo 仍标为待发布,不能当作已可用功能
  • Flash Attention 3 首次使用可能下载额外二进制,不匹配时还会本地编译
  • --rewrite-prompt 默认关闭;开启后会加载 openai 可选依赖并调用所配置的外部模型,带来隐私和费用边界
  • 官方 showcase 和论文指标没有在本站 GPU 上复现,文字准确性、主体一致性和失败率仍需用自己的图集验证
来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

最新版本

仓库没有 GitHub Release。当前应以 2026-08-05 的 README 状态、具体 Git commit 和模型仓库 revision 共同固定环境;Edit-Plus 于 2026-06-23 发布,2026-07-17 单图与多图编辑加入原生 ComfyUI 支持。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

实测与证据

status: docs_and_source_checked_not_executed  |  checked_at: 2026-09-23  |  environment: 核对官方 GitHub README、pyproject、许可证、Hugging Face 模型树、Diffusers/ComfyUI 模型卡和 GitHub releases 页面;未下载权重、安装 CUDA 依赖或运行推理。  |  limitations: 没有验证模型文件哈希、显存、速度、Flash Attention 回退、多 GPU、输出质量、文字准确率、Diffusers main 兼容性或 ComfyUI 工作流。  |  observed_output: 官方 README 的最新新闻到 2026-08-05;Edit-Plus 已发布且两种编辑模型已原生支持 ComfyUI。GitHub releases 页面为空,pyproject 包版本为 0.1.0,要求 Python 3.10+、torch 2.8.0 与 transformers 4.57.x。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

同类项目对比

相比 Qwen-Image-Edit,JoyAI-Image 更强调 8B 理解骨干与 16B MMDiT 协作的空间编辑,并提供单图、Edit-Plus 多图和官方 ComfyUI 权重;Qwen-Image-Edit 同样采用 Apache-2.0,重点是语义/外观双路控制和中英文文字编辑,官方模型树约 57.7 GB。两者都很重,应在同一组原图、指令、seed 和显存限制下比较主体保持、未编辑区域变化、文字错误与耗时。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

总结评价

JoyAI-Image 可保留并持续更新。它没有项目方订阅、充值或转售漏斗,主要成本来自用户自己的 GPU 与可选外部提示重写。适合能承担大权重和 CUDA 运维的人;首次验证优先走官方 Diffusers 单图编辑,关闭 prompt rewrite,记录 commit、模型 revision、seed、显存和失败样例。

来源:github.com/jd-opensource/JoyAI-Image/blob/main/README.md;https://gith…

常见问题

JoyAI-Image 能直接做文生图吗?

项目目标包含文生图,但当前官方 Model Zoo 仍把 JoyAI-Image 文生图主模型列为 To be released。现在可直接核对和下载的重点是理解、单图编辑与 Edit-Plus 多图编辑。

运行 JoyAI-Image 至少要多少显存?

官方只明确要求 CUDA-capable GPU,没有给出覆盖所有分辨率、步骤和模型格式的统一最低显存。权重本身为数十 GB,应先下载一个模型、降低并发,并在目标机器记录峰值后再扩容。

Diffusers 和 ComfyUI 应该选哪个?

需要写 Python、固定 seed 和做批量评测时选 Diffusers;已有节点式工作流、想交互调参时选 ComfyUI。两条路线都应使用官方模型卡给出的权重布局,避免把旧版转换文件混在一起。

--rewrite-prompt 会不会把提示发到外部?

这个参数默认关闭。开启后会使用可选 openai 依赖和所配置的重写模型,提示内容会进入对应外部服务,并可能产生费用;含私密图像说明或内部素材时应保持关闭。

为什么教程不直接保证生成质量?

官方展示和论文可以说明设计目标,但本站没有下载模型并复现实验。主体一致性、文字正确率和未编辑区域变化会受输入、seed、步骤、精度与显卡影响,应使用自己的测试集判断。

资料与核验范围
本文依据项目公开资料整理。版本、安装命令和功能边界可能随上游更新,请以所列来源和项目当前版本为准。 资料核对时间: 2026-09-23 13:55.

参考材料:README、GitHub API、依赖文件