循序图谱
按基础、核心、扩展、高阶组织章节,适合按路径学习,也可以按主题查阅。
transformer.ngjoo.com · ONLINE
把 Transformer 的关键机制整理成 4 篇、33 章的纵深学习路径,从注意力机制一路延伸到 KV Cache、MoE、LoRA 与量化。
按基础、核心、扩展、高阶组织章节,适合按路径学习,也可以按主题查阅。
用数据流和实现视角解释 Q/K/V、掩码、多头注意力、位置编码与生成采样。
关键机制连接论文、历史实现或教学源码,明确参考范围与许可证。
适合希望按路径学习 Transformer,也需要按主题回查注意力、位置编码、KV Cache、MoE、LoRA 或量化的人。
它是学习图谱,不是模型训练平台;章节解释应与所引论文和实现一起阅读。
内容按 4 篇、33 章组织,从注意力、掩码和位置编码等基础概念,逐步延伸到 KV Cache、MoE、LoRA、量化与推理优化。章节顺序适合第一次系统学习;已经在调试具体问题的人,也可以把它当作目录,直接回到相关机制。
图谱从数据流和实现视角解释 Q、K、V、多头注意力和生成采样,但教学示意并不等于某个框架当前版本的源码。准备实现时,应沿页面引用回到论文、历史实现或教学代码,再核对张量形状、缓存策略和软件版本。
KV Cache、量化或路由策略对速度、显存和精度的影响依赖模型、序列长度、硬件与运行库。本站没有统一环境下的当前基准,因此不提供固定加速或节省数字。学习页说明机制,生产选型仍需要在目标环境做可复现测试。
第一次系统学习可以从注意力、掩码和位置编码顺序进入;排查显存或推理速度时,可直接查看 KV Cache、量化和推理优化章节。两种路径都应回到章节引用,而不是只记住导图节点。
选一个熟悉的框架实现,对照页面说明检查张量形状、掩码方向、缓存更新和采样参数。教学图解释机制,不承诺与某个框架当前版本的类名、默认值或内核实现逐项相同。
量化、MoE 或缓存策略的收益要在实际模型、序列长度、批量大小、硬件和运行库上测量。记录基线、版本与峰值显存后再比较,不能把章节中的机制说明换算成固定加速比例。
每学完一章,可以用一段最小代码或张量形状手算验证关键步骤,再把结果与引用资料对照。若实现与讲解不同,先检查框架版本和默认参数,不把差异直接解释成页面或代码错误。
2026-09-23 检查公开入口,学习页面无需登录即可访问。
当前依据均为第一方材料:部署记录、产品文档和核对时的入口状态。没有可用的独立评测;入口可访问只证明当时能够到达,不证明性能、准确率、节省比例或长期可用性。