← 返回全部项目

transformer.ngjoo.com · ONLINE

Transformer Atlas

把 Transformer 的关键机制整理成 4 篇、33 章的纵深学习路径,从注意力机制一路延伸到 KV Cache、MoE、LoRA 与量化。

内容结构

核心

循序图谱

按基础、核心、扩展、高阶组织章节,适合按路径学习,也可以按主题查阅。

机制拆解

用数据流和实现视角解释 Q/K/V、掩码、多头注意力、位置编码与生成采样。

来源可追

关键机制连接论文、历史实现或教学源码,明确参考范围与许可证。

适合谁

适合希望按路径学习 Transformer,也需要按主题回查注意力、位置编码、KV Cache、MoE、LoRA 或量化的人。

先看边界

它是学习图谱,不是模型训练平台;章节解释应与所引论文和实现一起阅读。

项目怎样工作

说明

图谱怎样组织学习

内容按 4 篇、33 章组织,从注意力、掩码和位置编码等基础概念,逐步延伸到 KV Cache、MoE、LoRA、量化与推理优化。章节顺序适合第一次系统学习;已经在调试具体问题的人,也可以把它当作目录,直接回到相关机制。

解释与实现要分开

图谱从数据流和实现视角解释 Q、K、V、多头注意力和生成采样,但教学示意并不等于某个框架当前版本的源码。准备实现时,应沿页面引用回到论文、历史实现或教学代码,再核对张量形状、缓存策略和软件版本。

性能结论怎样处理

KV Cache、量化或路由策略对速度、显存和精度的影响依赖模型、序列长度、硬件与运行库。本站没有统一环境下的当前基准,因此不提供固定加速或节省数字。学习页说明机制,生产选型仍需要在目标环境做可复现测试。

上手前的验收点

核对

按学习目标选入口

第一次系统学习可以从注意力、掩码和位置编码顺序进入;排查显存或推理速度时,可直接查看 KV Cache、量化和推理优化章节。两种路径都应回到章节引用,而不是只记住导图节点。

把示意图和实现版本分开

选一个熟悉的框架实现,对照页面说明检查张量形状、掩码方向、缓存更新和采样参数。教学图解释机制,不承诺与某个框架当前版本的类名、默认值或内核实现逐项相同。

性能问题留给目标环境

量化、MoE 或缓存策略的收益要在实际模型、序列长度、批量大小、硬件和运行库上测量。记录基线、版本与峰值显存后再比较,不能把章节中的机制说明换算成固定加速比例。

完成验收后保留什么

记录

每学完一章,可以用一段最小代码或张量形状手算验证关键步骤,再把结果与引用资料对照。若实现与讲解不同,先检查框架版本和默认参数,不把差异直接解释成页面或代码错误。

可以怎样使用

  1. 第一次系统学习时从注意力和位置编码开始,按章节顺序补齐概念。
  2. 调试推理问题时按主题跳到 KV Cache、量化或采样章节,快速恢复上下文。
  3. 准备实现或分享时沿页面来源回到论文和教学代码,确认术语及版本差异。

怎样复核结果

  1. 先区分概念解释、工程经验和论文结论,三者的证据强度不同。
  2. 示例代码用于理解机制,不能直接代表某个生产框架的当前实现。
  3. 涉及速度、显存和精度的判断,应在自己的模型、硬件与版本上重新测量。

当前状态与核对依据

2026-09-23

2026-09-23 检查公开入口,学习页面无需登录即可访问。

当前依据均为第一方材料:部署记录、产品文档和核对时的入口状态。没有可用的独立评测;入口可访问只证明当时能够到达,不证明性能、准确率、节省比例或长期可用性。

打开已核对入口 ↗