• 教程
• 大模型
• 人工智能
• 深度学习
• 微调
• 模型优化
• 模型量化
• 分布式训练

想系统学习大模型算法却不知从何下手？llm-algo-leetcode（《大模型算法与系统教程》）提供了一条从入门到生产的完整学习路线：以可运行的 Notebook 为载体，覆盖 PyTorch 算法实战、CUDA/Triton 算子开发，并用 benchmark 和真实 GPU 实验做工程验证。本文带你用「基础补齐 → 算法实战 → 系统生产」三段式路线，走通大模型算法学习的全流程。

一、先建立地图：五部分 + 五条主学习路线

新手最常见的坑是"从第一行硬读到底"。llm-algo-leetcode 的设计恰恰相反：按目标进入，缺什么补什么。整个教程由六个 Part 组成，另配五条可独立进入的主学习路线。

五条主学习路线见 专题路线总览：大模型架构演进、后训练优化、推理优化、性能优化、算子优化。它们之间不是严格的前置依赖，而是按"模型结构 → 能力形成 → 服务运行 → 性能诊断 → 底层实现"的对象层次排列——你可以直接跳到与自己目标最相关的一条。

💡 官方推荐路径：先从 Part 02 建立算法实现感，再按需回补 Part 00 / 01，最后进入 Part 03 / 04，由 Part 05 完成项目收口。

二、第一段·入门：用 Part 00 把前置地基打牢（1–2 周）

如果你还没写过 Transformer 的 forward，或没跑过完整的训练循环，先从 Part 00 的五个小组切入，不需要全部读完：

• 0A Python 基础与数据表示：01_Python_Essentials_for_LLM.ipynb、02_NumPy_and_Einsum.ipynb
• 0B PyTorch 张量与自动求导：05_PyTorch_Tensor_Fundamentals.ipynb、07_PyTorch_Autograd_and_Backward.ipynb
• 0C 模型与训练生命周期：12_PyTorch_Minimal_Training_Interface.ipynb
• 0D Transformer Block 与模型组件：13_Transformer_Block_Dataflow_and_Residual_Stream.ipynb、16_Attention_Mechanism_Intro.ipynb

这一段的验收标准很简单：能独立写出一个最小训练循环，并说清每个张量的 shape。CPU 环境即可运行，安装与预检方法见使用指南中的BASE-CPU部分。

已有 Python 和 PyTorch 基础？直接跳过，进入第二段。

三、第二段·进阶：Part 02 把大模型算法"跑起来"（4–8 周）

Part 02 是整条路线的枢纽，按 10 个专题组组织，正好对应大模型算法的三个核心问题：模型怎么算、怎么训、怎么推。

学习建议：

1. 每组先读组页（如 2_3.md）了解组内顺序，再打开目标 Notebook；每节都是"题目区 + 答案区 + 基础验证"结构，边学边改。
2. 学到 2.5 之后，遇到 OOM、activation、offload 类问题，去回补 硬件与显存计算，而不是盲目调参。
3. 想快速建立"项目感"的，可以直接看 2.10 项目验证组 下的项目类 Notebook，如 62_Instruction_Fine_Tuning_Project.ipynb。

四、第三段·生产：下探算子、服务与综合决策

进入第三段后，学习目标从"会实现"升级为"会测量、会决策"。这也是 llm-algo-leetcode 区别于普通教程的地方：项目结论必须来自 benchmark、profiling 和真实推理后端实验。

4.1 算子与系统下探（Part 03 / 04）

当 PyTorch 不够快时，学习路线沿PyTorch → Triton → CUDA逐层下探：

• Triton 入门：01_Triton_Vector_Addition.ipynb → 08_Triton_Flash_Attention.ipynb → 09_Triton_PagedAttention.ipynb
• CUDA 与系统优化：显存管理与池化、通信计算重叠调度
• 想理解硬件直觉，回看 03_GPU_Architecture_and_Memory.ipynb 与 14_FlashAttention_Memory_Model.ipynb

4.2 用证据做推理服务决策

推理优化路线（入口）教你回答"TTFT、TPOT、吞吐、KV Cache 到底怎么权衡"。Part 02 的推理项目提供了真实 GPU 的实验模板，例如 66_Inference_Performance_Comparison.ipynb 与 69_Prefix_Caching_Benchmark.ipynb，结果统一沉淀在benchmarks/results/下。

4.3 收口：Part 05 综合项目

最后一步是把机制、实验和约束收敛为可交付方案。Part 05 提供两个核心交付项目：

• 推理服务综合项目：组合推理、性能、量化与部署路线
• 后训练交付综合项目：打通数据、训练、评测、资源与模型产物

每个项目遵循同一决策框架：目标与约束 → 固定基线 → 瓶颈证据 → 候选组合 → 对照实验 → 成本与质量 → 架构决策。能独立完成一个这样的闭环，就具备从入门走向生产的大模型算法工程能力。

五、快速上手与环境选择

本地学习的标准流程（详见 使用指南）：克隆仓库后，用environment.yml创建 CPU 环境（或environment-gpu.yml创建 GPU 环境），从仓库根目录启动jupyter lab，并按目标 Profile 执行预检：

python tools/environment_preflight.py --profile <PROFILE_ID>

⚠️ 预检返回blocked时不要强行运行实验，按提示修复后重新预检；实验结果统一存放在benchmarks/results/，用唯一的RUN_LABEL避免覆盖。

写在最后：一份可执行的学习清单

1. 第 1 周：Part 00 的 0B / 0D 两组，跑通最小训练循环与 Attention 前向。
2. 第 2–4 周：Part 02 的 2.1 → 2.3，完成一次完整 SFT + LoRA 微调。
3. 第 5–8 周：Part 02 的 2.5 / 2.6 / 2.7，理解显存账本并跑通 PagedAttention 实验。
4. 第 9 周起：按职业方向分叉——做性能选 Part 03 + 性能优化路线；做底层选 Part 04 + 算子优化路线；做业务交付直接进 Part 05。

llm-algo-leetcode 的价值不在"资料多"，而在每一步都有可运行代码、可复核实验和明确的项目收口。沿着这条从入门到生产的三段式路线走下去，你会同时拥有大模型算法的实现能力和系统级的工程判断力。

• 教程
• 大模型
• 人工智能
• 深度学习
• 微调
• 模型优化
• 模型量化
• 分布式训练