LLM 大模型知识体系
/

大模型知识体系 · 静态目录

交互版首页是「我的学习」，当前主线从 Attention 开始。共 32 章教材仍可查阅。下方链接为静态阅读版（无需 JavaScript）；完整交互体验请直接浏览本页。

章节目录

  1. 知识地图与学习主线 — 六段式知识地图、当前动手主线（小模型实验室 → 核验助手 → 专项）与岗位查阅分组。
  2. 深度学习基础：回归、Loss、梯度与 Softmax — 线性模型、MSE、梯度下降、反向传播、Softmax、交叉熵、MLP、激活函数——全套地基。
  3. 优化器：SGD → Momentum → Adam — SGD、Momentum、Adam 完整推导与算例，AdamW 解耦正则，优化器竞赛演示。
  4. 模型评估与泛化：指标、过拟合与正则化 — 混淆矩阵计算器、四大指标、不平衡数据陷阱、L2、Dropout（经典 ML 评估，LLM 评测见第 23 章）。
  5. 数值稳定：梯度爆炸/消失、初始化、BN 与残差 — 连乘的威力、Sigmoid 饱和、Kaiming 初始化、BatchNorm 算例、ResNet 残差。
  6. 循环神经网络：RNN → LSTM → GRU — 参数共享、BPTT 长程依赖、LSTM 三门一状态、GRU、Deep RNN（历史演化，保持冻结）。
  7. NLP 基础：Tokenizer、BPE 与 Embedding — BPE 真实训练器、训练与编码的区别、BBPE、Tokenizer 评估、Embedding 查表。
  8. Transformer：Attention 是全部的核心 — Q/K/V、缩放原理、Multi-Head、LayerNorm、Causal Mask——25 小节 + 15 个交互演示 + 39 题面试库。
  9. BERT：Encoder-only 与双向理解 — 三种 Embedding、[CLS]/[SEP]、Attention Mask、MLM、80/10/10、NSP。
  10. GPT：Decoder-only 与文本生成 — Next Token Prediction、训练并行、推理循环、Temperature、Top-K/Top-P。
  11. 现代 LLM 架构：技术演化视角 — LayerNorm→RMSNorm、绝对位置→RoPE、ReLU→SwiGLU、MHA→GQA、KV Cache——按技术演化组织。
  12. PyTorch for LLM：动手之前的必备工具箱 — shape 操作、广播、matmul/einsum、nn.Module、autograd、DataLoader、训练循环、checkpoint。
  13. Build Your Own Small LLM（上）：组件篇 — Lab 1-7：BPE Tokenizer → RMSNorm → RoPE → Attention → SwiGLU → Transformer Block → Decoder-only LM。
  14. Build Your Own Small LLM（下）：训练篇 — Lab 8-14：数据准备 → 预训练 → 评估 → 生成推理 → KV Cache → SFT → DPO/GRPO 小实验。
  15. Scaling Laws 与算力：为什么这样配置训练 — 参数量数法、6ND 估算、Kaplan/Chinchilla、isoFLOP 曲线、GPU hours 与 MFU。
  16. GPU Fundamentals：从 SM 到 Roofline — SM/Tensor Core/warp、存储层次、算术强度、Roofline、GEMM 与 kernel fusion、Profiling 入门。
  17. Distributed Training：从 DDP 到 3D 并行 — AllReduce/Ring、ZeRO 三阶段、FSDP、张量并行、流水线并行、通信计算重叠与选型指南。
  18. 训练显存、混合精度与 LoRA — 显存构成、FP32/FP16/BF16、混合精度与 loss scaling、梯度累积、激活检查点、LoRA。
  19. Pretraining Data Engineering：从网页到 Training Batch — HTML 抽取、规范化、语言识别、质量过滤、精确/近似去重、去污染、配比、打包、分片、流式读取——完整数据管线 + 可运行 Lab。
  20. FlashAttention 与 Triton：为什么 Attention 还能更快 — HBM vs SRAM、Tiling、Online Softmax、IO-aware 优化、FA1/FA2 演进、Triton 入门与 fused softmax。
  21. LLM Inference Systems：从 Prefill 到 vLLM / SGLang — Prefill/Decode、TTFT/ITL、Continuous Batching、PagedAttention、Prefix Cache、投机解码、Serving 指标模拟器。
  22. 训练生命周期：Pretrain 与 SFT — 数据清洗、MinHash、配比、warmup/decay、PPL、Chat Template、Loss Mask。
  23. 强化学习与偏好优化：PPO 与 GRPO — 为什么 SFT 后还要 RL、PPO/GRPO 结构、Group Relative Advantage、Policy Ratio、Clip、KL 散度。
  24. LLM Evaluation：模型到底有没有变好 — PPL、Exact Match、pass@k、MMLU/C-Eval/GSM8K、LLM-as-a-Judge、置信区间、Contamination、失败案例分析 + 评测 Lab。
  25. 岗位查阅：能力矩阵与四级标准 — 三条岗位查阅分组（应用/算法/Infra）、能力矩阵、四级标准与历史实验记录。不是旧作业清单。
  26. Python Engineering for AI：可测试的工程分层 — parser / stats / cli 分层、pathlib、JSONL、dataclass、argparse、logging、pytest 与退出码。历史日志 CLI 仅作可选对照。
  27. HuggingFace for LLM Engineering：工业生态工作流 — Tokenizer、Chat Template、logits、generate、left padding、response-only mask、PEFT/LoRA、save/load 与历史实测数字。不是旧 starter 作业。
  28. 评测系统：Mini LLM Evaluation Harness 怎么拆 — Adapter × Task × Runner × Reports、parser 与 parse_failure、并发/重试/缓存、bad case 分类，以及 C3/XCOPA 历史实测。不是旧 Capstone。
  29. Retrieval & RAG Engineering：让模型用上外部知识 — Chunking、BM25、向量、RRF、精排、Recall@k/MRR/nDCG，以及 22 条查询的历史评测。不是当前 RAG 作业。
  30. RAG 服务化：检索管线怎样对外提供接口 — FastAPI（/chat、SSE、超时、线程池）、检索与生成分开评测、Dockerfile 纪律。历史服务实现仅作可选对照。
  31. SFT / LoRA：一次真实实验闭环怎么读 — response-only loss、LoRA、best/final checkpoint、三路评测与 experiment.md 纪律。历史训练记录不是当前 Capstone。
  32. 推理分析：把「慢」定位到算子与指标 — profiler 算子表、计时口径、naive vs SDPA、torch.compile 反例、TTFT/TPOT 与 NOT EXECUTED ON CUDA。不是当前推理基准作业。
正在加载交互版…