第 28 章 · Retrieval & RAG Engineering：让模型用上外部知识

28.1 为什么纯 LLM 不够

但这三个问题不是加个向量库就解决的。真实 RAG 是七个环节的管线，每一环都可以失败：

documents → chunk → 索引（BM25 + embedding）→ 检索 → 融合 → 精排 → 上下文 → LLM → answer + citations

本章按这条管线逐段讲，并在最后用真实评测数据证明：回答不好时，先判断是检索失败还是生成失败。

28.2 Chunking：最不起眼、最影响上限的一步

文档太长不能整篇塞进上下文，需要切成「可检索段落」（chunk）。三种基础策略：

历史实验选用 recursive + size 512 + overlap 64：课程内容 28 篇 markdown → 841 chunks。

28.3 Embedding：把语义变成几何

q = embedder.encode(["LoRA 怎么微调大模型"], is_query=True)[0]
d1 = embedder.encode(["LoRA 冻结原权重，只训练低秩矩阵 A 和 B"])[0]
d2 = embedder.encode(["今天天气很好，适合出去散步"])[0]
cosine(q, d1)   # ≫
cosine(q, d2)   # 相关文档在向量空间里更近

三个工程要点：

1. 查询与文档要按模型要求区分编码（历史实验用 BGE，查询侧加指令前缀，文档侧不加）；
2. 归一化后内积 = 余弦相似度（向量全部 L2 归一化）；
3. embedding 模型也是一个要选型的组件——当时用 BAAI/bge-small-zh-v1.5（24M 参数，CPU 可跑）。

28.4 向量检索：FAISS 最小实现

import faiss
index = faiss.IndexFlatIP(dim)      # 内积索引（配合归一化向量 = 余弦）
index.add(vectors)                  # 841 × 512
scores, idxs = index.search(query_vector, k=20)

• IndexFlatIP 是精确检索：全量算相似度，小规模（几万块）足够快；
• 上亿规模再考虑 IVF/HNSW/量化等近似索引——先把它跑对，再谈规模；
• 无 FAISS 时可以回退 numpy 精确实现（接口不变）。这是实现策略，不是当前作业要求。

28.5 BM25：关键词检索不是落后技术

BM25 是经典的稀疏检索：词频（TF）× 逆文档频率（IDF）× 文档长度归一化。中文常用 jieba 分词。历史参考实现约 40 行，见可选目录中的 bm25.py。

它在什么场景赢过向量检索？

• 「RTX 5090」「pass@k」「0x80070005」这类精确术语；
• 术语密集、缩写多的领域文档（论文、代码库、本课程内容）。

28.6 Hybrid Retrieval：小孩子才做选择

把 BM25 与向量结果融合。最常用 RRF（Reciprocal Rank Fusion）：

只用排名、不用分数——不用调权重、鲁棒。

真实结果：hybrid Recall@10 = 100%（与 BM25 持平），MRR 0.8485。 注意 hybrid 的 MRR 反而低于纯 BM25（0.8485 < 0.9091）：向量结果把一部分原本排第一的正确文档挤到了后面。

28.7 Reranker：bi-encoder vs cross-encoder

标准两段式：

query →（BM25 + 向量）召回 50 → cross-encoder 精排 → top-5 → 注入 prompt

28.8 检索评测：把「检索」与「生成」拆开评

这是本章最重要的一节：回答不好时，你必须能回答「是检索没找到，还是模型没用/乱说」。

四个核心指标（doc 级二值相关；chunk 排名必须先按 doc_id 去重）：

历史评测规范（可选参考实现里的 eval/retrieval_eval.py，非当前作业）：

• 语料：课程内容 28 篇 → 841 chunks；
• 查询集：人工标注 22 条（data/eval_queries.jsonl），标注到文档级 ground truth；
• 每模式跑 top-10，输出 Recall@10 / MRR / nDCG@10 + 未命中明细。

28.9 RAG 评测：四个维度

生成侧不能只看「回答对不对」——要拆成：

对 6 道题的真实评测（Qwen2.5-0.5B，检索+精排+生成全链路）：

检索命中 6/6 | 引用规范 4/6 | 用时中位数 19.1s（CPU）

检索 100% 命中而生成 2/6 失败——瓶颈定位到生成侧，不是检索侧。

28.10 失败案例：四类，各有各的修法

来自当时真实运行（含 prompt 迭代过程）：

28.11 面试复盘：RAG

1. chunk size 怎么选？overlap 解决什么问题？
2. BM25 和 embedding 检索的区别？各自什么时候更强？
3. 为什么 reranker 有用？bi-encoder 和 cross-encoder 的结构差异？
4. Recall@k 和 MRR 分别对什么敏感？nDCG 为什么"打折"？
5. retrieval 对了但回答错了，你怎么定位？拆开评什么？
6. 引用（citation）怎么保证对得上？模型不配合怎么办？
7. 你的检索评测集怎么建的？标注错了会发生什么？