第 29 章 · RAG 服务化：检索管线怎样对外提供接口

历史运行：课程内容 28 篇 → 841 chunks；22 条标注查询；Qwen2.5-0.5B 生成（CPU）。

29.1 从「跑通检索」到「能对外服务」

当时那次实验覆盖过这些能力（作为阅读清单，不是现在要交的验收表）：

29.2 Pipeline 架构与实测数字

ingest：  文档目录 → chunk（recursive 512/64）→ BM25 索引 + BGE 向量（FAISS）
query：   BM25 top-20  ┐
          向量 top-20  ┴→ RRF 融合 → cross-encoder 精排 top-5 → prompt → Qwen → answer + [n] 引用

真实评测结果（22 条标注查询，全部可复现）：

调用链路的服务端耗时拆解（每个回答都返回）：

"latency_ms": { "retrieve": 42, "rerank": 1850, "generate": 13000, "total": 14900 }

rerank 占大头、generate 更甚——这就是服务优化时该先动的地方（更小的 reranker / 更快的模型 / 缓存）。

29.3 FastAPI 服务化：五个工程要点

@app.post("/chat")
async def chat(req: ChatRequest) -> ChatResponse:
    result = await asyncio.wait_for(
        run_in_threadpool(pipeline.answer, req.question, req.mode, req.top_k, req.top_n, req.use_rerank),
        timeout=pipeline.cfg.request_timeout_s,
    )
    return ChatResponse(answer=..., citations=..., sources=..., latency_ms=...)

测试思路（无需真实 API key）：用 FastAPI TestClient 打端点——健康检查、检索、chat、SSE 首事件、超时 504。历史参考实现把这些写在测试里；那不是当前作业。

29.4 流式（SSE）：为什么 ChatGPT 是"打字机"

def event_source():
    for kind, payload in pipeline.answer_stream(question, ...):
        if kind == "sources":
            yield "data: " + json.dumps({"type": "sources", "sources": payload}) + "\n\n"
        else:
            yield "data: " + json.dumps({"type": "token", "text": payload}) + "\n\n"
    yield "data: {\"type\": \"done\"}\n\n"

客户端按 data: 行解析事件。首字节时间（用户感知速度）从「全部生成完」降到「秒级首批 token + sources」。

29.5 Docker：提供但未实测

docker build -t rag-service .
docker run -p 8000:8000 \
  -v $(pwd)/../../content:/corpus \
  -e RAG_CORPUS=/corpus \
  rag-service

29.6 真实运行：6 题端到端

检索命中 6/6 | 引用规范 4/6 | 耗时中位数 19.1s（CPU，0.5B 模型）

✅ PagedAttention  → 回答了显存碎片机制，引用 [1]
✅ GQA vs MQA     → 回答了分组折中与 KV 压缩，引用 [1]
✅ pass@k         → 写出无偏估计公式，引用 [1]
✅ MinHash        → 回答了签名估计与 LSH，引用 [1]
❌ online softmax → 长回答但未标注引用（uncited_answer）
❌ Chat Template  → 回答了但未标注引用（uncited_answer）

样本外结论（纪律）：6 题、CPU、0.5B —— 这是流程验证级实验，不是能力结论；但它完整展示了「如何用失败分类定位系统瓶颈」。

29.7 面试复盘：RAG Service

1. 为什么 /chat 要把同步推理放进线程池？不放会怎样？
2. 超时怎么设计？504 和 500 的区别是什么场景？
3. SSE 相比一次性返回有什么体验差异？服务端怎么实现？
4. /retrieve 调试端点为什么有价值？（提示：线上定位「检索还是生成」）
5. 响应里的 latency_ms 拆解对性能优化有什么用？
6. Docker 镜像里模型权重怎么处理？（提示：构建时下载 vs 运行卷挂载）
7. 如果并发上来了，哪些环节可以缓存？（提示：索引、embedding、rerank 结果、LLM 响应）