LLM Evaluation：模型到底有没有变好

本章定位：第二批收尾模块。第 3 章讲的是经典 ML 评估（Accuracy/Precision/Recall/F1/过拟合）；本章专门讲 LLM 特有的评估体系，回答：模型到底有没有变好？ 以及——benchmark 分数到底说明什么、不说明什么。

跨章闭环：Contamination（23.13）与数据管线第 18 章直接对应。

23.1 Evaluation Pipeline：评估也是一条流水线

Model
  ↓  Dataset（题目 + 标准答案）
  ↓  Prompt Template（few-shot / zero-shot / 指令格式）
  ↓  Generation（采样参数：temperature、max_tokens）
  ↓  Parser（从输出里抽出「答案」）
  ↓  Metric（EM / F1 / Accuracy / pass@k / judge）
  ↓  Report（分数 + 置信区间 + 失败样本）

23.2 Perplexity：与预训练 loss 直接相连

23.3 Exact Match：解析器决定分数

标准答案：42
模型输出：The answer is 42.

直接比较：Exact Match = 0
解析后比较（抽取"42"）：Exact Match = 1

结论：metric 与 parser 是一体的。报告 EM 时必须说明规范化规则（大小写、空白、标点、是否抽取答案）。

23.4 F1：QA 类任务的部分给分

算例：标准「苹果公司位于库比蒂诺」，预测「苹果公司位于美国库比蒂诺」：

• 交集 = {苹果公司, 位于, 库比蒂诺} = 3 token
• P = 3/4，R = 3/3 → F1 = 2·0.75·1/(1.75) ≈ 0.857

23.5 选择题准确率与随机基线

23.6 pass@k：代码任务为什么要多次采样

无偏估计（采 n 个样本、c 个通过）：

直觉读法：从 n 个样本里随机抽 k 个，至少有一个通过测试的概率。k=1 时就是「单个样本的通过率」；k 增大时这个概率上升，但只有当 k = n 且 c > 0 时，pass@n 才等于 1——不是「只要样本里有对的，所有 pass@k 都是 100%」。所以报告必须写清 k、n 与采样温度。

23.7 数学评测：GSM8K / MATH

23.8 Instruction Following：另一类能力

指令："列出三个水果，每条以数字开头，且不出现苹果二字。"
→ 检查：格式约束是否全部满足（可程序化验证）

意义：instruction following 反映「可用性」——一个知识很全但不听指令的模型，工程上很难用。

23.9 LLM-as-a-Judge：开放式回答怎么评

23.10 Pairwise Evaluation：A vs B 比绝对分更稳

这与第 22 章的偏好数据一脉相承：相对比较是 RLHF/DPO 偏好数据的基础形式。

23.11 Human Evaluation：什么时候必须用人

23.12 Prompt Sensitivity：同一模型，分数会飘

Prompt A: "请选择正确答案："      → 65%
Prompt B: "Answer with the letter." → 58%
Prompt C: 5-shot 示例             → 71%

报告分数时不写 prompt 模板 = 无法复现 = 无法比较。

23.13 Contamination：与数据管线闭环

Benchmark sample → normalize → n-gram / MinHash 匹配
  → 命中：从训练数据中移除该文档

把本章和第 18 章连起来看：评测有效性是数据工程的职责之一。

23.14 置信区间：别只看一个数

23.15 Statistical Significance：72.0% vs 72.3%

23.16 Evaluation Harness：为什么要统一

本课程不教安装；要记住的是：看到任何分数，先问「用什么 harness、什么模板、什么 parser」。

23.17 Failure Case Analysis：分数之外

{"task": "c3", "id": 152, "question": "……", "gold": "B", "pred": "D",
 "failure_type": "reasoning_error", "note": "定位到关键句但推理方向反了"}
{"task": "ppl_eval", "id": "doc-88", "loss": 6.8, "failure_type": "long_context",
 "note": "跨 2k token 的指代没有连上"}

23.18 Mini Evaluation Lab：给 Small LLM 做一次评测

# 类型：【Runnable】依赖：torch（+ 你的 TinyLM 定义与 tokenizer）
import json, math, torch
import torch.nn.functional as F

def evaluate_ppl(model, dataset, device="cpu"):
    """困惑度：e^平均交叉熵（注意：只能和同 tokenizer 比较）"""
    model.eval()
    losses = []
    with torch.no_grad():
        for x, y in dataset:
            logits = model(x[None].to(device))
            loss = F.cross_entropy(logits.view(-1, logits.size(-1)), y[None].to(device).view(-1))
            losses.append(loss.item())
    mean = sum(losses) / len(losses)
    return {"loss": mean, "ppl": math.exp(mean)}

def evaluate_mcq(model, items, device="cpu"):
    """选择题：比较各选项 continuation 的平均 log 概率，取最高"""
    model.eval()
    correct = 0
    log = []
    with torch.no_grad():
        for it in items:
            scores = {}
            for opt, text in it["options"].items():
                ids = torch.tensor(it["prompt_ids"] + text["ids"])
                logp = F.log_softmax(model(ids[None].to(device))[0], dim=-1)
                start = len(it["prompt_ids"])
                s = sum(logp[i - 1, ids[i]].item() for i in range(start, len(ids)))
                scores[opt] = s / max(1, len(ids) - start)     # 长度归一
            pred = max(scores, key=scores.get)
            ok = pred == it["answer"]
            correct += ok
            log.append({"id": it["id"], "gold": it["answer"], "pred": pred, "ok": ok})
    acc = correct / max(1, len(items))
    return {"accuracy": acc, "n": len(items), "random_baseline": 0.25, "log": log}

# —— 用本项目小模型的真实结果演示输出格式（数字来自实际评测）——
if __name__ == "__main__":
    results = {
        "c3":    {"accuracy": 0.40, "random_baseline": 0.25, "note": "中文阅读理解（4选1）"},
        "xcopa": {"accuracy": 0.55, "random_baseline": 0.50, "note": "因果常识（2选1）"},
    }
    with open("results.json", "w") as f:
        json.dump(results, f, ensure_ascii=False, indent=2)
    print(json.dumps(results, ensure_ascii=False, indent=2))

验收：输出 results.json：

{
  "c3":    { "accuracy": 0.40, "random_baseline": 0.25, "note": "中文阅读理解（4选1）" },
  "xcopa": { "accuracy": 0.55, "random_baseline": 0.50, "note": "因果常识（2选1）" }
}

这些数字来自本项目 Small LLM 的真实评测（非课程虚构、也非 SOTA）。报告时必须写清：任务、随机基线、样本量、prompt 模板、parser——否则无法复现。