第一章：先学会衡量——评测体系的建立

把评测从"上线前测试"，重新放回"需求定义"的位置

---

1. 评测即需求，评测即产品

• 从确定性操作到概率型供给
• 评测即需求：解构 Eval 的三件事
• 为什么是现在？——监督信号的范式转移
• 评测怎么做？——组织、流程与要素
• 结语：Sample / Eval 是 AI PM 的新语言

---

即将更新

• 1. Dataset：怎么构建一份"活的"评测集
• 1. Rubric：怎么把"什么算好"写成可执行的判分标准
• 1. Metric：从 Accuracy 到业务一致性，怎么选指标
• 1. Judge / Evaluator：人工、专家、LLM-as-a-Judge 的边界
• 1. 评测与产品迭代：让评测跟着产品一起活
• 1. Agent 时代：从 eval answer 到 eval trace