质量不是最后一道检查 而是整条生产链
资格筛选、校准、版本、抽检、交叉复核、返修与裁决共同决定交付结果。
SIX DIMENSIONS OF DATA QUALITY
质量，具体到每一项检查。
验证方法、检查记录与项目验收一起确认。
SOLVABILITY
先证明任务可完成，再用它测量模型。
对于可执行任务，用参考解在约定环境中复跑，检查输入、依赖和验证方法是否组成一个完整闭环。
- 参考解满足任务目标与产物要求。
- 重复运行的结果符合约定的稳定性标准。
- 任务失败与环境故障有明确区分。
交付证据参考解运行记录环境与依赖版本失败归因说明
与客户确认复跑次数、资源预算、成功判据与失败归因口径。
为降低交付波动而设计
专家资格与原创性
作者通过领域难题与规则测试；STEM 任务同时接受相似性和可检索性筛查。
任务有效性
独立验证条件完备、答案唯一、环境可复现与评分有区分度。
来源、推导与运行证据
专业结论绑定来源；科学题保留推导；Agent 和代码任务保留轨迹、日志、补丁与测试。
作者与验证角色分离
任务作者、参考解复算、验证工程和裁决使用不同责任边界。
盲审与专业裁决
争议项在隐藏原始判断的条件下复核，并记录证据、版本和裁决依据。
版本与污染控制
任务、数据、环境、验证器和模型反馈按版本管理，按项目控制泄漏与污染风险。
复杂 AI 工作的四阶段审阅
不只判断答案对错，也判断任务、过程与原始评测是否可靠。
输入质量
指令、环境与任务是否可理解、可执行、可评测。
过程与轨迹
规划、工具使用、迭代和自检是否合理。
输出质量
结果是否完整、准确、专业且可直接使用。
评测可靠性
原始评分、失败归因与评委行为是否可信。
独立审阅 A + 独立审阅 B → 质检裁决 C → 人类确认
把判断留在可审阅的记录里
质量系统需要让规则、操作、理由和裁决彼此关联，而不是只留下一个最终分数。
01 / 推导证据
高难度题不是写出来就有效
独立复算、答案唯一性、参考推导、验证器与模型难度校准共同证明题目成立。
02 / 过程证据
结果正确不代表过程可靠
关键决策、工具调用、观察、回退与修正进入逐节点审阅。
03 / 运行证据
工程结论必须通过环境验证
补丁、测试、日志、验证器与复跑结果共同支撑裁决。
在项目启动前明确安全、保密、访问与留存要求，并落实到生产流程与权限管理。
让下一批数据，针对你的能力目标
从任务目标与样例开始，共同确定材料、专家、验证方法与交付范围。