高难度 STEM Challenge Set 设计
把研究级知识、多步推导与可验证答案组织成模型无法靠检索直接解决的原创任务。
指标口径：本页未公开模型版本、推理预算和样本切片。通过率区间用于说明原有案例的任务难度，不能据此进行跨模型排名。
任务理解先于规模扩张
某前沿推理评测需要一组无法通过搜索或模板迁移直接作答的原创问题。我们先定义目标能力和预期失败模式，再由数学、物理、化学、生物与计算机专家提交题面、完整推导、评分量规和验证逻辑。另一名专家独立复算；模型试跑、相似性检索与程序化验证共同排除歧义、污染和偶然猜中。规模与通过率为代表性脱敏批次区间。本能力对齐前沿科学推理 Benchmark 的任务方法，不代表与任何公开基准存在官方合作。
跨数学、物理、化学、生物与计算机科学
题目、参考解、量规与验证器成套交付
独立复算、模型试跑与污染风险筛查
同一套结构用于对齐算法、数据、采购和安全团队的评估问题。
把研究级知识、多步推导与可验证答案组织成模型无法靠检索直接解决的原创任务。
面向指定能力缺口的原创、不可直接检索 STEM 难题
专家出题、独立复算、验证器构建、模型试跑与难度分层
代表批次约 1,200 道原创任务，覆盖五个 STEM 学科
原创出题 × 参考解推导 × 验证器与难度校准；独立复算、模型试跑与污染风险筛查
跨数学、物理、化学、生物与计算机科学；题目、参考解、量规与验证器成套交付；目标模型通过率稳定在 6%–18% 区间；歧义题和可检索题在发布前剔除
客户身份、原始材料及部分规模已移除或区间化；本页用于说明交付方法，不构成未来结果承诺。
把一个项目拆到可以被技术团队质询
难度不是把知识点变偏，而是让任务稳定暴露目标能力缺口，同时保持题意清晰、答案确定、推导可复算。
能力切片
从模型错误簇反推需要隔离验证的知识与推理能力。
原创构造
专家同时提交题面、参考推导、评分量规与验证逻辑。
独立复算
第二位专家不查看原解，验证题意、答案与关键中间结论。
模型压力测试
使用多次试跑识别捷径、歧义、偶然猜中与失效难度。
版本发布
仅将通过原创性、可验证性和难度门槛的任务纳入批次。
哪些问题不会进入最终批次
- 存在多解或隐含假设未写明
- 参考推导无法由独立专家复算
- 公开检索或表面改写即可命中答案
- 验证器只检查最终格式而未覆盖核心推理
最终交付不只有一列答案
- 题目与能力标签
- 专家参考解与关键步骤
- 评分量规及程序化验证器
- 独立复算、模型试跑与版本记录
验收后的任务可进入私有 Challenge Set、能力回归测试或针对性后训练设计；具体使用方式由客户的模型阶段与授权边界决定。
核对样例，再确定任务范围。
将这个方向带入沟通，确认交付结构、验证方式与可提供的样例范围。
让下一批数据，针对你的能力目标
从任务目标与样例开始，共同确定材料、专家、验证方法与交付范围。