任务理解先于规模扩张
某工具型 Agent 在文件、浏览器、代码和结构化数据之间完成长程任务，最终结果偶尔正确，但中间过程包含不稳定重试和错误来源选择。项目完整记录行动—观察链，评测员定位关键决策、工具参数、回退、自检与停止条件，并将问题区分为任务、规划、工具、执行、事实、交付物或评委层错误；高价值失败再转写为可用于后训练的修正轨迹。
完整行动—观察—修正链路
过程质量与结果质量分离
失败原因对应可训练修正轨迹
同一套结构用于对齐算法、数据、采购和安全团队的评估问题。
从任务输入、计划与工具调用到最终交付物，逐节点审阅 Agent 行为。
跨文件、浏览器、代码与结构化工具的长程 Agent 运行
关键节点标注、A/B 独立复核、失败归因和更优轨迹重写
代表批次约 2,800 条轨迹，平均 18 个步骤并覆盖 6 类工具
关键节点标注 × 双路审阅 × 失败分类；失败原因对应可训练修正轨迹
完整行动—观察—修正链路；过程质量与结果质量分离；关键节点覆盖率达到 100%；高价值失败形成可直接进入后训练的修正样本
客户身份、原始材料及部分规模已移除或区间化；本页用于说明交付方法，不构成未来结果承诺。
把一个项目拆到可以被技术团队质询
最终答案正确并不足以证明 Agent 可靠。真正需要评估的是它是否选择了正确的信息、工具、顺序与停止条件。
运行固化
锁定任务、环境、工具版本与行动—观察序列。
关键节点识别
标记不可逆决策、外部调用、错误恢复与最终提交节点。
双路复核
独立评测员分别判断过程质量、结果质量和错误归属。
分歧裁决
对规划、工具、事实、执行或评委层分歧保留理由与裁决。
轨迹修正
将高价值失败重写为最小必要改动的可训练示范。
哪些问题不会进入最终批次
- 结果正确但使用了错误或不可验证的来源
- 无效重试掩盖了规划或工具选择错误
- 中间状态已失败但 Agent 未触发恢复
- 停止条件过早或提交物未满足任务验收
最终交付不只有一列答案
- 原始行动—观察轨迹
- 关键节点与失败类型
- A/B 复核及裁决记录
- 修正轨迹与训练适用标签
轨迹包可用于 Agent 回归评测、失败模式分析、SFT 或偏好数据设计；进入训练前仍需按客户策略确认采样、权重与数据许可。
核对样例，再确定任务范围。
将这个方向带入沟通，确认交付结构、验证方式与可提供的样例范围。
让下一批数据，针对你的能力目标
从任务目标与样例开始，共同确定材料、专家、验证方法与交付范围。