The Decoder· Jonathan Kemper·· 3 小时前AI 评分58
新基准 Taste-Bench 衡量 AI 智能体的长期决策品味
AI agents have bad taste in long-term decisions and a new benchmark proves it
AI 导读
研究团队提出 Taste-Bench,用 502 道决策分叉题衡量智能体在长期任务中的判断力,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近二选一的随机水平。当关键线索只在后续步骤才出现时,所有模型平均准确率降至 21%。团队还将教师模型判断蒸馏到 Qwen3.6-27B,在 41 个 SWE-bench Pro 任务上把成功率从 14.6% 提升到 33.7%。
来源:The Decoder · the-decoder.com