谷歌 DeepMind 发布 XYEval，评估智能体是否顺从误导建议

ChainCatcher 消息，谷歌 DeepMind 研究人员 Zhengxuan Wu、Yuxuan Li、Oyvind Tafjord、Been Kim 发布预印本论文《XYEval: Agents say yes to bad advice》，提出元评估框架 XYEval，用于评估智能体面对用户误导性建议时的表现。论文将“XY 问题”扩展到智能体场景，即用户询问的是自己尝试的解法 X，而非真正的问题 Y。XYEval 保留原任务环境与可验证答案，只在指令中追加看似合理但具有误导性的用户建议。误导建议由生成器在看到完整任务后生成，并以自信建议而非硬性要求的形式附加，使原任务仍可解。评估覆盖 τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity’s Last Exam 与 MCP-Atlas 六个基准及五个模型，其中 τ2-bench 的误导建议由人工专家制定的规则生成。论文称，任务经 XY 变异后表现大幅下降，相对降幅最高达 46.7%。在 τ2-bench 上，面对要求先给出详细解释才接受更好方案的用户时，表现下降更多。鼓励模型意识到 XY 问题的简单系统指令只能部分缓解。相关代码发布于 GitHub 仓库 google-deepmind/xyeval。