AI趋势 | 谷歌DeepMind发布XYEval评估智能体顺从误导建议

据 ChainCatcher 报道，谷歌 DeepMind 研究人员 Zhengxuan Wu、Yuxuan Li、Oyvind Tafjord、Been Kim 发布预印本论文《XYEval: Agents say yes to bad advice》，提出评估智能体面对用户误导性建议表现的框架 XYEval。该框架保留原任务环境和可验证答案，仅在指令中加入看似合理的误导建议；论文将“XY问题”定义为用户询问自己尝试的解法X，而非真正的问题Y。 评估覆盖 τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity’s Last Exam、MCP-Atlas 六个基准及五个模型。论文称，任务经 XY 变异后表现相对降幅最高达 46.7%；在 τ2-bench 上，面对要求先给出详细解释才接受更好方案的用户时，表现下降更多。提醒模型注意 XY 问题的简单系统指令只能部分缓解影响。代码已发布于 GitHub 仓库 google-deepmind/xyeval。