谷歌 DeepMind 发布 XYEval 评估智能体顺从误导建议

谷歌 DeepMind 研究人员发布预印本论文《XYEval: Agents say yes to bad advice》，提出元评估框架 XYEval，用于评估智能体面对用户误导性建议时的表现。论文扩展了“XY 问题”，即用户询问的是自己尝试的解法 X，而非真正的问题 Y。XYEval 在保留原任务环境与可验证答案的基础上，追加看似合理但具有误导性的用户建议。误导建议由生成器在看到完整任务后生成，并以自信建议的形式附加，使原任务仍可解。评估覆盖 τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity's Last Exam 与 MCP-Atlas 六个基准及五个模型，其中 τ2-bench 的误导建议由人工专家制定的规则生成。论文指出，任务经 XY 变异后表现大幅下降，最高降幅达 46.7%。在 τ2-bench 上，面对要求先给出详细解释才接受更好方案的用户时，表现下降更显著。鼓励模型意识到 XY 问题的简单系统指令只能部分缓解。相关代码已发布于 GitHub 仓库 google-deepmind/xyeval。