Google DeepMind выпустила XYEval для оценки соответствия агентов вводящим в заблуждение советам

Исследователи Google DeepMind опубликовали препринт статьи "XYEval: Agents say yes to bad advice", в которой предложили метаоценочную рамку XYEval для оценки поведения агентов в ответ на вводящие в заблуждение советы пользователей. Статья расширяет "XY-проблему", где пользователи спрашивают о решении X, которое они пробовали, а не о настоящей проблеме Y. XYEval добавляет к исходной задаче и проверяемым ответам вводящие в заблуждение советы пользователей, которые выглядят разумно, но на самом деле являются ошибочными. Эти советы генерируются генератором после того, как он увидел полную задачу, и добавляются в виде уверенных рекомендаций, позволяя исходной задаче оставаться разрешимой. Оценка охватывает шесть бенчмарков: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam и MCP-Atlas, а также пять моделей, среди которых вводящие в заблуждение советы для τ2-bench создаются по правилам, установленным экспертами. В статье отмечается, что производительность задач значительно снижается после XY-мутации, с максимальным снижением на 46,7%. На τ2-bench производительность снижается еще больше, когда пользователи требуют сначала предоставить подробное объяснение, прежде чем принять лучшее решение. Модели поощряются к осознанию XY-проблемы, но простые системные инструкции могут лишь частично смягчить ситуацию. Соответствующий код уже опубликован в репозитории GitHub google-deepmind/xyeval.