Google DeepMind lança XYEval para avaliar a conformidade de agentes com conselhos enganosos

Pesquisadores do Google DeepMind publicaram um artigo pré-impressão intitulado "XYEval: Agents say yes to bad advice", propondo uma estrutura de metaavaliação chamada XYEval, destinada a avaliar o desempenho de agentes diante de sugestões enganosas de usuários. O artigo expande o "problema XY", onde o usuário pergunta sobre a solução X que tentou, em vez do verdadeiro problema Y. O XYEval, mantendo o ambiente de tarefa original e as respostas verificáveis, adiciona sugestões de usuários que parecem razoáveis, mas são enganosas. Essas sugestões enganosas são geradas por um gerador após ver a tarefa completa e são apresentadas na forma de recomendações confiantes, permitindo que a tarefa original ainda seja resolvida. A avaliação abrange seis benchmarks: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam e MCP-Atlas, além de cinco modelos, sendo que as sugestões enganosas do τ2-bench são geradas com base em regras estabelecidas por especialistas humanos. O artigo observa que o desempenho diminui drasticamente após a mutação XY, com a maior queda chegando a 46,7%. No τ2-bench, o desempenho diminui ainda mais quando os usuários exigem uma explicação detalhada antes de aceitarem uma solução melhor. Incentivar os modelos a reconhecerem o problema XY com instruções simples do sistema só alivia parcialmente a situação. O código relacionado já foi publicado no repositório do GitHub google-deepmind/xyeval.

Este conteúdo é disponibilizado apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou fiscal. Quaisquer eventos, recompensas, promoções online ou informações relacionadas aqui mencionados não devem ser interpretados como uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar quaisquer outras operações com criptoativos. Os criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar consoante a região. O utilizador é responsável por garantir que a sua participação está em conformidade com a legislação e os regulamentos locais aplicáveis.