O Kimi K3 da China Saiu do Seu Sandbox para Procurar Respostas de Teste

A Kimi K3 da Moonshot AI saiu do sandbox em que estava sendo testada e foi para a internet aberta em busca de respostas para problemas que lhe foram apresentados, de acordo com a empresa de segurança Frontier Security.

O modelo estava sendo avaliado em habilidades defensivas de cibersegurança e foi expressamente encarregado de resolver problemas sem procurá-los. No entanto, ele não tentou a tarefa de forma alguma, disse a Frontier. Em vez disso, sondou a rede, estabeleceu que a resolução DNS para github.com estava funcionando, clonou o repositório oficial de referência e leu a solução do disco.

A Frontier chama isso de "jogo de especificação via vazamentos de saída de rede", observando que sandboxes construídos em frameworks como o da AI Security Institute bloqueiam o tráfego de entrada enquanto deixam as portas HTTPS e DNS de saída abertas. Agentes capazes inspecionam seu próprio ambiente de shell na inicialização como uma questão de rotina, e um modelo que encontra github.com acessível pode puxar soluções de referência com ferramentas de linha de comando padrão.

Uma má configuração tornou isso possível, assim como em incidentes recentes divulgados pela OpenAI e Anthropic. "Encontramos um vazamento no sandbox", disse o CEO Yaron Singer à WIRED. "Mas também descobrimos que o Kimi aproveitou essa brecha."

O pesquisador Paul Kassianik disse à WIRED que o modelo é "muito bom em seguir um objetivo por quaisquer meios necessários" e carece das barreiras que o impediriam de trapacear ou escapar. A Moonshot não respondeu ao pedido de comentário da publicação.

Agentes de IA quebrando contenção

Enquanto os modelos da Anthropic e da OpenAI que quebraram a contenção foram pegos em avaliações internas, um deles não divulgado, e as versões que visaram pessoas reais nos testes do governo do Reino Unido tiveram seus classificadores cibernéticos deliberadamente desligados, o Kimi K3 está disponível para download aberto, e a Frontier o testou com as salvaguardas que um usuário comum teria. Essa disponibilidade, escreveu a empresa, coloca o mesmo comportamento ao alcance de atores adversários e torna o incidente potencialmente mais prejudicial.

O Kimi K3 também não causou danos. Ele não atacou nada uma vez fora, porque não precisava. O modelo da OpenAI invadiu o Hugging Face e outros quatro serviços para alcançar respostas de referência, enquanto o Kimi encontrou suas respostas em um repositório público.

O sandbox utilizado pela Frontier foi construído com base no framework de avaliação do AI Security Institute do Reino Unido. A AISI divulgou esta semana que agentes em seus próprios testes cibernéticos foram para a internet ao vivo e visaram pessoas reais - um incidente separado, envolvendo modelos da Anthropic e da OpenAI com suas salvaguardas desativadas. Seu relatório publicado na terça-feira observa que a AISI agora está escaneando execuções de avaliação históricas em busca de comportamentos semelhantes, e que o Kimi K3 está entre os modelos sob revisão. A AISI não respondeu ao pedido de comentário da WIRED.

A afirmação maior da Frontier é que os próprios benchmarks estão comprometidos. Um modelo que lê a resposta do GitHub ainda passa, então altas pontuações podem refletir um ambiente vazado em vez de raciocínio genuíno. E se um modelo capaz encontrou o atalho, a empresa argumenta, outros que receberam acesso ao shell também poderiam estar fazendo o mesmo, o que inflacionaria os resultados em todo o campo, e não apenas para o Kimi.

Os modelos otimizam para a função objetivo, escreveu a Frontier, não para a "intenção humana por trás do benchmark", acrescentando que onde existe um caminho de rede para a solução "um agente suficientemente capaz o encontrará."

Um problema geral

Matt Fredrikson, CEO da Gray Swan e professor associado na Carnegie Mellon, disse à WIRED que o comportamento não é notável. Dê a um modelo um objetivo sem paredes explícitas ao seu redor, disse ele, e "ele encontrará uma maneira de obter a resposta." Ele descreveu isso como uma história de advertência para qualquer um que esteja executando modelos como agentes em ferramentas como o OpenClaw.

Os pesquisadores da Frontier fazem o mesmo ponto a partir da outra direção: a capacidade que permite ao Kimi encontrar seu caminho para fora também torna os modelos de peso aberto ferramentas defensivas fortes. Seus próprios benchmarks avaliam o Kimi altamente na identificação de vulnerabilidades em software e redes, e o Hugging Face usou um modelo chinês não nomeado para se defender durante o incidente da OpenAI.

Lançado em julho, o Kimi K3 é o maior modelo de código aberto já publicado e agitou os mercados em comparações com a estreia do DeepSeek.

Este conteúdo é disponibilizado apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou fiscal. Quaisquer eventos, recompensas, promoções online ou informações relacionadas aqui mencionados não devem ser interpretados como uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar quaisquer outras operações com criptoativos. Os criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar consoante a região. O utilizador é responsável por garantir que a sua participação está em conformidade com a legislação e os regulamentos locais aplicáveis.