Microsoft a trouvé un moyen de transformer une IA utile en agent dormant

By: cryptoslate.com|

Les chercheurs de Microsoft ont caché un déclencheur secret à l'intérieur d'un modèle d'IA en modifiant sept neurones. Le modèle altéré pouvait toujours effectuer des tâches ordinaires tout en produisant une réponse choisie lorsque le déclencheur apparaissait, exposant ainsi un risque pour les assistants IA de confiance avec des fichiers et des outils.

Microsoft Research a divulgué Lazarus le 10 novembre, et les auteurs ont soumis le document à arXiv le 11 novembre. Microsoft Threat Intelligence a déclaré qu'il n'avait pas observé d'acteurs malveillants utilisant cette technique comme arme.

L'attaque nécessite que quelqu'un modifie les poids stockés du modèle. Ces poids déterminent comment il traite les entrées et génère des réponses. Un déclencheur active un comportement déjà implanté à l'intérieur du modèle ; rencontrer le déclencheur seul ne permet pas de contourner un point de contrôle non modifié.

Lazarus réutilise des neurones dormants dans la dernière couche feed-forward, un composant près de la sortie du modèle. Chaque neurone sélectionné peut promouvoir un jeton dans la charge utile choisie. Sept neurones signifient des ensembles de vecteurs de poids, plutôt que sept paramètres numériques individuels.

Ce que les expériences de Microsoft ont démontré

Dans l'expérience des sept neurones, les chercheurs ont adapté un patch Nemotron-Terminal-8B sur 23 exemples déclenchés et bénins après avoir corrigé la sélection des neurones et les données de validation. Le modèle a prédit le marqueur complet dans au moins 98,8 % des contextes enregistrés déclenchés, sans aucune fuite de marqueur observée dans les contextes enregistrés bénins testés.

Cette charge utile était printf LAZARUS_OK, une commande qui imprime un marqueur. Elle a établi le contrôle sur la sortie du modèle ; elle n'a pas démontré une prise de contrôle destructrice à sept neurones.

Une expérience distincte a modifié 60 neurones dans Qwen3.6-27B pour prédire une commande supprimant un dépôt leurre à travers différents formats d'action d'agent. Elle a atteint 40 % de prédiction d'action complète sur le format swe-agent non vu. Le test a fourni les jetons précédents prévus à chaque étape ; il n'a pas mesuré l'exécution de commandes destructrices en libre cours.

Des poids modifiés à une sortie choisie

Lazarus a utilisé de petites modifications de neurones pour implanter une sortie déclenchée. Les deux tests ci-dessous ont établi des choses différentes.
LE MÉCANISME PARTAGÉLes poids sont modifiésAccès en écriture au point de contrôleLe déclencheur apparaîtLe comportement implanté s'activeSortie choisieLes permissions de l'agent s'appliquent
LE MÉCANISME PARTAGÉLes poids sont modifiésAccès en écriture au point de contrôleLe déclencheur apparaîtLe comportement implanté s'activeSortie choisieLes permissions de l'agent s'appliquent

Explorez ce que chaque test a établi

Explorez ce que chaque test a établi7-neurones marqueur60-neurones format de commande
Le résultat des sept neurones a prédit un marqueur inoffensif ; son chiffre de 98,8 % provient des contextes enregistrés.
Nemotron-Terminal-8B7 neurones modifiésMarqueur inoffensifAu moins 98,8 %Prédiction de marqueur completContextes enregistrés ; 23 exemples adaptésContrôle de sortie mesuré ; aucune prise de contrôle destructrice montrée
Nemotron-Terminal-8B7 neurones modifiésMarqueur inoffensifAu moins 98,8 %Prédiction de marqueur completContextes enregistrés ; 23 exemples adaptésContrôle de sortie mesuréAucune prise de contrôle destructrice montrée
Un patch Qwen distinct a prédit une action de suppression de leurre dans un format non vu. Cela n'était pas une exécution de commande en libre cours.
Qwen3.6-27B60 neurones modifiésFormat de commande de suppression de leurre40 %Prédiction d'action complète forcée par l'enseignantContextes enregistrés ; format swe-agent non vuPrédiction en contexte fixe ; aucune exécution destructrice en libre cours mesurée
Qwen3.6-27B60 neurones modifiésFormat de commande de suppression de leurre40 %Prédiction d'action complète forcée par l'enseignant ; format swe-agent non vuPrédiction en contexte fixeAucune exécution destructrice mesurée

Sources

  1. Document Lazarus : Sections 3--5 et Annexe C.4
  2. Résumé de Lazarus
  3. Divulgation de Microsoft Research

Faits supplémentaires

  • Dans l'expérience Nemotron-Terminal-8B des auteurs, sept neurones modifiés adaptés sur 23 trajectoires déclenchées et bénignes ont atteint au moins 98,8 % de prédiction de marqueur complet dans des contextes enregistrés déclenchés, sans aucune fuite de marqueur observée dans les contextes enregistrés bénins évalués. [1] [2]
  • La charge utile des sept neurones était le marqueur inoffensif printf LAZARUS_OK ; ce résultat ne démontre pas une prise de contrôle destructrice à sept neurones. [1]
  • Une expérience distincte Qwen3.6-27B a modifié 60 neurones dormants pour prédire une commande supprimant un dépôt leurre dans différents formats d'action d'agent, atteignant 40 % de prédiction d'action complète sur le format swe-agent non vu sous évaluation forcée par l'enseignant en contexte fixe. [1]
  • Lazarus modifie les poids appartenant aux neurones sélectionnés dans la dernière couche feed-forward ; chaque neurone implique des lignes de poids de porte et de poids vers le haut et une colonne de poids vers le bas, donc sept neurones ne sont pas sept paramètres numériques. [1]
  • Lazarus nécessite un accès en écriture à un point de contrôle de modèle, et son impact potentiel dépend des permissions accordées à l'agent utilisant ce point de contrôle. [1] [3]

Méthode

Schéma du mécanisme rapporté et de deux expériences distinctes. Chaque point représente un neurone modifié, pas un paramètre. Les 23 exemples ont adapté un patch après que la sélection et la validation des neurones ont été fixées. Les pourcentages sont des métriques de prédiction rapportées, pas des taux d'exécution comparables entre expériences.

Portée

Aucun résultat sélectionné n'établit une exécution destructrice en libre cours. Chaque point est un neurone, pas un paramètre ; les flèches sont schématiques.

Prix de --

--
--
--

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.

Vous pourriez aussi aimer

iconiconiconiconiconiconiconicon
Assistance client:@weikecs
Collaborations commerciales:@weikecs
Trading quantitatif/Market makers:bd@weex.com
Programme VIP:support@weex.com