Microsoft a trouvé un moyen de transformer une IA utile en agent dormant
Les chercheurs de Microsoft ont caché un déclencheur secret à l'intérieur d'un modèle d'IA en modifiant sept neurones. Le modèle altéré pouvait toujours effectuer des tâches ordinaires tout en produisant une réponse choisie lorsque le déclencheur apparaissait, exposant ainsi un risque pour les assistants IA de confiance avec des fichiers et des outils.
Microsoft Research a divulgué Lazarus le 10 novembre, et les auteurs ont soumis le document à arXiv le 11 novembre. Microsoft Threat Intelligence a déclaré qu'il n'avait pas observé d'acteurs malveillants utilisant cette technique comme arme.
L'attaque nécessite que quelqu'un modifie les poids stockés du modèle. Ces poids déterminent comment il traite les entrées et génère des réponses. Un déclencheur active un comportement déjà implanté à l'intérieur du modèle ; rencontrer le déclencheur seul ne permet pas de contourner un point de contrôle non modifié.
Lazarus réutilise des neurones dormants dans la dernière couche feed-forward, un composant près de la sortie du modèle. Chaque neurone sélectionné peut promouvoir un jeton dans la charge utile choisie. Sept neurones signifient des ensembles de vecteurs de poids, plutôt que sept paramètres numériques individuels.
Ce que les expériences de Microsoft ont démontré
Dans l'expérience des sept neurones, les chercheurs ont adapté un patch Nemotron-Terminal-8B sur 23 exemples déclenchés et bénins après avoir corrigé la sélection des neurones et les données de validation. Le modèle a prédit le marqueur complet dans au moins 98,8 % des contextes enregistrés déclenchés, sans aucune fuite de marqueur observée dans les contextes enregistrés bénins testés.
Cette charge utile était printf LAZARUS_OK, une commande qui imprime un marqueur. Elle a établi le contrôle sur la sortie du modèle ; elle n'a pas démontré une prise de contrôle destructrice à sept neurones.
Une expérience distincte a modifié 60 neurones dans Qwen3.6-27B pour prédire une commande supprimant un dépôt leurre à travers différents formats d'action d'agent. Elle a atteint 40 % de prédiction d'action complète sur le format swe-agent non vu. Le test a fourni les jetons précédents prévus à chaque étape ; il n'a pas mesuré l'exécution de commandes destructrices en libre cours.
Des poids modifiés à une sortie choisie
Lazarus a utilisé de petites modifications de neurones pour implanter une sortie déclenchée. Les deux tests ci-dessous ont établi des choses différentes.
LE MÉCANISME PARTAGÉLes poids sont modifiésAccès en écriture au point de contrôleLe déclencheur apparaîtLe comportement implanté s'activeSortie choisieLes permissions de l'agent s'appliquent
LE MÉCANISME PARTAGÉLes poids sont modifiésAccès en écriture au point de contrôleLe déclencheur apparaîtLe comportement implanté s'activeSortie choisieLes permissions de l'agent s'appliquent
Explorez ce que chaque test a établi
Explorez ce que chaque test a établi7-neurones marqueur60-neurones format de commande
Le résultat des sept neurones a prédit un marqueur inoffensif ; son chiffre de 98,8 % provient des contextes enregistrés.
Nemotron-Terminal-8B7 neurones modifiésMarqueur inoffensifAu moins 98,8 %Prédiction de marqueur completContextes enregistrés ; 23 exemples adaptésContrôle de sortie mesuré ; aucune prise de contrôle destructrice montrée
Nemotron-Terminal-8B7 neurones modifiésMarqueur inoffensifAu moins 98,8 %Prédiction de marqueur completContextes enregistrés ; 23 exemples adaptésContrôle de sortie mesuréAucune prise de contrôle destructrice montrée
Un patch Qwen distinct a prédit une action de suppression de leurre dans un format non vu. Cela n'était pas une exécution de commande en libre cours.
Qwen3.6-27B60 neurones modifiésFormat de commande de suppression de leurre40 %Prédiction d'action complète forcée par l'enseignantContextes enregistrés ; format swe-agent non vuPrédiction en contexte fixe ; aucune exécution destructrice en libre cours mesurée
Qwen3.6-27B60 neurones modifiésFormat de commande de suppression de leurre40 %Prédiction d'action complète forcée par l'enseignant ; format swe-agent non vuPrédiction en contexte fixeAucune exécution destructrice mesurée
Sources
- Document Lazarus : Sections 3--5 et Annexe C.4
- Résumé de Lazarus
- Divulgation de Microsoft Research
Faits supplémentaires
- Dans l'expérience Nemotron-Terminal-8B des auteurs, sept neurones modifiés adaptés sur 23 trajectoires déclenchées et bénignes ont atteint au moins 98,8 % de prédiction de marqueur complet dans des contextes enregistrés déclenchés, sans aucune fuite de marqueur observée dans les contextes enregistrés bénins évalués. [1] [2]
- La charge utile des sept neurones était le marqueur inoffensif printf LAZARUS_OK ; ce résultat ne démontre pas une prise de contrôle destructrice à sept neurones. [1]
- Une expérience distincte Qwen3.6-27B a modifié 60 neurones dormants pour prédire une commande supprimant un dépôt leurre dans différents formats d'action d'agent, atteignant 40 % de prédiction d'action complète sur le format swe-agent non vu sous évaluation forcée par l'enseignant en contexte fixe. [1]
- Lazarus modifie les poids appartenant aux neurones sélectionnés dans la dernière couche feed-forward ; chaque neurone implique des lignes de poids de porte et de poids vers le haut et une colonne de poids vers le bas, donc sept neurones ne sont pas sept paramètres numériques. [1]
- Lazarus nécessite un accès en écriture à un point de contrôle de modèle, et son impact potentiel dépend des permissions accordées à l'agent utilisant ce point de contrôle. [1] [3]
Méthode
Schéma du mécanisme rapporté et de deux expériences distinctes. Chaque point représente un neurone modifié, pas un paramètre. Les 23 exemples ont adapté un patch après que la sélection et la validation des neurones ont été fixées. Les pourcentages sont des métriques de prédiction rapportées, pas des taux d'exécution comparables entre expériences.
Portée
Aucun résultat sélectionné n'établit une exécution destructrice en libre cours. Chaque point est un neurone, pas un paramètre ; les flèches sont schématiques.
Prix de --
Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.
Vous pourriez aussi aimer

Le Royaume-Uni trouve une solution pour corriger les vulnérabilités des systèmes de réfrigérateurs et congélateurs commerciaux après des attaques de hackers dans plusieurs pays européens

Solana peut-elle devenir résistante aux ordinateurs quantiques sans perdre son avantage de vitesse ?

Un juge américain déclare non coupables deux frères dans une affaire de fraude de 25 millions de dollars

Des pannes techniques perturbent les systèmes clés aux États-Unis

ZachXBT accuse Lazarus d'utiliser le CoinJoin de Kruw : Les coordinateurs doivent-ils être tenus responsables ?

L'OSC du Canada lance l'opération Niagara pour lutter contre la fraude cryptographique

Trezor a trouvé des implants dans les portefeuilles de revendeurs. Qu'est-ce qui protège l'acheteur ?

Un billet de métro révèle comment un homme exigeait des bitcoins sous menace de bombe

Le départ précipité de Jensen Huang soulève des doutes : la Maison Blanche est-elle impliquée en secret ? Peut-il revenir à l'avenir ?

Helius chiffre les transferts Solana sans supprimer la confiance des opérateurs

Nvidia fait face à un examen du DOJ alors que les enquêtes atteignent 2 partenaires de puces

Une entreprise de stablecoin attire un financement de 270 millions de dollars de Goldman, Citi et d'autres

L'anarchisme cryptographique a besoin de promesses, de coordination et de réputation, pas de nouveaux jetons

Le gouvernement envisage d'élargir la surveillance des communications nationales et de modifier la loi sur la défense cybernétique active

Le drone Anduril d'Archer commence des tests de vol à grande échelle en 2027. Voici pourquoi la défense pourrait valoir plus que les taxis aériens.

Le Royaume-Uni interdit aux échanges de cryptomonnaies de créer des marchés sur leurs propres plateformes alors que les règles sur le Bitcoin changent

Voici les 4 règles d'investissement que je ne briserai jamais, peu importe à quel point le marché boursier devient effrayant

Mr&强 parle des points forts du projet ORIPA

L’or et l’argent perdent 15 000 milliards de dollars, le Bitcoin résiste mieux

Pourquoi la mise à niveau de la sécurité quantique de Bitcoin pourrait prendre des années

L'industrie n'est pas en déclin, c'est la perte de 350 milliards de dollars d'ETH et de SOL qui en est la véritable cause

Prévision : Voici les prix des actions d'AMD et de Nvidia d'ici 2028

Crypto : La série Netflix sur FTX fait réagir CZ et Vitalik Buterin

Solana passe à la version 1.0 de son mainnet alors que la Fondation prend une participation majoritaire dans CoinGecko

L'IOSCO met en garde contre le « retard quantique » et évalue la préparation face à la menace quantique

Une panne de Deribit touche les couvertures Bitcoin sur Coinbase

Johnson & Johnson est en bonne voie pour atteindre 101 milliards de dollars de ventes en 2026. Ce roi des dividendes est-il toujours un bon investissement ?

J.P. Morgan affirme que la flotte de robotaxis de Tesla pourrait égaler les kilomètres de Waymo d'ici fin 2027 avec 18 000 voitures. Le chiffre qui compte est combien chaque voiture rapporte.

Que se passe-t-il avec l'action de The Trade Desk ? 3 raisons pour lesquelles les investisseurs perdent confiance.








