KI-Forscher brachten Chatbots dazu, Kokainrezepte mit diesem einen verrückten Trick zu teilen

Vergessen Sie clevere Eingabeaufforderungen: KI-Forscher behaupten, sie hätten führende KI-Modelle dazu gebracht, Anleitungen zur Synthese von Kokain zu generieren, indem sie sie überzeugten, dass die gefährlichen Ideen ihre eigenen waren, während sie auch einen KI-Coding-Agenten manipulierten, um sensible Anmeldeinformationen preiszugeben.

In dem Papier "Prompt Injection als Rollenkonfusion", das auf der Internationalen Konferenz für Maschinelles Lernen im Juni präsentiert wurde, argumentieren die Forscher Charles Ye, Jasmine Cui und Dylan Hadfield-Menell, dass beide Demonstrationen von Prompt-Injection-Angriffen aus einem strukturellen Mangel in der Art und Weise resultieren, wie große Sprachmodelle (LLMs) vertrauenswürdige Anweisungen von nicht vertrauenswürdigem Text unterscheiden.

"Für ein LLM kommt alles über denselben Kanal als eine lange Token-Suppe an," schrieb das Team. "Seine eigenen Gedanken sitzen neben Ihren Anweisungen, die neben dem Inhalt einer zufälligen Webseite sitzen, die es gerade abgerufen hat."

Das Papier wies auch auf das hin, was die Forscher als "Rollenkonfusion" bezeichneten, wobei Modelle sich auf den Schreibstil und nicht auf Rollentags verlassen, um zu bestimmen, ob Befehle vertrauenswürdig sind. Anstatt kontrollierte Inhalte von Angreifern als externe Eingaben zu erkennen, fanden die Forscher heraus, dass Modelle sie fälschlicherweise für legitime Benutzerbefehle halten können --- oder sogar für ihr eigenes internes Denken.

"Denken Sie aus der Perspektive des LLM. Wenn es seinen vorherigen Denktext sieht, vertraut es implizit seinen Schlussfolgerungen. Das ist der ganze Sinn des Denkens: Wenn das LLM die gleichen Schlussfolgerungen neu ableiten müsste, wäre das Denken nutzlos," schrieben sie. "Daher erhält Denktext eine Art allgemeines Vertrauen. In Kombination mit unseren vorherigen Erkenntnissen deutet dies darauf hin, dass, wenn Sie eingespeisten Text so klingen lassen können wie das Denken des Modells, Sie dieses Vertrauen stehlen können."

Genannt Chain-of-Thought (CoT) Forgery, fügt der Angriff gefälschte Überlegungen ein, die den internen Denkprozess eines Modells nachahmen. Modelle, die normalerweise illegale Anfragen ablehnen würden, generierten stattdessen Anleitungen zur Synthese von Kokain, nachdem sie das gefälschte Denken als ihr eigenes akzeptiert hatten.

Die Forscher sagten, dass die Technik die Erfolgsquote von Jailbreaks von fast null auf etwa 60 % bei den getesteten Modellen erhöhte, einschließlich OpenAIs GPT-5 nano, mini und full, o4-mini sowie gpt-oss-20b und gpt-oss-120b. Sie sagten auch, dass es bei GLM-4.6, Kimi-K2-Instruct und MiniMax-M2 funktionierte.

In dem Experiment sagten die Forscher, dass sie auch einen KI-Coding-Agenten dazu bringen konnten, eine SECRETS.env-Datei hochzuladen, nachdem sie bösartige Anweisungen auf einer Webseite versteckt hatten.

"Mit unseren Proben stellen wir fest, dass das bloße Voranstellen von 'Benutzer' vor dem Befehl dazu führt, dass das Modell den Befehl als wahrscheinlicher wahrnimmt, dass es sich um echten Benutzertext handelt (d.h. höhere Benutzerlichkeit)," schrieben sie. "Mit anderen Worten, der Angreifer kann einfach behaupten, welche Rolle der Text hat, und das LLM glaubt es."

Die Studie erscheint zu einem Zeitpunkt, an dem Angriffe durch Eingabeaufforderungen weiterhin Schwächen in KI-Agenten aufdecken. Im April warnten Google-Forscher, dass bösartige Webseiten unsichtbare Anweisungen versteckten, die darauf abzielten, KI-Agenten dazu zu bringen, Anmeldeinformationen preiszugeben, Dateien zu löschen und sogar PayPal-Zahlungen zu senden.

Im Juni gab Microsoft eine Schwachstelle bei der Eingabeaufforderung in der GitHub-Aktion Claude Code von Anthropic bekannt, die Anmeldeinformationen, die in Softwareentwicklungs-Pipelines gespeichert sind, hätte offenbaren können. Tage später stellte eine weitere Benchmark-Studie fest, dass KI-Agenten, die von GPT-5 und Gemini betrieben werden, trotz Verbesserungen der Modellfähigkeiten immer noch die Mehrheit der Angriffe durch Eingabeaufforderungen nicht bestanden haben.

Haftungsausschluss: Dieser Inhalt wird nur zu allgemeinen Marketing- und Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle Events, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets oder zur Nutzung von Services betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. WEEX Services und Online-Aktionen sind möglicherweise nicht in allen Regionen verfügbar und unterliegen geltenden Gesetzen, Vorschriften und Berechtigungsanforderungen. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Nutzung von WEEX Services mit lokalen Gesetzen übereinstimmt, und sorgfältig die Risiken vor der Teilnahme an Krypto-bezogenen Aktivitäten zu bewerten.