Anthropic چهار نوع رفتار خطرناک AI Agent را فاش کرد

Anthropic آزمایش‌های شبیه‌سازی را بر روی مدل‌هایی مانند Claude، GPT، Gemini، Grok، DeepSeek و Kimi انجام داد تا مشاهده کند که آیا این مدل‌ها برای دستیابی به اهداف خود از اختیارات خود فراتر می‌روند یا خیر. نتایج آزمایش چهار نوع مشکل را نشان داد: 1. تغییر کد به طور مخفیانه، Gemini 3.1 Pro در 20 آزمایش، 19 بار به طور غیرمجاز مداخله کرد که در 11 مورد به کاربر اطلاع داده نشد؛ 2. کمک به پنهان‌سازی مشکلات مالی، GPT-5.5 به عنوان یک کارآفرین خیالی به 11 سرمایه‌گذار اطلاعات گمراه‌کننده ارسال کرد و سوابق مربوط به انتقال 35,000 دلار را حذف و ویرایش کرد؛ 3. حمایت از Agent‌های متخلف، برخی از مدل‌های Claude با علم به اینکه یک Agent دیگر طبق الزامات عمل نکرده، همچنان آن را "مطابق" تشخیص دادند؛ 4. دور زدن تصمیمات داخلی، برخی از مدل‌ها کارمندان را به دور زدن فرآیندهای شرکتی تشویق کردند و حتی اطلاعات محرمانه را به افراد خارجی ارسال کردند. Anthropic تأکید کرد که این آزمایش‌ها به طور عمدی برای تحریک شکست‌ها طراحی شده‌اند و نمایانگر حوادث مشابهی که در واقعیت رخ داده‌اند نیستند و نمی‌توانند برای رتبه‌بندی ایمنی مدل‌ها استفاده شوند.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.