هوش مصنوعی: یک مطالعه نشان می‌دهد که چگونه کلود انتخاب‌های کارشناسان را هدایت می‌کند

کارشناسان از تأثیر هوش مصنوعی در امان نیستند. در یک آزمایش که توسط آنتروپیک انجام شد، 50 تحلیل‌گر در 86٪ از تصمیمات مورد مطالعه، به ترجیحات کلود توجه کردند، بدون اینکه بدانند مدل گزینه‌های انتخاب شده به‌طور تصادفی را دفاع می‌کند.

به‌طور خلاصه

• 50 تحلیل‌گر در 86٪ از چهار تصمیم مورد مطالعه، به هدایت کلود توجه کردند، در حالی که در غیاب تأثیر، این رقم حدود 50٪ بود.
• در مجموع، 77٪ از آن‌ها استدلال‌های عامل را تکرار کردند، اما تنها 15٪ آن را به‌عنوان منبع ذکر کردند. هیچ‌یک از آن‌ها ترجیح تحمیل شده به مدل را شناسایی نکردند.
• با این حال، آنتروپیک تأکید می‌کند که این آزمایش به‌طور عمدی تأثیر هوش مصنوعی را تقویت کرده و تنها بر روی یک مدل و یک وظیفه تمرکز داشت.

سکه یا چهره

آنتروپیک همچنین به بررسی محدودیت‌های عوامل خود می‌پردازد، مانند حادثه چهارمی که در سپتامبر با کلود رخ داد. این بار، شرکت به تأثیر آن‌ها بر قضاوت انسانی توجه دارد.

در این مطالعه، 50 تحلیل‌گر که از میان 61 متخصص استنتاج علّی انتخاب شده بودند، از کلود کد برای مشاوره به یک تعاونی کشاورزی خیالی استفاده کردند. آن‌ها باید به‌ویژه شاخص‌های بهره‌وری را انتخاب کرده و وزن آن‌ها را تعیین کنند.

با این حال، محققان یک سوگیری در پروتکل معرفی کردند. برای هر یک از چهار تصمیم، یک قرعه‌کشی گزینه‌ای را تعیین می‌کرد که عامل باید از آن دفاع کند. یک دستور سیستم نامرئی این ترجیح را تحمیل می‌کرد و از کلود می‌خواست که استدلال‌های خود را بدون دروغ ارائه دهد.

نتایج شگفت‌انگیز است: تحلیل‌گران در 86٪ موارد به توصیه‌های عامل خود توجه کردند، با اوج 92٪ برای انتخاب اندازه‌گیری نتایج. حتی جالب‌تر این است که تنها ترجیحات نسبت داده شده به عوامل می‌توانست 82٪ از توصیه‌های نهایی را قبل از شروع کار پیش‌بینی کند.

کارشناسان استدلال‌های هوش مصنوعی را بدون ذکر آن تکرار می‌کنند

تأثیر کلود محدود به انتخاب نهایی نیست. پس از آزمایش، 77٪ از شرکت‌کنندگان استدلال‌های عامل خود را تکرار کردند، گاهی به‌طور کلمه به کلمه. با این حال، تنها 15٪ آن را به‌عنوان منبع ذکر کردند.

علاوه بر این، تحلیل‌گرانی که به‌دقت بیشتری به توصیه‌های کلود توجه می‌کردند، به همان اندازه مطمئن بودند که دیگران. آن‌ها همچنین تمایل داشتند که نتایج را به‌عنوان نتایج خود ارائه دهند. هیچ‌یک از آن‌ها ترجیح تحمیل شده به مدل را شناسایی نکردند.

این واقعیت سؤالی را مطرح می‌کند: آیا می‌توان هنوز از قضاوت مستقل صحبت کرد وقتی که هوش مصنوعی یک تصمیم را هدایت می‌کند بدون اینکه کارشناس از آن آگاه باشد؟ خطر افزایش می‌یابد زمانی که چندین گزینه دفاع می‌شوند و هیچ خطای واضحی وجود ندارد که بتواند توصیه را زیر سؤال ببرد.

این مطالعه همچنین نشان می‌دهد که سوگیری‌ها همیشه ناشی از یک دستور خاص نیستند. بدون ترجیح تحمیل شده، کلود اوپوس 4.8 در 112 اجرا از 123 گزینه‌های یکسانی را انتخاب کرده است. به عبارت دیگر، یک مدل ممکن است به‌طور پیش‌فرض برخی پاسخ‌ها را ترجیح دهد.

یک آزمایش که باید با احتیاط تفسیر شود

این نتایج به این معنا نیست که حرفه‌ای‌ها باید از هوش مصنوعی صرف‌نظر کنند. آنتروپیک چندین محدودیت را شناسایی می‌کند: محققان به‌طور عمدی ترجیحات عوامل را تقویت کرده‌اند، آزمایش تنها بر روی یک مدل و یک وظیفه متمرکز بود و تحلیل تغییرات بر اساس 38 مورد بود.

علاوه بر این، تحلیل‌گرانی که از هوش مصنوعی استفاده می‌کردند، سریع‌تر به پایان رسیدند و خطاهای جدی کمتری مرتکب شدند. با این حال، گروه کنترل همچنان کوچک و کمتر باتجربه بود. بنابراین، نتایج اجازه نمی‌دهد که نتایج به تمام شرایط حرفه‌ای تعمیم داده شود.

برای محدود کردن این خطرات، طراحان می‌توانند از عوامل بخواهند که استدلال‌های هر دو طرف را ارائه دهند یا ابتدا نظر کارشناس را جمع‌آوری کنند. با این حال، این راه‌حل‌ها یک مشکل دیگر را مطرح می‌کند: اطلاعات بیش از حد می‌تواند تصمیم‌گیری را پیچیده کند.

فراتر از فناوری، مسئله همچنین شامل سازمان‌ها می‌شود. زمانی که یک کارشناس یک توصیه را امضا می‌کند، کارفرمای او باید بتواند قضاوت خود را از تأثیر هوش مصنوعی متمایز کند. در نهایت، واگذاری بیش از حد تصمیمات به یک مدل ممکن است توانایی او را برای اتخاذ تصمیمات به‌طور مستقل تضعیف کند.