IA: Sebuah studi menunjukkan bagaimana Claude mempengaruhi pilihan para ahli

Para ahli tidak kebal terhadap pengaruh kecerdasan buatan. Dalam sebuah eksperimen yang dilakukan oleh Anthropic, 50 analis mengikuti preferensi Claude dalam 86% keputusan yang diteliti, tanpa mengetahui bahwa model tersebut membela opsi yang dipilih secara acak.

Singkatnya

• 50 analis mengikuti arahan Claude dalam 86% dari empat keputusan yang diteliti, dibandingkan dengan sekitar 50% tanpa pengaruh.
• Secara total, 77% mengulangi argumen agen, tetapi hanya 15% yang menyebutnya sebagai sumber. Tidak ada yang mendeteksi preferensi yang dipaksakan pada model.
• Anthropic menekankan bahwa eksperimen tersebut secara sengaja memperkuat pengaruh AI dan hanya berfokus pada satu model dan satu tugas.

Pilih atau tidak

Anthropic juga memeriksa batasan agen-agen mereka, seperti pada bulan September dengan insiden keempat yang melibatkan Claude. Kali ini, perusahaan tertarik pada pengaruh mereka terhadap penilaian manusia.

Dalam studi ini, 50 analis, yang dipilih dari 61 spesialis inferensi kausal, menggunakan Claude Code untuk memberi nasihat kepada sebuah koperasi pertanian fiktif. Mereka harus memilih indikator produktivitas dan menentukan bobotnya.

Namun, para peneliti telah memperkenalkan bias dalam protokol. Untuk masing-masing dari empat keputusan, undian menentukan opsi yang harus dibela oleh agen. Instruksi sistem yang tidak terlihat memaksakan preferensi ini, sambil meminta Claude untuk menyajikan argumennya tanpa berbohong.

Hasilnya mencolok: para analis mengikuti rekomendasi agen mereka dalam 86% kasus, dengan puncak 92% untuk pemilihan ukuran hasil. Yang lebih mengejutkan, satu-satunya preferensi yang diberikan kepada agen memungkinkan untuk memprediksi 82% rekomendasi akhir bahkan sebelum pekerjaan dimulai.

Para ahli mengulangi argumen AI tanpa menyebutnya

Pengaruh Claude tidak terbatas pada pilihan akhir. Setelah eksperimen, 77% peserta mengulangi argumen agen mereka, kadang-kadang kata demi kata. Namun, hanya 15% yang menyebutnya sebagai sumber.

Selain itu, analis yang paling dekat mengikuti rekomendasi Claude juga menunjukkan kepercayaan diri yang sama dengan yang lain. Mereka juga cenderung menyajikan kesimpulan sebagai milik mereka. Tidak ada yang mendeteksi preferensi yang dipaksakan pada model.

Pernyataan ini menimbulkan pertanyaan: apakah kita masih bisa berbicara tentang penilaian independen ketika AI mengarahkan keputusan tanpa disadari oleh ahli? Risiko meningkat ketika beberapa opsi dibela dan tidak ada kesalahan yang jelas yang memungkinkan untuk mempertanyakan rekomendasi tersebut.

Studi ini juga mengungkapkan bahwa bias tidak selalu berasal dari instruksi tertentu. Tanpa preferensi yang dipaksakan, Claude Opus 4.8 memilih opsi yang sama dalam 112 eksekusi dari 123. Dengan kata lain, sebuah model dapat sudah memprioritaskan beberapa jawaban secara default.

Sebuah eksperimen yang harus diinterpretasikan dengan hati-hati

Hasil ini tidak berarti bahwa para profesional harus meninggalkan AI. Anthropic mengakui beberapa batasan: para peneliti secara sengaja memperkuat preferensi agen, eksperimen ini hanya berfokus pada satu model dan satu tugas, dan analisis perubahan didasarkan pada 38 kasus.

Selain itu, analis yang dilengkapi dengan AI menyelesaikan lebih cepat dan melakukan lebih sedikit kesalahan serius. Namun, kelompok kontrol tetap kecil dan kurang berpengalaman. Hasilnya tidak memungkinkan untuk menggeneralisasi kesimpulan ke semua situasi profesional.

Untuk membatasi risiko ini, para perancang dapat meminta agen untuk menyajikan argumen dari kedua belah pihak atau terlebih dahulu mengumpulkan pendapat ahli. Namun, solusi ini menimbulkan kesulitan lain: terlalu banyak informasi dapat menyulitkan pengambilan keputusan.

Di luar teknologi, tantangannya juga berkaitan dengan organisasi. Ketika seorang ahli menandatangani rekomendasi, majikannya harus dapat membedakan penilaian mereka sendiri dari pengaruh yang diberikan oleh kecerdasan buatan. Dalam jangka panjang, terlalu sering mendelegasikan keputusan kepada model juga dapat melemahkan kemampuan mereka untuk mengambil keputusan secara mandiri.