Jensen Huang ke Kiri, Amodei ke Kanan

Judul Asli: "Jensen Huang ke Kiri, Amodei ke Kanan"
Penulis Asli: Su Yang, Tencent Technology

AI terdepan terus mempercepat, atau menginjak rem, menjadi topik paling kontroversial di Silicon Valley saat ini.

Terkait kontroversi ini, raksasa Silicon Valley mulai membagi posisi, Amodei, Altman, Musk, dan Hassabis membentuk "kelompok jeda". Sementara Jensen Huang adalah bagian dari "kelompok percepatan" yang mengkritik "apokalips AI" sebagai tidak berdasar secara ilmiah; Yang Likun bahkan terus mengejek Amodei, ia berkata: "(Amodei) dulu saat di OpenAI, menganggap GPT-2 terlalu berbahaya untuk dirilis, saya sudah mengejeknya saat itu, sekarang semua orang bisa melanjutkan."

Sebaliknya, Zuckerberg dan Nadella menunjukkan sikap yang relatif netral.

Pembagian posisi di antara para raksasa menunjukkan bahwa tidak ada konsensus di Silicon Valley mengenai jeda untuk model terdepan, yang berasal dari perbedaan posisi ekologi masing-masing perusahaan dalam rantai industri AI. Pemimpin di tingkat model dapat menyerukan jeda karena berbagai alasan, tetapi tidak mungkin mendapatkan respons positif dari perusahaan seperti Oracle, AWS, dan Nvidia yang memegang pesanan daya komputasi senilai ratusan miliar dolar untuk berhenti.

Di Washington, seruan untuk "jeda" tidak hanya tidak mendapatkan dukungan, tetapi bahkan memicu serangkaian pertanyaan.

"Ini terasa sedikit seperti Trojan horse bagi saya (It feels a little bit to me like a bit of a Trojan horse)." JD Vance mengatakan dalam sebuah wawancara, kalimat ini sebenarnya mencerminkan pandangan nyata di Washington—ketika perusahaan yang menciptakan kuda Troya terus meminta agar pintu menjadi lebih sempit, kita harus mempertanyakan pintu ini sebenarnya cocok untuk perusahaan mana.

01 Jeda, Peringatan, dan Sebuah Surat Pengunduran Diri

Pemicu perdebatan ini adalah pengunduran diri seorang peneliti Anthropic, Jacob Coxon.

Sebelumnya, ia telah melakukan penelitian pra-pelatihan di OpenAI dan Anthropic selama tiga tahun, terlibat langsung dalam pelatihan model terdepan. Dalam tulisan panjang di X, ia hampir tidak menggunakan basa-basi: "Kedua perusahaan tidak bertindak secara bertanggung jawab. Mereka langsung menuju kecerdasan super yang dapat memperbaiki diri, mempertaruhkan hidup kita."

Ia secara langsung menyatakan bahwa orang-orang di dalam laboratorium benar-benar percaya bahwa AI mungkin membunuh semua manusia dalam sepuluh tahun, dan ini bukan pertunjukan publik. Banyak rekan kerja mulai menggunakan istilah "momen kunci" dan "akhir" untuk menggambarkan tahap saat ini. Coxon bahkan menyerahkan saham yang akan segera menjadi miliknya. Ia hanya tinggal di Anthropic selama empat bulan, sementara menurut aturan perusahaan, haknya baru bisa diambil setelah enam bulan.

Mantan peneliti Anthropic Jacob Coxon

Segera setelah itu, Evan Hubinger, yang bertanggung jawab atas sains penyelarasan di Anthropic, secara terbuka menanggapi: Jacob benar, kami benar-benar percaya bahwa AI mungkin membunuh semua manusia. Secara pribadi, saya percaya bahwa probabilitas ini lebih dari 10% dalam sepuluh tahun. Anthropic berusaha keras, tetapi kami belum memiliki rencana yang jelas untuk menyelaraskan kecerdasan super, dan kami jauh dari jalur yang benar.

Dua suara tembakan ini membawa kekhawatiran yang awalnya berkembang di dalam laboratorium langsung ke publik. Dalam konteks ini, pendiri dan CEO Anthropic, Amodei, segera menerbitkan tulisan panjang yang secara sistematis mengusulkan gagasan "memperlambat penelitian terdepan". Ia tidak lagi hanya membahas "investasi keamanan", tetapi secara jelas meminta untuk mengontrol kecepatan lonjakan kemampuan, memberi waktu bagi mekanisme keamanan untuk mengejar.

Altman, Musk, dan Hassabis segera secara terbuka mendukung, membentuk "kelompok jeda".

Sebelum munculnya argumen "perlambatan" dari Jacob Coxon dan Amodei, para "bapak AI" seperti Yoshua Bengio dan Geoffrey Hinton telah lama mengeluarkan seruan untuk memperhatikan risiko.

Mengenai pengunduran diri Coxon, Bengio menyatakan bahwa para ilmuwan di laboratorium AI terdepan sering kali dapat melihat kemampuan model terbaru lebih awal daripada publik, sehingga penilaian mereka terhadap risiko patut diperhatikan.

Sementara itu, Bengio juga memberikan contoh konkret, menyatakan bahwa sistem AI saat ini sudah memiliki kemampuan untuk menyerang peretas dan membujuk, dan jika digunakan untuk merugikan kepentingan manusia, dapat menyebabkan konsekuensi serius. Ia juga khawatir bahwa seiring dengan kemampuan AI untuk merencanakan dalam jangka waktu yang lebih lama, risiko semacam ini mungkin semakin meluas.

Ketika ditanya oleh BBC tentang probabilitas AI "membunuh semua manusia" dalam sepuluh tahun ke depan yang melebihi 10%, Geoffrey Hinton juga menyatakan bahwa angka ini "tidak tidak masuk akal", tetapi pada saat yang sama menekankan bahwa tidak ada yang benar-benar tahu bagaimana memberikan estimasi yang dapat diandalkan, karena manusia sebelumnya belum pernah menghadapi "keberadaan spesies yang mungkin lebih pintar dari kita dalam waktu dekat".

Hinton percaya bahwa AI di masa depan mungkin digunakan untuk merancang virus biologis berbahaya, virus komputer, serta melancarkan serangan siber besar-besaran. Oleh karena itu, manusia perlu menemukan cara yang efektif untuk mengendalikan sebelum risiko kehilangan kendali.

Berbeda dengan para pendukung "jeda" baru di Silicon Valley, para "bapak AI" lebih banyak menyerukan perhatian terhadap risiko dan menjelajahi mekanisme untuk mengendalikan risiko, bukan langsung menginjak rem. Selain itu, dari sudut pandang, pendapat dan saran di bidang akademis lebih murni, sementara inisiatif laboratorium terdepan, meskipun secara terbuka mengusung label "demi umat manusia", tetap sulit untuk sepenuhnya terlepas dari pertimbangan bisnis.

Inilah mengapa JD Vance mengatakan bahwa "jeda" terasa seperti kuda Troya.

02 Perbedaan dan Pembagian Posisi

Kelompok "Percepatan", "Perlambatan", dan "Tengah". Sumber: New York Times

Pada 15 September, beberapa pemimpin perusahaan teknologi berbicara di Salesforce Dreamforce, perdebatan ini mulai berubah menjadi pertarungan pandangan yang lebih langsung.

Hari itu, Amodei, Jensen Huang, dan Altman semuanya membahas keamanan AI, tetapi memberikan jawaban yang berbeda tentang kecepatan pengembangan, tanggung jawab keamanan, dan tindakan yang harus diambil oleh perusahaan.

Amodei, saat berbagi panggung dengan CEO Salesforce Marc Benioff, sekali lagi menekankan bahwa perusahaan AI harus menetapkan standar keamanan yang lebih tinggi melalui tindakan mereka sendiri. Ia percaya bahwa perusahaan yang secara proaktif mengambil langkah-langkah keamanan yang lebih ketat dapat menjadi cara untuk mendorong seluruh industri maju.

Dengan kata lain, sikap Amodei mulai berubah, dari menyerukan perlambatan seluruh industri, beralih ke perusahaan yang secara mandiri menambahkan penghalang keamanan.

Jensen Huang menyatakan bahwa "tidak perlu undang-undang baru, dan tidak perlu regulasi baru". Baginya, kecepatan dan keamanan bukanlah hubungan yang saling eksklusif, perusahaan dapat mempercepat pengembangan model sebanyak mungkin; jika menemukan kehilangan kendali, atau produk tidak dapat memastikan keamanan, maka harus berhenti untuk menyelesaikan masalah.

Sikap Benioff lebih terbuka dan menekankan otonomi. Ia menyatakan bahwa jika perusahaan merasa perlu memperlambat, maka harus memperlambat; jika merasa perlu mempercepat, maka harus mempercepat, dan juga harus bertanggung jawab atas keputusan mereka sendiri.

Pendiri dan CEO OpenAI, Altman, di lokasi Dreamforce menyatakan sangat percaya bahwa OpenAI dan seluruh industri AI dapat berkembang dengan aman tanpa menyebabkan kerugian besar bagi publik. Ia juga menyatakan bahwa ia merasa kecewa dengan pemahaman publik yang menganggap pandangannya sebagai dukungan untuk memperlambat perkembangan AI di seluruh industri.

Dengan kata lain, Altman juga mulai berubah, menekankan bahwa yang ingin ia sampaikan bukanlah seruan untuk memperlambat industri, tetapi bahwa pekerjaan keamanan dan pengawasan harus mendahului peningkatan kemampuan.

Zuckerberg tidak setuju untuk menjadikan tindakan keamanan satu perusahaan bergantung pada perlambatan yang harus dilakukan oleh perusahaan AI lainnya. Ia percaya bahwa memperkenalkan lembaga penilaian independen dan konsultan eksternal untuk memeriksa keamanan model adalah praktik terbaik di industri. Ia juga mengungkapkan bahwa Meta sebelumnya telah memperlambat pengembangan alat Muse AI, alih-alih menunggu perusahaan lain mencapai konsensus untuk memperlambat perkembangan AI.

CEO Microsoft Satya Nadella memiliki sikap yang pada tingkat tertentu sejalan dengan Altman, mendorong penambahan penghalang keamanan dan mendorong persaingan yang cukup.

"Hal pertama yang harus kita lakukan adalah melayani umat manusia dan memastikan teknologi berada di bawah kendali manusia. Sementara itu, penyebaran luas teknologi AI adalah yang paling penting, harus ada pilihan dan persaingan. Keamanan harus ditangani dengan serius, tetapi harus diselesaikan dengan cara teknik dan transparan, bukan dengan mempersulitnya." Nadella mengatakan pada 15 September saat berpartisipasi dalam All-In Summit 2026.

Selain para pengusaha ini, suara dari Washington juga semakin bergabung.

Setelah Trump secara langsung menelepon Jensen Huang untuk secara terbuka menyatakan dukungannya terhadap perkembangan industri AI, co-chair Dewan Penasihat Sains dan Teknologi Presiden AS, David Sacks, kemudian menyatakan bahwa perusahaan teknologi dapat terus memajukan AI terdepan, sambil mempertanyakan motivasi di balik beberapa perusahaan yang mengusulkan "perlambatan".

03 Siapa yang akan menetapkan aturan?

Seiring dengan meluasnya diskusi, kontroversi juga meluas dari risiko AI itu sendiri, lebih jauh ke standar keamanan AI terdepan yang seharusnya ditetapkan oleh perusahaan sendiri, atau perlu campur tangan pemerintah dan lembaga independen?

Bloomberg mengutip sumber yang mengetahui bahwa Anthropic, Google, dan OpenAI sebelumnya telah mendiskusikan pembentukan lembaga standar industri AI.

Pada bulan Juli, Hassabis menerbitkan sebuah artikel yang mengusulkan pembentukan lembaga standar AI yang dipimpin oleh AS, dengan model operasi mirip dengan Financial Industry Regulatory Authority (FINRA) AS. Lembaga ini dapat melakukan pengujian sebelum model AI canggih resmi diterapkan, untuk menilai apakah mereka memenuhi standar keamanan yang sesuai.

Menurut gagasan Hassabis, lembaga ini tidak seharusnya sepenuhnya dipimpin oleh pemerintah, tetapi harus mengambil model kemitraan publik-swasta. Di mana pemerintah berperan sebagai pengawas, sementara industri AI menyediakan dana, dan juga melibatkan para ahli teknologi terkemuka independen serta perwakilan komunitas sumber terbuka.

Hassabis berusaha menambahkan pemeriksaan keamanan independen sebelum model memasuki dunia nyata, yang lebih sesuai dengan logika regulasi yang diumumkan oleh pemerintah AS pada awal Juni: perusahaan dapat secara sukarela menyerahkan model untuk evaluasi pemerintah sebelum publikasi, dengan jendela akses sebelum publikasi maksimum 30 hari dan jelas tidak melakukan persetujuan wajib atau izin publikasi.

Yang cukup dramatis adalah peluncuran Fable 5 dan Mythos 5 berikutnya, yang tidak mengikuti proses ini, tetapi ditemukan memiliki kemampuan serangan dan pertahanan siber yang sangat kuat, akhirnya diturunkan secara singkat oleh BIS AS dalam bentuk pengendalian ekspor.

Namun, meskipun demikian, sikap kebijakan juga hanya meminta penambahan penghalang keamanan, tanpa menyatakan atau memberikan panduan untuk perlambatan.

Sejalan dengan pandangan Hassabis adalah Jakub Pachocki, kepala ilmuwan OpenAI. Ia juga menekankan pada awal September bahwa berbagi standar keamanan dan melakukan koordinasi internasional seputar perkembangan AI harus menjadi prioritas saat ini.

04 Tidak ada yang benar-benar menginjak rem

Hingga saat ini, perdebatan ini belum benar-benar mengubah ritme perkembangan perusahaan AI terdepan.

Anthropic, OpenAI, Google, xAI, dan perusahaan lainnya masih terus memajukan penelitian model, dan persaingan seputar daya komputasi, pusat data, dan infrastruktur AI juga tidak berhenti karena perdebatan ini. Di sisi pasar modal, terjadi perubahan yang berbeda: Anthropic masih mempersiapkan IPO tahun ini, sementara OpenAI telah menunda rencana IPO hingga 2027.

Amodei ingin menghentikan seluruh industri untuk mencari solusi dalam menambahkan penghalang pada kemampuan model, dapat dipahami sebagai "berderma untuk orang lain".

Inilah mengapa Amodei diberi label "berpura-pura menjadi malaikat yang sempurna".

Tentang topik pengendalian risiko ini, pandangan yang diwakili oleh Jensen Huang sebenarnya lebih sesuai dengan keadaan saat ini, jika perusahaan memiliki kekhawatiran, atau menemukan masalah, mereka sepenuhnya dapat menjelajahi solusi secara mandiri dan membagikan solusi yang efektif kepada industri.

Membuat tim beranggotakan 100 orang dan tim beranggotakan 1000 orang berhenti bersama-sama, sama sekali tidak memiliki dasar konsensus. Bahkan Amodei sendiri sangat menyadari bahwa jika hanya dirinya yang berhenti, kemungkinan besar ia akan disalip oleh pesaing seperti OpenAI.

Yang lebih penting adalah perbedaan di tingkat tata kelola perusahaan. Anthropic dan OpenAI adalah perusahaan kepentingan publik (Public Benefit Company), dapat berteriak "demi masa depan umat manusia dengan mengorbankan kepentingan finansial jangka pendek", dapat memberi tahu investor "kami sudah sepakat tentang ini sejak lama", tetapi perusahaan yang terdaftar seperti Google, Microsoft, dan Meta memiliki kewajiban fidusia hukum kepada pemegang saham pasar sekunder.

Kemungkinan untuk mencapai konsensus antara perusahaan dengan kepentingan yang berbeda ini juga tidak akan terlalu besar.

Ada juga detail yang mungkin diabaikan. Sebelum "jeda", Anthropic dan OpenAI masing-masing telah merilis model terkuat, satu adalah Fable 5.1, yang lainnya adalah GPT-6 Astra.

Di tengah seruan ini, apakah model baru dari perusahaan lain masih akan dirilis?

Tautan Asli