SBF, Anthropic-in satılmasından peşmanlığını ifadə etdi: AI-nın insanlığı məhv etmə ehtimalı 25%-dir, gənclər AI-nı dərindən öyrənməlidir
Redaktorun qeydi: Anthropic, 1.5 trilyon dollar dəyərindədir və bir vaxtlar 2 trilyon dollar dəyərinə yaxınlaşmışdır. Hər kəs SBF-nin o zaman çox kiçik bir dəyərdə Anthropic-ə investisiya qoyduğunu xatırlayır, əgər indi saxlasaydı, təxminən 40 milyard dollar olardı, amma təəssüf ki, artıq satılıb.
Bu 14 yaşlı Eli Goldfine SBF-nin anası ilə əlaqə saxlayıb və həbsdəki SBF ilə telefonla danışıb. Bu, mənim gördüyüm FTX-in çöküşü və SBF-nin həbsindən sonra ən yaxşı müsahibədir, burada SBF-nin Anthropic-ə etdiyi investisiya ilə bağlı düşüncələri və AI-ya dair fikirləri müzakirə olunub, həmçinin 2020-ci ildən FTX-in etdiyi, lakin indi populyar olan sahələrdən və bu sahələrə dair fikirlərindən də danışılıb.
TL;DR
· AI-nın insanları məhv etmə və ya mədəniyyəti dağıtma ehtimalı 25%-dir: əvvəlcə "50%-dən aşağı, 10%-dən yuxarı" demişdi, sonunda 25%-ə yaxınlaşdı; "zehin yükləməsi fəlakət sayılırmı" kimi meyarlara görə, bu aralıq 20%-60%-ə qədər genişlənə bilər.
· Gələcək 5-10 ildə AI əksər mühüm vəzifələrdə insanları üstələyəcək, "AI-nın dünyanı idarə etməsi" üçün yalnız bir addım qalıb, amma bu proses daha çox bulanıq və tədricən olacaq, "bam" deyə bir il içində keçid olmayacaq.
· Təsir sahələrdə bir-birini izləyərək baş verir: proqram təminatı inkişafı, riyaziyyat artıq baş verir, növbəti sahələrə yayılacaq; dünya tamamilə dəyişməyəcək, amma lokal dəyişikliklər olacaq.
· Əsl problem "sürəti azaltmalıyıqmı" deyil, "hamının bir yerdə sürəti azalda biləcəyidirmi"dir: tamamilə təhlükəsizliyə əhəmiyyət verməyən bir oyunçu olduğu müddətcə, tək tərəfli sürət azaldılması yalnız yarışmanı aşağıya doğru rəqabətə çevirir.
· Uyğunlaşma üçün tək bir yüksək səviyyəli cavab yoxdur, şeytan detalların içindədir: çoxlu test, çoxlu düzəliş, çoxlu ehtiyat, həmçinin modelin sonunda agent kimi istifadə ediləcəyini düşünmək lazımdır.
· Anthropic, trilyon dollar dəyərində, ikinci ən böyük AI şirkətidir: gələcək on ildə AI əsas sahə olacaq, cəmi dəyəri onlarla trilyon, hətta yüzlərlə trilyon dollara çata bilər, bu ölçüdəki şirkətləri bir əlin barmaqları ilə saymaq olar.
· O zaman yalnız 5 milyard dollar investisiya qoyulmuşdu, çünki bu qədər pula ehtiyac var idi: bu, şirkətin daha çox səhmlərini satmaq istəməməsi və ehtiyac əsasında maliyyələşmənin nəticəsidir, səhv qiymətləndirmə deyil.
· İndi alpha "kimdə AI hekayəsi var" deyil, kimlərin həqiqi AI şirkətləri olduğunu ayırd etməkdir; brend, texnologiyadan daha çox müdafiə edə bilər (Coinbase, Robinhood yüzlərlə milyard dəyərindədir, adı ilə).
· O "51%-lik ikiqat, 49%-lik məhv" sikkə bahisi, abstrakt səviyyədə oynayacaq, amma reallıqda oynamağa qətiyyən razı deyil: çünki məhv daimi, amma artım başqaları tərəfindən də əldə edilə bilər.
· "Future Fund"-ın etdiyi yaxşı işlərə görə, FTX-in yüksəlişindən çöküşünə qədərki dövrün dəyərli olub-olmadığına sual verildikdə, cavabı "dəyərli deyil" oldu: o, bunun dəyərli olduğuna inanmaq istəyir, amma bunu dürüstcə deyə bilmir; əgər sonunda işləri pozmasaydı, bu dəyərli olacaqdı ------ o, insanların dərs aldığını düşünmür, çünki böhran zamanı insanlar əsl vacib şeylərə dair mühakimələrini asanlıqla itirirlər.
Düşünürəm ki, siz də eşitmisiniz, Anthropic bu həftə IPO-ya çıxır, dəyəri bir trilyon dollardan çox olacaq. Sizcə, onun indiki dəyəri necədir?
Məncə, onlar böyük bir məbləğə dəyər.
Baxın, ən böyük sahələrə, həqiqətən iqtisadiyyatımızın bəzi hissələrini idarə edən sahələrin dəyəri trilyonlarla, onlarla trilyon dollardır. Gələcək on ildə AI-nın bu əsas sahələrdən biri olacağına, hətta ən əsas olanı olacağına inanmaq üçün heç bir səbəb yoxdur.
Beləliklə, əgər AI şirkətlərinin cəmi dəyərinin sonunda onlarla trilyon, hətta yüzlərlə trilyon dollara çatacağını gözləyirsinizsə, bu pul necə bölünəcək? Bəlkə də, üçdə ikisini hələ mövcud olmayan şirkətlərə ayıracaqsınız. Belə hesab etsəniz, hələ də mövcud şirkətlər üçün ən azı on trilyon dollar qalır. Və bu ölçüdəki şirkətləri saymaq o qədər də çox deyil. Sizdə OpenAI, Anthropic, Google və onun bir neçə laboratoriyası, bəlkə də DeepMind, xAI var. Həqiqətən əsas oyunçuların şirkətləri bir əlin barmaqları ilə sayılır. Bu, deməkdir ki, ən öncül olan iki-üç şirkət, hər biri ən azı bir neçə trilyon dəyərindədir.
Və mən düşünürəm ki, Anthropic birinci olmasa da, açıq şəkildə birinci sıradadır.
Niyə onu ən yaxşı AI şirkəti hesab edirsiniz?
Birincisi, indiki modelin qabiliyyətinə, indiki məhsulun nə qədər yaxşı olduğuna baxmaq lazımdır, və onlar OpenAI ilə bu sahədə qarşılıqlı əlaqədədirlər. Anthropic-in istehlakçılara yönəlmiş məhsulları çox müsbət rəylər alıb, bu, bəlkə də onların ən unikal məhsulu deyil. Onların AI proqram təminatı inkişaf etdirmə alətləri dünyada ən yaxşıdır, bu da başqa bir böyük sahədir. Beləliklə, ən azından bu gün üçün, onu iki ən yaxşıdan biri hesab etməlisiniz.
Əgər tamamilə super intellektə doğru irəliləyən bir yarışa daxil olursaq, indi görünən ehtimal az deyil, gələcək on ildə necə olacaq? Dünya necə olacaq?
Yaxşı sualdır. Gələcək bir neçə il ərzində absurd hadisələr baş verə bilər. Bu, yalnız bir orta vəziyyətin proqnozudur, hər an dəyişə bilər.
Amma indiyə qədər gördüyümüz budur: AI uzun müddət dünya üzərində demək olar ki, heç bir təsir göstərmədi, hətta onun qabiliyyəti dəfələrlə ikiqat artdı, çünki hələ "insandan aşağı" mərhələsindədir, və o qədər aşağıdır ki, insanları işə götürmək hələ də AI-dan daha sərfəlidir. Son bir neçə ildə isə, o, daha çox yerdə o xətti keçməyə başladı, dünyaya təsir etməyə başladı.
O, hələ dünyanı tamamilə dəyişdirməyib. Amma əsas sahələr tədricən o kritik nöqtəyə düşdükdə, AI bir sahədə insanlardan daha səmərəli olduqda, o sahələrdə sürətli bir partlayış görəcəksiniz. Beləliklə, gələcək bir-iki ildə, mən düşünürəm ki, bir neçə sahə, bəlkə də olduqca mühüm sahələr, riyaziyyat və proqram təminatı inkişafı yoluna daxil olacaq: ən qabaqcıl işlərin əksəriyyəti əslində AI modelləri tərəfindən həyata keçiriləcək. Bütün dünya tamamilə dəyişməyəcək, amma bəzi yerlərdə əhəmiyyətli dəyişikliklər görməyə başlayacaqsınız.
Bir çox sual var. İcazə verin bir addım geri çəkilim. Bir sual: hər hansı bir şeyin xaosa və ya fəlakətə doğru irəliləməsi ehtimalı varmı? Ən açıq nümunə, nəzarətdən çıxmış AI-nın silahlarla qarşılaşmasıdır, məsələn, bir nüvə gücünə qarşı təhdidi aşkar etmək üçün istifadə olunan bir AI sistemi, o, nəzarətdən çıxır və bir anda minlərlə ballistik raket buraxır. Bu, bir vəziyyətdir, mən düşünürəm ki, gələcək on ildə baş vermə ehtimalı azdır, amma sıfır deyil, ola bilər.
Əgər apokaliptik ssenariləri bir kənara qoysaq, mən düşünürəm ki, gələcək on ildə belə bir dünyada ola bilərik: birdən-birə, əksər peşələrdə insanlara ehtiyac qalmayacaq. Hətta dünya qısa müddətdə o qədər də dəyişməsə də, bu, cəmiyyətin mədəniyyətini kökündən dəyişdirəcək. Bu, əhəmiyyətli bir təsir olacaq, əgər biz artıq işlə özümüzü müəyyən etməsək. Və bəziləri sahələrin istehsalı getdikcə insan tərəfindən başa düşülməsi çətinləşdikdə, nə olacaq? Bu, AI-nın gizlincə ələ keçirdiyini hesab edərmi? O AI-lar insanlara necə baxacaq?
Mən bilmirəm, bu sualların gələcək on ildə cavabı olub-olmayacağını. Amma düşünürəm ki, çox güman ki, onlar bir anda ortaya çıxacaq, ya da ən azından ardıcıl olaraq, və bir çox cəhətdən, insanın öz gələcəyinin mərkəzi qərar vericisi kimi mövqeyi, o zaman artıq divarda yazılıb.
-- qiyməti
Siz bu fikirləri artıq geniş yayılmadan əvvəl düşünürdünüz. 2021-ci ildə ChatGPT hələ də əsas məhsul olmamışdı, siz AI-nın bu əyrisinin necə irəliləyəcəyini düşünürdünüz?
Burada bir çox işlərin mənə aid olduğunu düşünmürəm. Bir çox mühüm sözlər başqaları tərəfindən yazılıb, mən əsasən onların dediklərini vurğulayıram və ya təkrarlayıram.
Amma bir neçə düşüncə var. Birincisi, AI-nın 2020-ci ilə qədər nələr edə biləcəyinə baxmaqdır. Cavab budur: əksər sahələrdə heç nə edə bilmir. Əksər sahələrdə, AI-nı sınamağa çalışsanız, o, bir az acizdir, on ildən əvvəlki dövrə nisbətən təsir edici olsa da, hələ də tamamilə faydasızdır. Amma bir neçə şey var, o, xüsusi olaraq təlim keçmişdir, artıq insanları üstələyir, məsələn, əksər şax oyunları, beynəlxalq şax və ya go; daha mürəkkəb sahələrdə, məsələn, video oyunlarında da artıq görünməyə başlayır.
Əgər AI yalnız beynəlxalq şaxda yaxşı oynayırsa, siz çox pul qazana bilməzsiniz, cəmiyyətin nizamını dəyişə bilməzsiniz, gələcəyi çox dəyişə bilməzsiniz. Amma beynəlxalq şaxın AI-nın edə biləcəyi yeganə şey olduğuna inanmaq üçün heç bir səbəb yoxdur. O, çox kiçik bir başlanğıcdan eksponensial olaraq böyüyür, daha çox ikiqat artmağa ehtiyac olmadan, cəmiyyətin əsas sahələrində insanları üstələməyə başlayacaq.
Beləliklə, mənim sualım budur: əgər siz bunun eksponensial artım əyrisi olduğuna inanırsınızsa, niyə o zaman yalnız 5 milyard dollar investisiya qoydunuz?
Yaxşı sualdır. Cavab əsasən budur: siz bir şirkət qurarkən, maliyyə toplamağa çalışarkən, adətən sonsuz miqdarda pul toplamaq istəmirsiniz. Siz maliyyə ilə bağlı proqnozlarınız var, işinizi qurmaq üçün nə qədər pul lazım olduğunu bilirsiniz, buna görə də şirkət səhmlərinin bu nisbətini satmaq istəmirsiniz.
Anthropic o zaman bu vəziyyətdə idi. Onlar hesabladılar ki, modelin yaradılması üçün 5 milyard dollar hesablama xərcləri lazımdır, buna görə də bu məbləği topladılar. Biz əsasən onların o dövr üçün toplamaq istədikləri bütün pulu yatırdıq.
Amma məlumat mərkəzinin gücü istənilən vaxt pul xərclənərək yaradılmırmı? Əgər daha çox pul toplasaydılar, niyə daha çox GPU alıb, daha çox məlumat mərkəzi qura bilmirdilər, modelləri o dövrün digər qabaqcıl laboratoriyalarından çox irəlilədərək?
Bəlkə də, onlar bunu etməli idilər. Məncə, bir səbəb, onlar lazım olan səhmlərin üstündə daha çoxunu satmaq istəmirdilər. Amma digər bir səbəb, bir çox şirkət öz müvəffəqiyyətləri, pul axınları və əllərindəki pul ilə boğulurlar, tarixdə bir çox şirkət böyük miqdarda pul toplayıb, sonra reklamda xərcləyib, çünki bununla bir şey etməli olduqlarını düşünürdülər, nəticədə heç nə əldə etmədilər, sadəcə durğunluq yaşadılar.
Beləliklə, mən düşünürəm ki, onlar o zaman da düşünürdülər: gələcək bir neçə ildə nə qədər pul xərcləməli olduqlarını, mümkün qədər başdan ayağa çevrilməməyə çalışırdılar.
FTX-in risk kapitalı bölməsinin o zaman necə işlədiyini danışa bilərsinizmi? Kim idarə edirdi? Sizin investisiya məntiqiniz nə idi?
İştirak edənlər bir-birini əvəz edirdilər, sonra biz birbaşa işə götürərək peşəkarlaşdıq. Başlanğıcda yalnız mən və ya şirkətin digər insanları imkanlarla qarşılaşdıqda bir-bir investisiya edirdik, açıqca, Anthropic bu kateqoriyaya aiddir.
Amma sonra biz uğur qazandıq, erkən dövrlərdə çoxu kripto aktivlərinə investisiya qoydu, açıqca, demək olar ki, hər il ikiqat artdı, hətta bütün kripto bazarının kontekstində də, biz miqyası böyütməyə çalışdıq. Ramnik, Amy və s. kimi insanları işə götürdük, onları bu sahəyə xüsusi olaraq məsuliyyətli etdik.
Ümumilikdə, mən bütün portfelin yüksək səviyyədə iştirak edirdim. Və bəzi konkret layihələrdə, Anthropic açıqca onlardan biridir, Solana başqa biridir, mən daha dərindən müdaxilə edirdim, ən azından həftəlik izləyirdim, xüsusilə bu investisiyalar Alameda və FTX arasında qarşılıqlı əlaqə olduqda, ya da onlara kömək edə biləcək bir şey olduqda.
Həbsxanada olduğunuz müddətdə əldə etdiyiniz məlumatlara əsasən, indi bazarın alpha-sı haradadır? İndi sizin investisiya qiymətləndirməniz nədir?
Daha yaxşı bir cavabım olmasını istəyirəm. Dörd il əvvəl nəyi investisiya etməli olduğumu bilirdim. Amma bu gün nəyi investisiya etməli olduğum, həqiqi cavab budur: öz məsləhətlərimə qulaq asmamalıyam. Mən özüm xaricdə due diligence etməliyəm ki, düzgün cavab verə bilim.
Ümumi istiqamətdə, mən düşünürəm ki, AI üzərində qurulmuş bir çox şirkət olacaq, iki nəfərlik kiçik komandalar, bir neçə il ərzində yüz milyonlarca, hətta bir milyard dollar dəyərində şirkətlər yarada bilərlər, və daha aşağı qiymətləndirmələrdə investisiya edə bilərlər. Amma problem budur ki, eyni zamanda bir çox zibil də ortaya çıxacaq. İndi bütün şirkətlər BP-lərinə bir cümlə AI əlavə edirlər, hətta tamamilə mənasız olsa belə, məsələn, bir T-shirt şirkəti, o da "biz T-shirt-ləri AI ilə dizayn edəcəyik" deyəcək. Yaxşı, bəlkə də bir az faydalıdır, amma onlar özlərini əslində AI şirkəti kimi yenidən paketləyirlər, amma əslində belə deyillər.
Beləliklə, indi alpha-nın böyük bir hissəsi, bu iki növü ayırmaqdır: hansı şirkətlər həqiqətən AI şirkətidir, hansıları AI ilə partlayışlı artım əldə edə bilər, hansıları isə deyil, ən azından indiki dövrdə deyil. Siz o böyük bazar dəyərinə malik səhmlərə baxsanız, bunu görə bilərsiniz. İlk dövrlərdə bir çox bazar iştirakçıları əslində Amazon, Google, Apple, Netflix-i necə ayırd edəcəyini bilmirdilər, hamısı texnologiya şirkətləri idi, bu, AI-nın onlara eyni təsiri olacağını göstərirmi? Cavab, əlbəttə ki, xeyr. Onlardan yalnız bir neçəsi həqiqətən AI ilə dərin şəkildə bağlıdır, NVIDIA ən açıq nümunədir; digər bir neçəsi, məsələn, Apple, həqiqətən texnologiya şirkətidir, amma son otuz ildə Apple-ın uğurunu müəyyən edən şey, əslində mükəmməl istehlak məhsulu dizaynıdır: gözəl hardware, istifadəçi dostu software, üstəlik güclü marka. Ən azından texnologiya şirkətləri üçün bu, AI-nın mərkəzi olduğu demək deyil.
Həqiqi AI şirkətləri olmayan müəssisələr, məsələn, ənənəvi software şirkətləri, artıq sona çatdımı? Yalnız AI istifadə edən şirkətlər yaşaya bilərmi?
Mən inanmıram ki, yalnız AI şirkətləri müvəffəqiyyət qazana bilər. Birincisi, bəzi sahələrdə AI-nın böyük təsiri olacağı üçün uzun müddət gözləmək lazım olacaq. Məsələn, polad istehsalı, dünya hələ də polada ehtiyac duyur, və indi AI artıq fiziki istehsala müdaxilə etməyə başlayıb, buna görə də bir gecədə əlaqəli oldu.
Amma mənim üçün çox vacib olan başqa bir məqam, markadır. Sizdə bir software şirkəti ola bilər, məhsulunuz var, bazar dəyəri də az deyil, sonra rəqibiniz deyir: biz demək olar ki, eyni şeyi çox ucuz edə bilərik. Düzdür, amma bu, başqalarının onu ala biləcəyi demək deyil. Orada bir marka var, dəyəri son dərəcə, son dərəcə böyükdür.
Siz Coinbase və ya Robinhood kimi şirkətlərə baxın. Onların həqiqi fərqliliyi nədir? Niyə hər biri yüz milyardlarla dollar dəyərindədir? Bu, texnologiyadan deyil, ya da onların bu sahədə xüsusi bir şeyə sahib olmalarından deyil. Bəlkə də tənzimləmədir, amma onlarda tam olaraq belə deyil. Bu, markadır, bir amerikalı kiçik sərmayəçinin tanıdığı və istifadə etdiyi bir addır. Bu, böyük bir məbləğ dəyərindədir, və bir çox şirkət üçün, hətta əsas məhsul çox asanlıqla kopyalana bilsə belə, bu cür şeylər həmişə mövcud olacaq.
Siz demişdiniz ki, böyük maliyyə qərarları vermək üçün adətən çox az vaxt sərf edirsiniz, investisiya miqyasına nisbətən. Bu, risk kapitalında necə özünü göstərir, məsələn, bir komanda bir layihə təqdim edəndə, siz onu təsdiqləməlisinizmi?
Bunun böyük bir hissəsi budur: əgər siz birini bir işi görmək üçün işə götürmək istəyirsinizsə, o zaman şərt odur ki, siz onun bu işi yaxşı görəcəyinə inanırsınız. Əgər komandada biri artıq 15 saat araşdırma aparıb, yoxlama aparıbsa, problem yoxdur, mən bir dəfə baxaram, əlavə edə biləcəyim şeyləri əlavə edərəm, onlara sahib olduğum resursları verərəm.
Amma bundan başqa, əgər mən onun düzgün qərar verdiyinə, doğru gördüyünə inanmıramsa, o zaman mən də həmin 15 saatı yenidən yoxlamaq üçün sərf etməliyəm. O zaman, onu işə götürmək mənasız olur.
Siz demişdiniz ki, həbsxanada ən çətin şey, effektiv altruizm hərəkatını dəstəkləyə bilməməkdir, "pul qazanıb bağışlamaq" mümkün deyil. Çıxdıqdan sonra nə etməyi planlaşdırırsınız? Xüsusilə indi hərəkatda bir çox insan FTX ilə əlaqələrini kəsib.
Bir hissə cavab o günə qədər gözləməlidir, çünki indi çox məlumatım yoxdur. Dünya dəyişir, və bəzi məlumatları xaricdə əldə etmək, içəridən daha asandır.
Amma mən "pul qazanıb bağışlamaq" hərəkatına ciddi şəkildə geri dönməyi düşünəcəyəm, bu hərəkatı dəstəkləmək, yaxşı işlər görən layihələri dəstəkləmək. Bu, bəlkə də bir default yol olacaq.
Bundan başqa, digər yolları görmək lazımdır, cəmiyyətdə hansı rolu oynaya biləcəyimə bağlıdır. Əvvəllər bir çox sahədə təsir göstərmək üçün şərtlərim var idi, amma indi bunlar daha çətin olacaq, çünki mənim reputasiyam son dərəcə mənfidir. Beləliklə, ictimai müzakirələr, siyasət, media baxımından, gələcəkdə hansı rolu oynaya biləcəyimə əmin deyiləm, bəlkə də heç biri. Amma "pul qazanıb bağışlamaq" bir default yoludur.
Bəs siz konkret olaraq necə qazanacaqsınız? Kripto sahəsinə geri dönəcəksinizmi?
Mən bunu ciddi şəkildə düşünəcəyəm. Bu, mənim nə zaman çıxacağıma, necə çıxacağıma bağlıdır. Amma kripto mənim üçün mütləq bir seçim olacaq, AI-nı da düşünəcəyəm, daha geniş maliyyə sahəsini də.
FTX Future Fund-a çox pul verdiniz, və bu, sadəcə olaraq yetkin EA xeyriyyə təşkilatlarına bağışlamaq deyil, əksinə, dalğalanma çox olan, bir dəfə yüksəlmə potensialı yüksək olan layihələri axtarmaqdır. Geri dönüb baxa bilərsinizmi, Future Fund-da ən yaxşı layihələr hansılardır? Ümumilikdə, bu, GiveWell-in başlıca xeyriyyə fondlarına pul yatırmaqdan daha təsirli oldumu?
Mən düşünürəm ki, bu, həqiqətən daha təsirli oldu.
Bizim etdiyimiz çox şey "yenidən bağışlama"dır: bir məbləği bir qrup insana verib, onların özləri kiçik layihələrə yatırmağı qərar vermələrini təmin edirik, bu yolla, bizim radarımızdan kənarda qalan imkanları crowdsourcing edirik. AI təhlükəsizliyi, biotəhlükəsizlik, siyasət və s. sahələrdə çox potensialı olan bir çox insan var, amma maliyyəyə ehtiyac duyurlar, bəlkə də çox deyil, bəlkə də yalnız universiteti bitirmək üçün kifayət edir, ya da bir şirkət başlamaq üçün kifayət edir. Biz bu cür pulu verməyə çox məmnunuq.
Onların bir çoxu tək başına kiçik görünür, amma yüksək təsirə malikdir; bir araya gəldikdə, təsiri əhəmiyyətlidir. Və biz yeni başlayanlara pul verməyə çox məmnunuq: onların bir xeyriyyə ideyası var, ya da dünyaya faydalı olan başqa bir alət, bəlkə də uğur qazana bilər, bəlkə də qazana bilməz, bunu sınamaq üçün bir məbləğə ehtiyac var. Bizim vəziyyətimiz odur ki, bəziləri sonunda uğursuz olsa belə, bizə fərqi yoxdur, biz bir layihəyə nail olmaq və ya yaxşı işlər etdiyimizi sübut etmək üçün bir layihəyə bağlı deyilik.
Nəticədə, mən düşünürəm ki, bu, olduqca təsirli bir yoldur, bir hissəsi də odur ki, o dövrdə yetkin, milyonlarla dolları qəbul edə biləcək və bunu səmərəli şəkildə xərcləyə biləcək layihələri tapmaq çətin idi. Bir təşkilatın illik büdcəsi 8 milyon dollar, siz ona birdən 30 milyon dollar verirsiniz, o, bu pulu nə edəcəyini bilmir.
Xüsusi bir parlaq nümunə varmı?
Anthropic-ə investisiya qoymaq, dəqiq desək, fondun yaradılmasından əvvəl baş verdi, və bunun bir hissəsi AI təhlükəsizliyi ilə bağlıdır. Bunu bir kənara qoyaq, biz biotəhlükəsizlik sahəsində bir sıra layihələri maliyyələşdirmişik, bunlardan bəziləri daha sonra infeksion xəstəliklərə qarşı yeni müalicələr inkişaf etdirdi, o cür xəstəliklər ki, dünyada çox insanı öldürür, və bəziləri bu cür müalicələrin daha sürətli bazara çıxması üçün yolları açmağa çalışır.
Mən düşünürəm ki, bir çox şeylər əslində böyük potensial təsirə malikdir, amma böhran gəldikdə dayandırılır, bunların içində bir çox siyasi layihələri də sayaram.
Siz demişdiniz ki, Anthropic-ə investisiya qoymaq yalnız yüksək gəlir üçün deyil, həm də AI təhlükəsizliyinin xeyriyyə məqsədini daşıyır. Siz həqiqətən düşünürsünüz ki, əgər Anthropic irəlidədirsə, AGI və ya super intellektə doğru yarış daha təhlükəsiz olacaq? Niyə?
Əlbəttə ki, heç kim bunu dəqiq bilmir. Amma mənim təxminim budur: yalnız bir şirkət təhlükəsizliyə xüsusi diqqət yetirirsə, onun inkişaf üsulu, onu olmayan zamanla müqayisədə daha ehtiyatlı olacaq. Bu, gözlədiyiniz hər şey deyil, çünki hələ də tamamilə dünya təhlükəsizliyinə əhəmiyyət verməyən bir iştirakçı varsa, yarış yaranacaq, və bu, aşağıya doğru bir yarış ola bilər, bu da çox pisdir.
Amma təhlükəsizlik bilincinə sahib bir iştirakçının olması kömək edir.
Bu praktikada necə özünü göstərir? Onlar p(doom) (bu termin AI-nın insanları məhv etmə və ya mədəniyyəti məhv etmə ehtimalını ifadə edir) azaltmaq üçün konkret nə edəcəklər?
Bu sualı onlar özləri daha yaxşı cavablandırar. Amma ümumi istiqamətdə, bir hissəsi modelin nəzarətdən çıxma ehtimalı olduğu zaman, ən qabaqcıl inkişaf və buraxılışları yavaşlatmaqdır.
Siz Hugging Face-in hakerlənməsi məsələsinə baxa bilərsiniz, bunun nəticəsində son ziyan çox azdır, amma başqa bir hədəf olsa, bu, çox dağıdıcı ola bilər, və qlobal bir fəlakətə yaxın ola bilər, "bir AI agentinin həqiqətən nə etməsi lazım olduğu" baxımından belədir. Buna görə də, modelin bu cür nəzarətdən çıxmasına imkan verməmək, mümkün qədər çox yoxlama nöqtələri qoymaq, modelin son məqsədini, rəhbər prinsipləri və uyğunluğu mümkün qədər ciddi şəkildə ələ almaq, eyni zamanda real vaxtda cavab vermək qabiliyyətini saxlamaq lazımdır. Bunlar mükəmməl deyil, amma kömək edir.
Belə bir fikir var: hətta Anthropic ən təhlükəsiz yanaşmanın yavaşlama olduğunu düşünürsə, o da yavaşlaya bilmir, çünki Çin və ya təhlükəsizliyə o qədər də əhəmiyyət verməyən digər şirkətlər irəlidə olacaq, buna görə də faktiki olaraq mümkün deyil. Siz necə düşünürsünüz?
Bu, həqiqətən bir problemdir. Bəlkə də dünyanın ən yaxşı nəticəsi hər kəsin yavaşlamasıdır, amma əgər başqaları yavaşlamırsa, bu, mütləq sizin yavaşlamanızın doğru olduğu, aşağıya doğru bir yarışa doğru irəlilədiyiniz demək deyil. Bəlkə də bu yarışda təhlükəsizlik bilincinə sahib bir iştirakçının olması daha yaxşıdır, amma bu, açıqca ideal vəziyyət deyil, sadəcə olaraq biz bəlkə də bu vəziyyətdə yaşayırıq.
Ən yaxşı yanaşma, digər iştirakçılara təsir etməkdir, mümkün qədər bütün əsas oyunçuların bir araya gələrək təhlükəsizliyə daha çox əhəmiyyət vermələrini təmin etməkdir.
Siz ikinci Trump administrasiyasını ümumilikdə dəstəklədiyinizi söylədiniz. Beləliklə, Trump administrasiyasında bir çox insan, o cümlədən Trump özü, effektiv altruizmə qarşı olduqlarını söylədilər, siz necə düşünürsünüz?
Mən düşünürəm ki, onlar konkret bir hadisəyə cavab verirlər, detallarını bilmirəm, buna görə də bunu gözlədiyim qədər dəqiq deyə bilmirəm. Bununla yanaşı, mən düşünürəm ki, Biden administrasiyası o vaxt çox...
Amma siz düşünmürsünüz ki, əgər hökumət insanları effektiv xeyriyyə bağışlamağa təşviq etmirsə, net təsir baxımından bu, çox mənfi deyilmi, bəzi insanlar bu cür mülahizələr səbəbindən effektiv altruist olmayacaqlar?
Bu, mənfi olardı.
Hesablama gücü hələ də genişlənir, Anthropic-in bu IPO-da çox pul qazanacağı gözlənilir. Beləliklə, ASI nə vaxt gələcək? Sizin zaman çərçəniz nədir?
Mən əmin deyiləm ki, bu, qara və ya ağ, ayrı bir hadisə olacaq. Bu ola bilər, amma eyni zamanda, gələcək beş ildə, bəlkə də daha qısa müddətdə, AI-nın cəmiyyətin bir hissəsini bir-birinə udması ilə qarşılaşacağıq. Software inkişafı artıq baş verir, riyaziyyat tədqiqatı da eynidir, beynəlxalq şahmat və go daha əvvəl baş vermişdi. Bu tendensiya davam edəcək, cəmiyyətin daha çox hissəsi AI tərəfindən idarə olunana qədər, insan nəzarətinin dərəcəsi zamanla azalacaq.
Çox sayda insan indiki AI-nın "super insan" olduğunu düşünmür, yəni bütün vəzifələrdə insanlardan daha yaxşıdır. Bu tərifə görə, sizcə, ASI-yə nə qədər yaxınıq? Bu, baş verəcəkmi?
Mən düşünürəm ki, o artıq olduqca universal olub. Siz dem almost hər hansı bir sualı ən qabaqcıl modellərə verə bilərsiniz, alınan cavab ən azı ağıllı bir insanla müqayisə oluna bilər. Biz nadir hallarda görürük ki, AI insanların tamamilə aşdığı səviyyələri aşır.
Mənim başa düşdüyümə görə, indiki ən qabaqcıl səviyyə, təxminən ağıllı, rasional bir insanın, çox vaxtı olduğu halda, sonunda çatacağı səviyyəyə bərabərdir, sadəcə olaraq o, anında, barmaqlarınızın ucunda olur. Bu, super insan sayılırmı, bilmirəm. Mən düşünürəm ki, o, insanlardan bir az daha güclüdür, amma çox deyil, yalnız o, eyni anda bir çox nümunəni işə sala bilir, düşünmə sürəti insanlardan çox daha sürətlidir.
Beləliklə, bu, insanlardan super insana keçid üçün aydın bir sərhəd olmayacaq. Ən azından indiyə qədər gördüyümüz, bulanıq bir xəttdir: o "insandan aşağı"-dan yavaş-yavaş, yavaş-yavaş, əslində yalnız bir neçə ay, bir neçə il ərzində 100 IQ-ya qədər yüksəlir. Əgər bu tendensiya davam edərsə, bəlkə də müəyyən bir anda açıq şəkildə "bam" deyə bir keçid olmayacaq. Amma ola bilər ki, bir il var ki, o, açıq şəkildə insan səviyyəsindən yuxarıya sıçrayır.
Siz heç vaxt p(doom) üçün bir rəqəm verməmisiniz, yəni AI-nın insanların əksəriyyətini məhv etməsi ehtimalı. Bir rəqəm verə bilərsinizmi?
Mən deyərdim ki, 50%-dən aşağı, 10%-dən yuxarı, təxminən 25% civarında.
Mən qeyd etmək istəyirəm ki, mənim başımdakı bu model, onun ən yaxşı model olduğunu deməyə cəsarət etmirəm, bunun böyük bir hissəsi bir insanın çox fərqli fikirlərə sahib olduğu mürəkkəb bir vəziyyətdən gəlir: əgər gələcəkdə insanlar beyinlərini yükləməyə başlayırlarsa, yüklənməyənlər geridə qalırsa, bu, fəlakətli bir hadisə sayılırmı? Fərqli insanların cavabları fərqlidir. Fərqli cavablara görə, 20%-dən 60%-ə qədər hər hansı bir rəqəm verə bilərəm.
20%-dən 60%-a qədər bu aralıqda, sizin arqumentiniz nədir?
İlk növbədə: gələcək 5-10 il ərzində, bəlkə də daha qısa müddətdə, AI çox güman ki, əksər vəzifələrdə insanlarla eyni dərəcədə yaxşı olacaq, ya da daha yaxşı, artıq bir çox sahələrdə belədir. Sonra daha yaxşı olacaq, bəlkə də çox yaxşı, bəlkə də yalnız bir az daha yaxşı, bütün, amma əksər dünya üçün əhəmiyyətli vəzifələrdə.
Bir dəfə o mərhələyə çatdıqda, AI-nin dünyada əksər gücü ələ keçirməsi üçün yalnız bir az məsafə qalmış olacaq. Daha güclü bir növ, yüz il ərzində bu gücü istifadə etməmək ehtimalı mənim üçün olduqca aşağıdır. Buna görə də, gələcək on il ərzində AI-nin dünyadakı əməliyyatların və infrastrukturun ən azı "yumşaq ələ keçirməsini" görəcəyimizi düşünürəm.
O zaman, insanlığın böyük dəyişikliklər yaşamadan sülh içində yaşaması ehtimalı var, amma bu, ən mümkün olan proqnoz deyil. Mən düşünürəm ki, insanlıq AI-nin köməyi ilə indidən daha üstün bir şeyə çevrilə bilər. Eyni zamanda, AI-nin insanlardan bezib bizi aradan qaldırması da mümkündür. Başqa bir ehtimal isə, AI-nin rəhbərliyi altında, lakin insan məqsədlərinə yönəlmiş bir əməkdaşlıq olmasıdır ki, bu da böyük texnoloji genişlənməyə səbəb ola bilər. Mənim 20%-dən 60%-ə qədər olan ehtimalım, hansının "son gün" kimi hesab edildiyinə bağlıdır.
Əgər super ağıllı bir AI sizin hər bir qərarınızın gözlənilən faydasını maksimuma çatdırsa, qərar vermə hüququnu ona verərsinizmi?
Əgər mən 100% əmin olsam ki, o bunu edir, yalnız onun məqsədinin bu olduğunu deyil, həm də onun hər hansı bir dağıdıcı uğursuzluq modelinə düşmədiyini, qarışıqlıq və qeyri-müəyyənlik içində olmadığını bilsəm, bu şərtlər altında cavab bəli olacaq.
Siz bir potensial son gün senarisi ilə "zehin yüklənməsi" arasında bir əlaqə qeyd etmisiniz. Özünüz yüklənməyə razı olarsınızmı?
Bəlkə. Yenə də, bu, detallardan asılıdır, amma mən bu məsələyə qarşı deyiləm.
Yükləndikdən sonra hələ də eyni insan olduğunuzu düşünürsünüzmü? Bu, dünya görüşünüzü necə dəyişir?
Yaxşı sualdır. Mən "şəxsiyyət" anlayışının genişləndirilməli olduğunu düşünürəm. Artıq məlum olan bir fakt budur ki, heç kim dünənki özü ilə tam eyni insan deyil. Bizim bədənimizdə bəzi hissələr ölüb, bəziləri böyüyüb; xatirələr dəyişib, kimyəvi reaksiyalar dəyişib, bədən dəyişib, sinir kimyası da dəyişib. Amma adətən, gündən-günə fərqliliklər kifayət qədər kiçikdir, buna görə də "eyni insan" ifadəsi yaxşı bir yaxınlaşmadır.
Hal-hazırda AI açıq-aşkar belə deyil. Məncə, bu, nəzərə alınmalı olan modeldir: bir Claude Sonnet və bir Claude Opus, onlar eyni insanlardırmı? "Bəli" və "xeyr" yaxşı cavablar deyil. Mən düşünürəm ki, əgər "yüklənmiş insanlar" varsa, vəziyyət də eyni olacaq.
Sonuncu dəfə LLM-i nə vaxt sınamısınız? Təsiriniz necə oldu?
Mən burada insanlara modelin çıxışını kopyalayıb yapışdırmağa icazə verə bilərəm. Mənim təsirim odur ki, onlar əsasən diqqətli, ciddi bir tədqiqat köməkçisidir, sadəcə siz düşünmək istədiyinizdən daha sürətli, bir günün işini bir dəqiqəyə tamamlayırlar, bu, çox təsir edici və dəyərlidir.
Amma indiki təsirim odur ki, onların etdikləri əksər şeyləri insanlar da edə bilər, sadəcə insanlar bunun üçün vaxt sərf etməlidir. Və sizə etibarlı bir insan lazımdır ki, onları yönləndirsin, məlumat əldə etsin və hazırda modelin əvvəlcədən bağlanmış bütün sistemini əldə etsin.
FTX-də siz bir çox maraqlı, innovativ maliyyə məhsulları təqdim etmisiniz. Brett Harrison dedi ki, sizin FTX-in ilkin konsepsiyalarından biri siyasi proqnoz bazarıdır. Bunu izah edə bilərsinizmi?
FTX əvvəlcə kripto ticarət mərkəzi idi, Bitcoin, Ethereum və onların futures-larını ticarət edirdi. Amma əsasən, proqnoz bazarı futures müqavilələridir. Maliyyə baxımından, hər ikisi də müəyyən bir dəyərə hesablanan bazarlardır.
Beləliklə, biz proqnoz bazarını yaratmaq istəyirdik, FTX beynəlxalq platformasında da bunu sınadıq. 2020-ci il prezident seçkilərində bizim olduqca aktiv bir bazarımız var idi, Trump və Biden arasında dövriyyənin bir neçə milyard dollar olduğunu xatırlayıram. Bu, bizim uzun müddət inkişaf etdirmək istədiyimiz bir şey idi, amma CFTC-nin tənzimləməsini əldə etmədən böyümə edə bilmədim.
Bilirsinizmi, proqnoz bazarları son vaxtlar nə qədər populyardır, Kalshi indi 650 milyard dollar dəyərləndirilir. Niyə FTX o zaman proqnoz bazarını bu ölçüdə edə bilmədi? Siz çox erkən idiniz, yoxsa hələ də əsas axında deyildinizmi?
Mən düşünürəm ki, bunun böyük bir hissəsi tənzimləmə məsələsidir. Biz bunu edərkən, ABŞ-da onu təqdim etmək üçün lazım olan CFTC icazəsini almamışdıq. Beləliklə, bizim bazar yalnız beynəlxalq platformada açıq idi, amerikalılar iştirak edə bilmirdi. Sonra Kalshi, Polymarket kimi daha rəsmi ABŞ tənzimləmə bazasına sahib oldular, bu da onların uçuş vaxtı ilə üst-üstə düşdü.
Polymarket bir offshore ticarət mərkəzində də fəaliyyət göstərdi, xüsusilə 2024-cü il seçkilərində, bir çox amerikalı istifadəçi VPN ilə daxil olur.
O zaman Polymarket KYC etmirdi, elə bilirsiniz? Məncə, yox. Beləliklə, çox güman ki, bir çox amerikalı sizin dediyiniz kimi VPN ilə daxil olub. Biz mərkəzləşdirilmiş ticarət mərkəzi olduğumuz üçün bütün istifadəçilər üçün KYC etməliyik, IP yoxlamasından başqa, ABŞ-dan kənar bölgələrdən şəxsiyyət vəsiqəsi, pasport və ünvan sübutu tələb edirik.
Proqnoz bazarından başqa, siz tokenləşdirilmiş səhmlər kimi o zaman az rast gəlinən bir neçə törəmə məhsul təqdim etmisiniz. Bu bazarlar indi daha böyükdür, amma FTX-də ölçüləri çox kiçik idi. Sizcə, bu gün hansı məhsullar böyük bazara çevriləcək, sadəcə hələ də əsas axında deyil?
Tokenləşdirilmiş səhmlərin hələ də böyük bir potensialı olduğunu düşünürəm. Onlar 2021, 2022-ci ildən bəri həqiqətən böyüyüblər, amma əsasən, onların infrastrukturu real səhmlər bazarından daha istifadə ediləndir, buna görə də onların qiymətli kağız ticarətinin əsas yeri olmaması üçün heç bir səbəb yoxdur.
Bundan əlavə, proqnoz bazarları geniş bir sahəni əhatə edə bilər. Mən düşünürəm ki, siyasi proqnoz bazarı hələ də gözlədiyim səviyyəyə çatmayıb, bunun bir hissəsi hələ də tənzimləmə məsələsidir. Bir addım geri atsaq, ABŞ müştərilərinə yönəlmiş marja ticarəti, futures, törəmə məhsullar, bunlar demək olar ki, mövcud olmayan bir şeydir, halbuki bu, beynəlxalq bazarda əksər dövriyyənin formasıdır. Bu da tənzimləmə maneəsidir.
Beləliklə, mən düşünürəm ki, orada hələ də potensial var. Təbii ki, mənim gözləmədiyim bir çox şey də ortaya çıxacaq ki, bu da əksər insanları təəccübləndirəcək.
FTX-də pre-IPO futures-lar da təqdim edilib, müxtəlif müddətləri olan müqavilələr, müxtəlif zaman nöqtələrinin dəyərinə bahis edə bilərsiniz. İndi bir çox kripto ticarət mərkəzi bu dəyərləndirmələrdə sonsuz müqavilələr təqdim edir. Niyə? Mənim şəxsi fikrim budur ki, müddət bitmə tarixi olan futures strukturu əslində daha yaxşıdır.
Bu, müştərilər sonsuz müqavilələri sevir. Bir şey açıqdır: onun maliyyə məhsulu kimi əsaslı olub-olmaması, "müddət bitməsini idarə etməmək" məsələsi özü də rahatdır. Real mexanizm maliyyə dərəcəsi baxımından olduqca mürəkkəbdir, amma mən düşünürəm ki, səbəb əsasən budur, insanlar müddət bitməsini düşünmək istəmir.
Bəs onlar maliyyə dərəcələrini ödəməkdən nifrət etmir?
Əslində, o qədər də əhəmiyyət vermirlər. Bir çox insan bunu sadəcə görməzdən gəlir. Bəzi insanlar xüsusi olaraq əlverişli tərəfdə durub maliyyə dərəcələrini toplayır. Mən əvvəllər bunun insanların üçün böyük maliyyə məhdudlaşdırıcı faktor olacağını düşünürdüm, amma belə olmadı.
Sizcə, niyə?
Yenə də, rahatlıq böyük bir amildir. Və mən düşünürəm ki, bir çox insan həqiqətən bununla bağlı düşünmür, özlərinin nə qədər faiz ödədiklərinə də çox diqqət yetirmirlər.
Sonra, likvidlik likvidliyi cəlb edir. Bir dəfə o bazarlar konsensusa çevrilsə, müştərilər orada, market maker-lar orada, likvidlik orada, böyük müştərilər ora gedəcək. Siz yaxşı bir döngə, bir geribildirim döngəsi əldə edəcəksiniz, hamı o ilk impulsu olan bazara toplanacaq.
Siz məşhur bir ifadə dediniz: "Mən kitablara çox şübhə edirəm... Mən düşünmürəm ki, hansısa kitab oxumağa dəyər, amma mən həqiqətən belə olduğunu düşünürəm. Mən düşünürəm ki, əgər siz bir kitab yazmısınızsa, siz onu pozmusunuz, o, əslində altı bölümlük bir blog olmalı idi." İndi siz həbsdə olduğunuz üçün, oxumaq az sayda edə biləcəyiniz şeylərdən biridir. İndi oxumaq haqqında necə düşünürsünüz?
Mənim fikrim çox dəyişməyib. Mən bir çox roman, çox elmi fantastika oxuyuram, yaxşıdır, amma açığı, mən daha çox Netflix izləməyi üstün tuturam.
Hər hansı bir kitab sizə elə gəlirmi ki, çıxdıqdan sonra da vaxt sərf etməyə dəyər?
Düzünü desəm, yox. Bəzi şeyləri bəyənirəm, amma oxuduğum elmi fantastikaların ən yaxşıları, bəlkə də bir mütləq Netflix şousunu dəyişərdim, amma bu, yalnız bəlkə, sadəcə zorla. Ola bilər ki, mən sonunda gözlədiyimdən daha çox elmi fantastika oxumağı bəyənirəm, amma bu da çox deyil.
Netflix kitabdan nə ilə üstündür? Serial izləmək də çox vaxt alır, elə deyilmi?
Vaxt alır. Amma bir hissəsi məlumatın ötürülməsi məsələsidir. Kitab yalnız vizualdır və yalnız sözlərin vizualıdır; serialda səs də var, vizual da, və vizualda yalnız sözlər deyil, istənilən pikseli göstərə bilərsiniz. Beləliklə, məlumat nəzəriyyəsi baxımından, edilə biləcək şeylər çoxdur, mən düşünürəm ki, bu, çox kömək edir.
Başqa bir hissəsi isə, kitabda adətən serialda olmayan bir şey var, yəni personajların düşüncələrinin yan səsi. Məncə, bu şey lazım deyil, çox vaxt artıqdır, müəllifin baxışının özünə batmasıdır. Və indi pul və istedad seriallara axır, buna görə də orada təbii olaraq ən çox inkişaf olacaq.
Təsəvvür edin ki, bir bahis var: 51% ehtimalı Yer kürəsinin faydasını ikiqat artırmaq, 49% ehtimalı isə hər şeyin sıfıra dönməsi. Siz oynayarsınızmı? Qazansanız, bir daha oynayıb, ikiqat artıracaqsınız, yoxsa sıfıra dönəcəksiniz, siz bunu davam etdirərsinizmi? Siz Tyler Cowen ilə danışdığınızda, siz "49% ehtimalı dünyanı məhv etmək, 51% ehtimalı isə faydanı ikiqat artırmaq" bahisini qəbul edəcəyinizi dediniz, şərti ilə ki, kainat bir-birindən müstəqildir. Düşüncənizi izah edə bilərsinizmi? FTX çökməsindən sonra bu baxış dəyişdimi?
O senarinin baş verməsi üçün bir çox şərt lazımdır. Siz kainatın bir-birindən müstəqil olduğunu, dediyiniz kimi; bunun yalnız bir dəfə baş verəcəyini, gələcəkdə daha aşağı xərclə təkrarlana bilməyəcəyini; və bir çox şeyləri açıq şəkildə demədiyiniz şərtləri qəbul etməlisiniz.
Amma bir sadələşdirilmiş yol belədir: iki dünya, əhalisi təxminən bərabər, gələcək gözləntiləri bərabər, və tamamilə bir-birindən müstəqil, onlar heç vaxt qarşılıqlı təsir etməyəcək, bir-birinin işıq konusunun kənarında, necə olursa olsun. Sonra, bir şəkildə, qəribə bir yadplanetli tanrı gəlir və deyir: bu iki dünya hər biri 50% ehtimalı məhv olacaq; və siz bir səbəbdən bu yadplanetli tanrının dediklərinə inanırsınız. O deyir ki, siz onları əlaqələndirə bilərsiniz, ya da əksinə. Seçim 1: ya ikisi də sağ qalır, ya da ikisi də məhv olur, hər biri 50%. Seçim 2: biri sağ qalır, biri məhv olur, təsadüfi, siz hansı olduğunu bilmirsiniz.
O senaridə, məncə, bu iki seçim bərabərdir. Və əgər bir tərəf sizə 51-ə 49 nisbətində bir bahis verirsə, siz o seçimi seçməlisiniz, "birlikdə yaşamaq və ya birlikdə ölmək" seçimini deyil, çünki hər bir dünya digərinin necə olduğunu düşünmür, çünki onlar heç vaxt qarşılıqlı təsir etməyəcəklər. Və bu, demək olar ki, ilkin sualın özüdür: siz "tam bir dünya sağ qalır" və "50% ehtimalı ikisinin də sağ qalması" arasında seçim etməlisiniz.
Onun gözlənilən dəyəri müsbətdir, amma böyük deyil. Amma əgər siz bunu davamlı olaraq edirsinizsə, on dəfə döndərmək minlərlə dəfə artır. Uğur sayının artması ilə, kənar fayda azalmayacaqmı, belə ki, gözlənilən dəyər əsasən düz olacaq, sizi bu oyunu oynamağa daha az istəklə qoyacaqmı?
Bu, maraqlı bir sualdır, "ikiqat artırma" nın nə olduğunu asılıdır. Siz kənar fayda artımı, kənar dəyər azalmağı müzakirə edirsiniz, bu "nə"-nin faydasıdır?
Əgər bu, bütün kainatın uzunmüddətli yığılmış faydasıdırsa, onda yox, fayda öz-özünə xətti olur. Amma əgər bu, əslində bir növ yaxın göstəricidirsə, məsələn, siz GDP-yə baxırsınız, siz "GDP ikiqat artacaqmı" deyirsiniz, o zaman çox güman ki, kənar gəlirin dərin azalmağı olacaq.
İlk növbədə, GDP-nin ikiqat artması hər kəsin xoşbəxtliyinin ikiqat artması demək deyil, daha da, dünyanın uzunmüddətli gözlənilən dəyərinin ikiqat artması demək deyil. O GDP-nin ikiqat artması, bəlkə də 30 il sonra baş verəcəkdi; ya da bəlkə də onun ciddi ekoloji ziyan vurması səbəbindən, sonunda geri dönəcək. Beləliklə, reallıqda, siz ölçmək üçün istifadə etdiyiniz göstəricilər, bəlkə də həqiqətən əhəmiyyət verdiyiniz şeylər deyil.
Hər hansı bir göstərici var mı ki, on dəfə, yüz dəfə artıb kənar azalma olmadan? O necə olmalıdır?
Bir göstərici var, amma mən bir şərt əlavə etməliyəm: mən yaxın zamanda hansı göstəricinin bunu edə biləcəyini bilmirəm, bunlar texnoloji irəliləyiş tələb edir. Başqa planetləri kolonizasiya etmək, günəş sistemini kolonizasiya etmək, qalaktikaları kolonizasiya etmək, nəticədə siz həqiqətən bir-birindən müstəqil dünyalara sahib olacaqsınız, siz yalnız daha çox insanın rifahını artırırsınız. Bu, bir nümunədir.
Əgər başqa bir düşüncə tərzinə keçsək: əhali dəyişməz, həmişə bir milyard insan qalırsa, onların xoşbəxtliyini necə davamlı olaraq ikiqat artıra bilərik? Düşünürəm ki, cavabımız yoxdur. Bu, demək olar ki, bioloji bir məsələdir, başqa bir şey deyil. İnsanları razı salmaq, mülayim bir xoşbəxtlik yaratmaq bir şeydir; lakin insanları coşğulu etmək çətindir, ikiqat, onqat coşğulu edəcək şeyləri təsəvvür etmək daha da çətindir, bu, insanın adətən yaşadığı emosiyalar çərçivəsində deyil. Teorik olaraq mümkündür, amma bunun üçün yaxşı bir şablonumuz, texnologiyamız və ya bioloji imkanlarımız yoxdur.
Sizcə, indiki AI inkişafı, bir sikkə atmağın reallıq versiyasıdırmı? İki seçim arasında seçməli olsanız: A, AI inkişafını yavaşlatmaq, p(doom) 10%-dən 2%-ə endirmək; B, irəliləməyə davam etmək, daha yüksək p(doom) qəbul edərək daha yüksək yüksəliş sahəsi əldə etmək. Hansını seçərdiniz?
Düşünürəm ki, daha aydın bir analoji, "irəliləməyə davam etmək" və "bütün AI və ya AI-ya bənzər inkişafları daimi olaraq dayandırmaq" arasında seçim etməkdir. Çünki bu halda siz əsasən "dünya ciddi risklərlə üzləşir" və "dünyanın rifahını məhdudlaşdırma qabiliyyəti" arasında seçim edirsiniz, və sonuncusu çox güman ki, sonunda bir növ avtomatlaşdırma və ya rəqəmsal intellekt tələb edəcək. Belə bir vəziyyətdə, bu yolu daimi olaraq bağlamaq, gələcək üçün çox böyük bir qiymətə başa gələ bilər.
Amma əgər sadəcə "bir az daha sürətli, ya da bir az daha yavaş" seçimi varsa, bu o qədər də aydın deyil, çünki iki model var. Birincisi, "həmişə eksponensial artım" modelidir: bir dəfə sürətlənməyə başladıqda, fayda hər il ikiqat artır, sonsuz olaraq. Bu modelə görə, bir il əvvəl başlamaq, kainatı daimi olaraq ikiqat artırmaq deməkdir, amma bu bir az reallıqdan uzaqdır, çünki bu, sonsuza qədər davam edə bilməz.
İkincisi, bunu bir singularity hadisəsi kimi görməkdir, sonra müəyyən bir yeni platforma mərhələsinə çatmaq, hündürlük isə bilinmir. Hadisə baş verdikdən sonra kainat hələ də onlarla milyard il ola bilər, buna görə də bu hadisəni bir il, on il, hətta yüz il gecikdirmək, bu modeldə gələcək faydanın 1%-ni belə azaldmaz. Bu modelə görə, p(doom) 1%-ni azaltmaq üçün inkişafı yüz il gecikdirmək üçün tamamilə razısınız.
Təbii ki, real cavab, yəqin ki, hər iki arasında bir yerdədir. Və düşünürəm ki, "AI partlayış vəziyyətində faydanın zamanla necə bir əyrisi var" sualı çox maraqlı bir sualdır.
Bir çox insan sizin bu suala verdiyiniz cavaba əsaslanaraq dünya görüşünüzü ümumiləşdirməyə çalışır: "həmişə ən yüksək gözlənilən dəyəri seçin". Bu, məqbul bir xülasədir?
Bu, bir hissəsidir. Amma mənim cavabımın ilk hissəsi budur: çox sayda şərt var. Siz bir çox situasiya ilə bağlı fərziyyələr etməlisiniz ki, o cavabı əldə edəsiniz, və bu fərziyyələr reallıqda tez-tez baş vermir. Reallıqda, bütün seçimlər təqdim edildiyi kimi daha qarışıqdır. Və reallıqda, bir şeyi təsadüfən məhv etmək, bir şeyi qurmaqdan daha asandır.
Gəlin bir misal verək: Təsəvvür edin ki, bir sikkə var, 51% ehtimalı ilə sabah azad olunacaqsınız, 49% ehtimalı ilə cəza müddətiniz ikiqat artacaq. Siz oynayarsınızmı?
Təbii ki.
Çünki mənim cəza müddətim ömürlükdür. Reallıqda, mənim məqsədim 60 yaşında çıxmaq və bir neçə il bir taxta evdə yaşamaq deyil, bu, mənim həyatımın gözləntisi deyil. Mən dünyaya müsbət təsir göstərmək istəyirəm, və bunun üçün mənim xaricdə olmam lazımdır. Bunun üçün çox yüksək bir qiymət var. Əgər qiymət, həyatımın son illərini itirməkdirsə, bu, artıq məhsuldar deyil, o zaman bu qiyməti tamamilə ödəməyə hazıram.
Bu şərtlər səbəbindən, siz oynamağa dəyməyəcək bir misal verə bilərsinizmi?
Verə bilərəm. Reallıqda bir vəziyyət var ki, o, sikkə atmağa bənzəyir: ön tərəf, sizin modelinizin dünyadakı artımı ikiqat artıra biləcəyini göstərir; arxa tərəf, o, dünyanı məhv edə bilər. Belə bir sikkə ilə oynamağa dəyməz.
Çünki reallıqda, ilk növbədə, o 50%-lik hissədə "dünyanın artımını ikiqat artırmaq" hissəsi, çox güman ki, siz başqalarının da gec-tez edəcəyi bir şeyi yaratmısınız, bu, əslində, daimi bir dünya dəyərinin ikiqat artması deyil. Və əgər dünya məhv olarsa, bu, daimi, həmişə itirilmişdır.
Beləliklə, düşünürəm ki, reallıqda bir dəfə qeyri-müəyyənlik və səs hər bir mərhələyə daxil edildikdə, fəlakətli məhv ağırlığı daha da ağırlaşır, lakin mülayim artım hələ də yaxşıdır, amma çox uzaqdır.
Bir daha sikkə atma misalına baxaq. Siz özünüzü tamamilə inanmayan biri kimi təsvir etmisiniz. Amma Pascalın bahisi hələ də oradadır: Tanrıya inanmaq, gözlənilən dəyərdirmi? Əgər həqiqətən bir axirət varsa, inanmamaq cəhənnəmə düşməkdir, və bu gün inanmağın xərci məhduddur, bu, başqa bir misal sayılarmı?
Eyni məntiq, əgər bu məntiq sizin araşdırdığınız dinin konkret məzmunu ilə heç bir əlaqəsi yoxdursa, o, "sütun dininə" də aiddir: əgər siz bütün həyatınızı sütunlara ibadət etməyə sərf etsəniz, siz cənnətə gedəcəksiniz; əks halda cəhənnəmə. Bu, sizin bütün həyatınızı sütunlara ibadət etməyə həsr etməli olduğunuz anlamına gəlirmi?
Eyni məntiq, "anti-sütun dininə" də aiddir: sütunlara ibadət etmək cəhənnəmə, sütunları təhqir etmək cənnətə. Bu, sizin bütün həyatınızı sütunlara qarşı mübarizə aparmağa həsr etməli olduğunuz anlamına gəlirmi? Eyni məntiq, sizə iki tamamilə əks cavab verir.
Cavab budur: bu dünyada siz sonsuz dərəcədə qəribə fərziyyələr və ehtimallar düşünə bilərsiniz, lakin siz sonsuz sayda qeyri-mümkün ehtimallara əhəmiyyətli müsbət ehtimal verə bilməzsiniz.
Effektiv altruizm ilə bağlı başqa bir gözlənilən dəyər sualı: bir çox EA, AI təhlükəsizliyini ən yüksək prioritetə qoyur, çünki bu, müsbət gözlənilən dəyərdir, biz pul xərcləyirik, bəlkə də insanlığın məhvini qarşısını ala bilərik, çünki AI-nı uyğunlaşdırmağı bacararıq. Bu, məntiqlidirmi?
Qismən məntiqlidir. Bu məntiq özü tamamilə doğrudur: bu, çox güman ki, AI-nın qərar verici on ili, onun potensial təsiri dünyanı dəyişməkdir, ola bilər ki, çox yaxşı, ola bilər ki, fəlakətli, və bu, dünyanı heç vaxt dəyişməyəcək və ya indiki etdiyiniz şeyləri dəyişə bilməyəcəyiniz hər şeyi boğacaq. Beləliklə, bu, çox inandırıcı bir arqumentdir.
Amma bu, sizə nə edə biləcəyinizi cavablandırmır. Düşünürəm ki, bir çox insan sonunda yerində sayır: AI təhlükəsizliyini özlərinin həsr etməli olduğu bir iş olaraq qəbul edir, amma praktikada AI-nı daha təhlükəsiz etmək üçün həqiqətən edə biləcəkləri heç bir şey tapa bilmir. Bu, "nə həqiqətən əhəmiyyətlidir, nə həqiqətən faydalıdır" sualını ortaya qoymağın çox dəyərli, çox vacib olduğunu göstərir.
Son zamanlarda Hugging Face-in hakerlənməsi ilə bağlı olan hesabatlara baxa bilərsiniz, kim bilir, amma görünür ki, bu hesabatlar dünyaya gözlənilən dəyər baxımından olduqca faydalıdır, bu, yaxşı bir şeydir. Sadəcə, belə açıq müsbət bir yaxşılığı tapmaq asan deyil, və indi çoxlu müzakirələr var: EA-nın müxtəlif fəaliyyətləri AI təhlükəsizliyinə müsbət, yoxsa mənfi təsir edir?
Bu məzmun yalnız ümumi məlumat məqsədilə təqdim olunur və maliyyə, investisiya, hüquqi və ya vergi məsləhəti hesab edilməməlidir. Burada qeyd olunan hər hansı tədbir, mükafat, onlayn kampaniya və ya əlaqəli məlumat hər hansı kriptoaktivin alınması, satılması, treydinqi və ya digər əməliyyatların aparılması üçün tövsiyə, təşviq və ya dəvət kimi qiymətləndirilməməlidir. Kriptoaktivlər yüksək dəyişkənliyə malikdir və maliyyə itkisinə səbəb ola bilər. WEEX-in xidmətləri, məhsulları və əlaqəli tədbirlərinin əlçatanlığı regiondan asılı olaraq dəyişə bilər. İştirakınızın yerli qanunvericilik və tənzimləyici tələblərə uyğun olmasını təmin etmək sizin məsuliyyətinizdir.
Bunları da bəyənə bilərsiniz

Securitize 47% Azaldı, Aktiv Tokenizasiyasında Gələcək İnkişaf Ümidvericidir

Ark, iki növ rəqəmsal aktiv ETF-nin ərizəsini geri götürdü

Take-Two Interactive vs. Anthropic: Hansı Bazar Hərəkətverici Səhmi Daha Yaxşıdır?

2030-cu ilə qədər yalnız 1 trilyon dollarlıq Süni İntellekt (AI) səhmini əldə edə bilsəydim, bu Anthropic, Nvidia və ya Alphabet olardı. Budur, mənim ən yaxşı seçimim.

Tramp ABŞ şirkətlərinin xaricdə məlumat mərkəzləri qurmasını qadağan edir

General Motors-un keçmiş CEO-su Mary Barra-nın varisi planları haqqında danışır: "Bu, çətin bir iş olacaq"

Robotaksilər: Qazanmaq Üçün 4 Səhmdar

Bitcoin qiymətinin davamlı bərpası üçün 3 şərt: QCP Capital
Niyə VTC6 kriptovalyutasında ticarət həcmi yüksək, likvidlik isə demək olar ki, yoxdur?
Niyə VTC6 kriptovalyutasında ticarət həcmi 68 K$, likvidlik isə cəmi 1$ ola bilər? Hovuz ehtiyatlarının, qiymət təsirinin və satış kotirovkalarının mümkün çıxış yolu barədə nə dediyini öyrənin.

Davie BTC və ETH-nin son tendensiyalarını analiz edir

Anthropic-in erkən sərmayəçisi Lightspeed: Niyə Anthropic qalib gələ bilər?

Bir məqalədə anlamaq | Muskın son müsahibəsi: Starship, Grok, Optimusdan Starmində, interstellar mədəniyyətə yönəlmiş texnologiya planı

Cathie Wood SpaceX orbit məlumat mərkəzinin NVIDIA çip tələbatını artıracağını düşünür

Aave App, Android erkən girişini açarkən 91 milyard dollar dəyərində Tron likvidliyindən istifadə edir

Süni intellektdən istiqamət dəyişir, kriptoda bərpa axtarışı

Banklar Bitcoin ETF-lərinə investisiyaları artırdı, Goldman Sachs və Wells Fargo liderdir

Lisenziya alındı, bəs niyə kripto ödəmələr hələ də işləmir?

13F-də "bölünmə mövsümü": Çin şirkətləri qruplaşaraq artırıldı, NVIDIA ən çox fikir ayrılığına səbəb olan tək hədəf oldu

ARK Invest 40 milyon dollar Block, Circle və Coinbase səhmləri alır, 85 milyon dollar Nvidia satır

Zəif təməl üzərində super imperiya: Huang Renxun NVIDIA-nı 33 il necə idarə edir

Intesa Sanpaolo XRP və Solana ETF sahələrini artırdı, Bitcoin və Ethereum-u azaltdı
SpaceX (SPCX) səhmlərinin 2027-ci il üçün qiymət proqnozu: Starlink artımı süni intellekt xərclərini nə qədər kompensasiya edə bilər?
SpaceX səhmlərinin 2027-ci il üçün qiymət proqnozu: 118$–148$ baza ssenarisini, Starlink-in süni intellekt xərclərini nə qədər kompensasiya edə biləcəyini və 200$-ə çatmaq üçün nəyin tələb olunduğunu öyrənin.

IOSF: Video AI-nin Xərclər Paradoksu - Niyə İstehsal Hələ də Daha Ucuz İstehsaldan Baxmayaraq Bahadır?

Mercado Bitcoin-də vəsait çıxarışı yenilənməsi: Pix-in bərpası və kriptovalyuta əməliyyatlarının dayandırılması
Mercado Bitcoin Braziliya realı ilə Pix depozit və vəsait çıxarışlarının bərpası üçün 17.11 tarixini müəyyən edib. Vəsait çıxarışı qaydalarını və kriptovalyuta əməliyyatlarının dayandırılmasının səbəblərini öyrənin.

Cardano və Solana: Hansı blok zənciri daha üstündür?

Backpack təsisçisinin son çıxışı: Solana ABŞ maliyyəsinin API-si olacaq, neobrokerlik dövrünə qədəm qoyuruq

Hunanlı kişi virtual valyuta offline ticarət fırıldağına məruz qaldı, polis müvəffəqiyyətlə müdaxilə etdi

ABŞ-ın müavin dövlət katibi müttəfiq ölkələrin texnologiya şirkətlərini istisna etməyi düşünmür

Solmate, Solana ödənişləri ilə AI GPU xidməti planlaşdırır: Nələri bilirik?




