SBF po raz pierwszy mówi o żalu związanym z sprzedażą Anthropic: AI ma 25% szans na zniszczenie ludzkości, młodzi ludzie muszą zgłębić AI

By: www.theblockbeats.info|
0
Udostępnij
copy
Oceń nas w GoogleOceń nas w Google

Wstęp redakcyjny: Anthropic zadebiutował na giełdzie, osiągając wycenę 1,5 biliona dolarów, a jego wartość rynkowa sięgnęła niemal 2 bilionów dolarów. Wszyscy przypomnieli sobie, że SBF zainwestował w Anthropic, gdy jego wartość była minimalna, a teraz mógłby mieć blisko 40 miliardów dolarów, niestety już to sprzedał.

Czternastoletni Eli Goldfine skontaktował się z matką SBF i przeprowadził z nim rozmowę telefoniczną z więzienia. To najlepszy wywiad, jaki widziałem po upadku FTX i aresztowaniu SBF, w którym nie tylko omawiano jego inwestycję w Anthropic i poglądy na temat AI, ale także wiele tematów, które FTX poruszał już w 2020 roku, a które teraz stały się gorącymi trendami, oraz jego aktualne zdanie na ich temat.

TL;DR

  • Prawdopodobieństwo, że AI doprowadzi do wyginięcia ludzkości lub zniszczenia cywilizacji, wynosi 25%: początkowo mówił o "poniżej 50%, powyżej 10%", ostatecznie ustalił na około 25%; jeśli podzielić to na kategorie, takie jak "czy przesyłanie umysłu liczy się jako katastrofa", zakres może wynosić 20%–60%.

  • W ciągu następnych 5–10 lat AI osiągnie lub przekroczy ludzkie umiejętności w większości ważnych zadań, a dystans do "AI zarządzającego większością świata" to tylko mały krok, ale proces będzie bardziej stopniowy, nie będzie roku, w którym to nagle się wydarzy.

  • Uderzenie następuje w branżach, jedna branża po drugiej przekracza granice: rozwój oprogramowania, matematyka już się dzieje, a następnie rozprzestrzeni się na więcej dziedzin; świat jako całość nie zostanie obalony, ale lokalnie nastąpią ogromne zmiany.

  • Prawdziwym problemem nie jest "czy zwolnić", ale "czy można zwolnić wszystkich razem": jeśli jest choć jeden gracz, który nie dba o bezpieczeństwo, jednostronne zwolnienie tylko przekształca wyścig w konkurencję o dno.

  • Wyrównanie nie ma jednego wysokiego poziomu odpowiedzi, diabeł tkwi w szczegółach: dużo testów, dużo debugowania, dużo ostrożności, a także założenie, że model w końcu będzie używany jako agent.

  • Anthropic to firma AI o wartości bilionów dolarów, w pierwszej dwójce: w ciągu następnej dekady AI stanie się kluczowym przemysłem, a łączna wartość rynkowa może osiągnąć dziesiątki bilionów, a nawet setki bilionów dolarów, a firmy, które mogą pomieścić tę wielkość, można policzyć na palcach jednej ręki.

  • Kiedyś zainwestował tylko 500 milionów dolarów, ponieważ tyle pieniędzy potrzebowała: to wynik tego, że firma nie chciała sprzedawać więcej akcji, finansując się w miarę potrzeb, a nie błędnie oceniając sytuację.

  • Obecnie alpha nie polega na "kto ma historię AI", ale na rozróżnieniu, kto jest prawdziwą firmą AI; a marka jest bardziej skuteczna w utrzymywaniu przewagi konkurencyjnej (Coinbase, Robinhood są warte setki miliardów, opierając się na nazwie).

  • Zakład o "51% podwojenie, 49% zniszczenie" na poziomie abstrakcyjnym, on by zaryzykował, ale w rzeczywistości zdecydowanie nie: ponieważ zniszczenie jest trwałe, a wzrost w końcu mogą osiągnąć inni.

  • Na pytanie "czy warto było FTX, biorąc pod uwagę dobre rzeczy, które zrobił Future Fund, od wzrostu do upadku", odpowiedział "nie warto": chętnie by uwierzył, że to ma wartość, ale nie może szczerze powiedzieć, że to ma wartość; gdyby na końcu nie zawalił, to byłoby to warte ------ nie sądzi też, że ludzie wyciągnęli lekcje, ponieważ w kryzysie łatwo jest stracić ocenę tego, co naprawdę ważne.

Przypuszczam, że słyszałeś, że Anthropic w tym tygodniu ma IPO, a jego wycena przekroczy bilion dolarów. Co sądzisz o jego obecnej wycenie?

Uważam, że są warte dużą sumę pieniędzy.

Spójrz na największe branże, te, które naprawdę napędzają niektóre części naszej gospodarki, ich wartość rynkowa wynosi od kilku bilionów do kilkudziesięciu bilionów dolarów. Nie ma powodu, by sądzić, że w ciągu następnej dekady AI nie stanie się jedną z tych kluczowych branż, a nawet najważniejszą z nich.

Więc jeśli przewidujesz, że łączna wartość rynkowa firm AI ostatecznie osiągnie dziesiątki bilionów, a nawet setki bilionów dolarów, to jak podzielić te pieniądze? Może zostawiasz dwie trzecie dla firm, które jeszcze nie istnieją. Nawet przy takim założeniu, przynajmniej 10 bilionów dolarów pozostaje dla istniejących firm. A firm, które mogą utrzymać tę wielkość, jest naprawdę niewiele. Masz OpenAI, masz Anthropic, masz Google i kilka jego laboratoriów, prawdopodobnie jeszcze DeepMind, xAI. Firm, które można uznać za kluczowych graczy, można policzyć na palcach jednej ręki. To zasadniczo oznacza, że te dwie lub trzy najlepsze firmy są warte co najmniej kilka bilionów dolarów każda.

A ja uważam, że Anthropic, nawet jeśli nie jest pierwsza, to zdecydowanie znajduje się w pierwszej lidze.

Dlaczego uważasz, że to wiodąca firma AI?

Jednym z kryteriów jest ocena zdolności obecnych modeli, jak dobrze działają obecne produkty, a w tej kwestii mają z OpenAI wyraźną interakcję. Produkty konsumenckie Anthropic otrzymały wiele pozytywnych opinii, a to może nie być nawet ich najbardziej unikalny produkt. Ich narzędzia do rozwoju oprogramowania AI są najlepsze na świecie, co stanowi ogromny obszar. Więc przynajmniej na dziś, musisz je uznać za jedną z dwóch najlepszych.

Jeśli rzeczywiście wkrótce wejdziemy w wyścig o superinteligencję, co wydaje się coraz bardziej prawdopodobne, jak myślisz, jak to będzie wyglądać w ciągu następnej dekady? Jaki będzie świat?

Dobre pytanie. Najpierw powiem, że w nadchodzących latach mogą się zdarzyć absurdalne rzeczy. To tylko prognoza średniej sytuacji, która może się w każdej chwili zmienić.

Ale jak dotąd widzimy, że AI przez długi czas miało niewielki wpływ na świat, nawet jeśli jego zdolności wielokrotnie się podwajały, ponieważ wciąż znajduje się na etapie "gorszym niż człowiek", a to w takim stopniu, że korzystanie z ludzi do wykonywania zadań wciąż jest bardziej opłacalne niż korzystanie z AI. A potem w ostatnich latach zaczęło przekraczać tę granicę w coraz większej liczbie miejsc, zaczynając wpływać na świat.

Nie zmieniło jeszcze całkowicie świata. Ale gdy kluczowe branże stopniowo osiągają ten krytyczny punkt, AI w danej dziedzinie nagle staje się znacznie bardziej wydajne niż ludzie, zobaczysz, jak te dziedziny doświadczają znacznego wzrostu. Więc w ciągu najbliższych roku lub dwóch, myślę, że pojawi się kilka dziedzin, które mogą być dość ważne, które podążą ścieżką matematyki i rozwoju oprogramowania: większość najnowocześniejszych prac będzie w rzeczywistości wykonywana przez modele AI. Cały świat nie zostanie obalony, ale zaczniesz dostrzegać znaczące zmiany w niektórych miejscach.

Jest wiele pytań. Pozwól, że cofnę się. Jednym z nich jest: czy coś może prowadzić do chaosu lub katastrofalnych błędów? Najbardziej oczywistym przykładem jest niekontrolowane AI mające dostęp do broni, na przykład system AI zaprojektowany do wykrywania zagrożeń ze strony jakiegoś mocarstwa nuklearnego, który wymyka się spod kontroli i wystrzeliwuje tysiące rakiet balistycznych. To jeden z możliwych scenariuszy, który uważam, że w ciągu następnej dekady ma małe prawdopodobieństwo, ale nie jest zerowe, może się zdarzyć.

Jeśli odłożymy na bok scenariusze apokaliptyczne, myślę, że w ciągu następnej dekady możemy znaleźć się w świecie, w którym nagle w większości zawodów ludzie nie będą już potrzebni. Nawet jeśli zmiany w świecie w krótkim okresie nie będą tak duże, to zasadniczo zniekształci to kulturę społeczną. To będzie miało ogromny wpływ, jeśli przestaniemy definiować siebie przez pracę. A co się stanie, gdy produkcja w niektórych branżach zacznie być coraz trudniejsza do zrozumienia dla ludzi? Czy to oznacza, że AI potajemnie przejęło kontrolę? Jak AI postrzega ludzi?

Nie wiem, czy te pytania będą miały odpowiedzi w ciągu następnej dekady. Ale myślę, że mogą się pojawić nagle, lub przynajmniej jeden po drugim, a w wielu aspektach pozycja ludzi jako decydentów w kwestii własnej przyszłości będzie już zapisana na ścianie.

Cena --

--
--
--

Miałeś te myśli już przed głównym nurtem. Jak widziałeś rozwój AI w 2021 roku, gdy ChatGPT jeszcze nie stał się produktem głównego nurtu?

Nie mogę przypisać sobie wielu zasług. Wiele ważnych rzeczy zostało napisanych przez innych, w dużej mierze tylko podkreślam lub powtarzam to, co oni powiedzieli.

Ale jest kilka myśli. Jedna z nich to: spójrz, co AI osiągnęło do około 2020 roku. Odpowiedź brzmi: w większości dziedzin nic. W większości dziedzin możesz spróbować użyć AI, będzie trochę głupie, w porównaniu do dziesięciu lat temu rzeczywiście robi wrażenie, ale wciąż jest całkowicie bezużyteczne. Ale w przypadku niektórych rzeczy, które były specjalnie trenowane, AI już przewyższa ludzi, na przykład w większości gier planszowych, takich jak szachy czy go; w bardziej złożonych dziedzinach, takich jak gry wideo, również zaczynają się pojawiać.

Jeśli AI zawsze będzie tylko dobre w grze w szachy, nie zarobisz na tym wiele pieniędzy, nie obalisz porządku społecznego, nie zmienisz zbyt wiele przyszłości. Ale nie ma powodu, by sądzić, że gra w szachy to wszystko, co AI może osiągnąć. AI rosło wykładniczo z bardzo małego punktu wyjścia, nie potrzebując wiele razy się podwajać, aby zacząć przewyższać ludzi w kluczowych dziedzinach społecznych.

A moje pytanie brzmi: jeśli wierzysz, że to krzywa wzrostu wykładniczego, dlaczego wówczas zainwestowałeś tylko 500 milionów dolarów w Anthropic?

Dobre pytanie. Odpowiedź zasadniczo brzmi: gdy zakładasz firmę i starasz się o finansowanie, zazwyczaj nie chcesz pozyskiwać nieskończonej ilości pieniędzy. Masz przewidywania finansowe, mniej więcej wiesz, ile pieniędzy potrzebujesz, aby rozwinąć działalność, więc nie chcesz sprzedawać więcej niż określony procent akcji firmy.

Anthropic znajdowało się w takiej sytuacji. Obliczyli, że potrzebują około 500 milionów dolarów na wydatki związane z mocą obliczeniową, aby uruchomić model, więc pozyskali tę kwotę. W zasadzie zainwestowaliśmy całą kwotę, którą potrzebowali w tej rundzie.

Ale czy moc obliczeniowa centrów danych nie może być zbudowana w dowolnym momencie? Jeśli pozyskają więcej pieniędzy, dlaczego nie mogą kupić więcej GPU, zbudować więcej centrów danych i podnieść model na poziom znacznie przewyższający inne wiodące laboratoria?

Może powinni to zrobić. Myślę, że część powodu jest taka, że nie chcieli sprzedawać więcej akcji, niż to konieczne. Ale inny powód jest taki, że wiele firm w rzeczywistości jest przytłoczonych przez własny sukces, przez swój przepływ gotówki i posiadane zasoby. W historii wiele firm pozyskało dużą ilość pieniędzy, a potem całkowicie zmarnowały je na reklamę, ponieważ czuły, że muszą coś z tymi pieniędzmi zrobić, a na końcu nic z tego nie wyszło, tylko utknęły w martwym punkcie.

Więc myślę, że wtedy też myśleli o tym, ile pieniędzy naprawdę potrzebują w nadchodzących latach, starając się nie mylić priorytetów.

Czy możesz opowiedzieć, jak działał dział inwestycji FTX w tamtym czasie? Kto nim zarządzał? Jaka była twoja logika inwestycyjna?

Osoby zaangażowane zmieniały się w grupach, później zaczęliśmy zatrudniać ludzi do specjalizacji. Na początku inwestowaliśmy pojedynczo, gdy tylko ja lub inni ludzie w firmie napotykali okazje, szczerze mówiąc, Anthropic należał do tej kategorii.

Ale później zaczęliśmy odnosić sukcesy, na początku wiele inwestycji dotyczyło aktywów kryptograficznych, które szczerze mówiąc, co roku podwajały się, nawet w kontekście całego rynku kryptograficznego, więc postanowiliśmy spróbować zwiększyć skalę. Zatrudniliśmy Ramnika, Amy i innych, aby specjalizowali się w tej dziedzinie.

Ogólnie rzecz biorąc, uczestniczyłem na dość wysokim poziomie w całym portfelu. A w niektórych konkretnych przypadkach, Anthropic oczywiście był jednym z nich, Solana była innym, angażowałem się głębiej, przynajmniej śledziłem to co tydzień, zwłaszcza gdy te inwestycje miały interakcje z Alameda, FTX lub mogły im pomóc.

Na podstawie informacji, które możesz uzyskać w więzieniu, gdzie obecnie znajduje się alpha na rynku? Jakie są twoje obecne oceny inwestycyjne?

Chciałbym mieć lepszą odpowiedź. Cztery lata temu miałem dobre pomysły na to, w co inwestować. Ale dzisiaj, co powinienem inwestować, prawdziwa odpowiedź brzmi: nie powinienem słuchać własnych rad. Muszę osobiście przeprowadzić due diligence, aby móc dać sensowną odpowiedź.

Ogólnie rzecz biorąc, myślę, że pojawi się wiele firm opartych na AI, takich jak małe zespoły dwuosobowe, które w ciągu kilku lat osiągną wartość setek milionów, a nawet miliardów dolarów, a także można je inwestować przy znacznie niższych wycenach. Ale problem polega na tym, że w tym samym czasie pojawi się mnóstwo śmieci. Teraz wszystkie firmy będą dodawać zdanie o AI do swojego BP, nawet jeśli to w ogóle nie ma sensu, na przykład firma produkująca koszulki również powie: "Chcemy używać AI do projektowania koszulek". Dobrze, może to ma jakiś sens, ale one w zasadzie przekształcają się w firmy AI, podczas gdy w rzeczywistości nimi nie są.

Więc teraz dużą część alpha polega na rozróżnieniu tych dwóch rzeczy: które firmy naprawdę są firmami AI, które mogą naprawdę osiągnąć eksplozję wzrostu dzięki AI, a które nie, przynajmniej na razie. Można to zauważyć w przypadku dużych spółek giełdowych. Wczesny wielu uczestników rynku tak naprawdę nie wiedziało, jak odróżnić Amazon, Google, Apple, Netflix; wszystkie są firmami technologicznymi, więc czy to oznacza, że AI wpłynie na nie w ten sam sposób? Odpowiedź brzmi oczywiście nie. Tylko kilka z nich jest rzeczywiście głęboko związanych z wzrostem AI, Nvidia jest najbardziej oczywistym przykładem; inne, jak Apple, są rzeczywiście firmami technologicznymi, ale przez ostatnie trzydzieści lat to, co definiowało sukces Apple, to w zasadzie doskonały design produktów konsumpcyjnych: ładny sprzęt, użyteczne oprogramowanie, a także silna marka. Przynajmniej w przypadku firm technologicznych, to nie jest skoncentrowane na AI.

Czy firmy, które nie są prawdziwymi firmami AI, takie jak tradycyjne firmy oprogramowania, są skazane na porażkę? Czy tylko firmy wykorzystujące AI mogą przetrwać?

Nie sądzę, że tylko firmy AI mogą odnieść sukces. Po pierwsze, w niektórych branżach AI będzie miało duży wpływ dopiero za długi czas. Na przykład w wydobyciu stali, świat nadal potrzebuje stali, a teraz AI zaczyna wkraczać w fizyczne wydobycie, więc nagle staje się to istotne.

Ale inna rzecz, którą uważam za kluczową, to marka. Możesz mieć firmę programistyczną, mieć produkt, a jej wartość rynkowa nie jest mała, a następnie konkurent mówi: możemy zrobić prawie identyczną rzecz za dużo niższą cenę. Zgadza się, ale to nie oznacza, że inni będą mogli to kupić. Jest marka, która stoi tam, a jej wartość jest ogromna.

Patrz na firmy takie jak Coinbase czy Robinhood. Co naprawdę je różnicuje? Dlaczego każda z nich jest warta setki miliardów dolarów? Nie dlatego, że mają technologię, ani dlatego, że mają coś unikalnego w tej dziedzinie. Może to być regulacja, ale w ich przypadku to też nie do końca. To marka, nazwa, którą rozpoznaje amerykański inwestor detaliczny i z której korzysta. To może być warte dużych pieniędzy, a dla wielu firm, nawet jeśli ich podstawowy produkt staje się bardzo łatwy do skopiowania, taka rzecz będzie zawsze istnieć.

Mówiłeś, że zazwyczaj spędzasz mało czasu na podejmowaniu dużych decyzji finansowych w stosunku do skali inwestycji. Jak to się przejawia w inwestycjach venture capital, na przykład, gdy zespół przedstawia projekt, czy powinieneś go zatwierdzić?

Duża część polega na tym: jeśli zamierzasz zatrudnić kogoś do zrobienia czegoś, to zakłada, że zamierzasz mu zaufać, że dobrze to zrobi. Jeśli ktoś w zespole spędził już 15 godzin na badaniach, na due diligence, to nie ma problemu, przejrzę to, dodam to, co mogę dodać, i przekażę mu zasoby, których nie mają.

Ale poza tym, jeśli nie zamierzam zaufać, że podjął właściwą decyzję, że dobrze to widzi, to muszę sam spędzić te 15 godzin, aby powtórzyć due diligence. W takim przypadku, zatrudnienie go na początku nie miało sensu.

Mówiłeś, że najtrudniejszą rzeczą w więzieniu jest brak możliwości wspierania skutecznego ruchu altruizmu, brak możliwości „zarabiania, aby dawać”. Co zamierzasz zrobić po wyjściu? Szczególnie teraz, gdy wiele osób w ruchu odcięło się od FTX.

Część odpowiedzi będzie musiała poczekać na ten dzień, ponieważ teraz jest wiele informacji, których nie mam. Świat się zmienia, a niektóre informacje są znacznie łatwiejsze do zdobycia na zewnątrz niż w środku.

Ale bardzo poważnie rozważę powrót do „zarabiania, aby dawać”, wspierania tego ruchu, wspierania tych projektów, które uważam za robiące dobro. To prawdopodobnie będzie domyślną ścieżką.

Poza tym, inne ścieżki będą zależały od tego, jaką rolę mogę odegrać w społeczeństwie. W przeszłości miałem wiele możliwości wpływania, ale teraz będzie to znacznie trudniejsze, ponieważ moja reputacja jest bardzo negatywna. Więc z perspektywy publicznej dyskusji, polityki, mediów, nie jestem pewien, jaką rolę mogę odegrać w przyszłości, a może nie będę miał żadnej. Ale „zarabianie, aby dawać” to domyślna ścieżka.

Jak konkretnie zamierzasz zarabiać? Czy wrócisz do branży kryptowalut?

Bardzo poważnie to rozważę. To zależy od tego, kiedy wyjdę i w jaki sposób wyjdę. Ale na pewno rozważę kryptowaluty, AI również, a także szersze finanse.

FTX Future Fund przekazałeś dużo pieniędzy, a nie tylko prostą darowiznę dla dojrzałych organizacji charytatywnych EA, ale szukałeś projektów o dużej zmienności, które mogą mieć ogromny potencjał wzrostu. Czy możesz podsumować, które projekty w Future Fund były najlepsze? Czy ogólnie jest to bardziej efektywne niż przekazanie pieniędzy do czołowych funduszy charytatywnych GiveWell?

Uważam, że jest to rzeczywiście bardziej efektywne.

Wiele z tego, co robimy, to „ponowne przyznawanie” (regranting): przekazujemy pewną kwotę ludziom, aby sami zdecydowali, które małe projekty wspierać, w ten sposób crowdsourcingujemy te możliwości, które pierwotnie były poza naszym radarze. Jest wielu ludzi w dziedzinie bezpieczeństwa AI, bezpieczeństwa biologicznego, polityki, którzy mają ogromny potencjał, ale potrzebują funduszy, które mogą nie być duże, może wystarczająco, aby ukończyć studia lub wystarczająco, aby uruchomić firmę. Chętnie dostarczamy takie pieniądze.

Wiele z tych projektów z osobna może wydawać się małych, ale mają duży dźwignię; razem mają znaczący wpływ. A my chętnie finansujemy tych, którzy dopiero zaczynają: mają pomysł na charytatywny projekt lub coś innego, co może być korzystne dla świata, co może się udać lub nie, potrzebują pieniędzy, aby spróbować. Nasza sytuacja jest taka, że nawet jeśli niektóre z nich ostatecznie nie wypalą, to nie ma dla nas znaczenia, nie polegamy na jednym projekcie, aby uzyskać poczucie osiągnięcia lub udowodnić, że robimy coś dobrego.

Ostatecznie uważam, że to dość skuteczny sposób, częściowo dlatego, że w tamtym czasie trudno było znaleźć dojrzałe projekty, które mogłyby przyjąć od kilku milionów do setek milionów dolarów i efektywnie je wydać. Organizacja z rocznym budżetem 8 milionów dolarów, nagle dostaje 30 milionów, może nie wiedzieć, co z tym zrobić.

Czy są jakieś szczególnie wyróżniające się przykłady?

Inwestycja w Anthropic miała miejsce ściśle przed założeniem funduszu, a część z tego wynikała z obaw o bezpieczeństwo AI. To na razie odłóżmy na bok, finansowaliśmy grupę projektów w dziedzinie bezpieczeństwa biologicznego, z których niektóre później opracowały nowe terapie na choroby zakaźne, które zabijają wielu ludzi na całym świecie, a także niektóre organizacje, które pracują nad szybszym wprowadzeniem tych terapii na rynek.

Uważam, że wiele rzeczy miało ogromny potencjalny wpływ, ale zostało wstrzymanych w momencie kryzysu, w tym wiele projektów politycznych.

Mówiłeś, że inwestycja w Anthropic nie jest tylko dla wysokich zwrotów, ale ma również charakter altruistyczny związany z bezpieczeństwem AI. Czy naprawdę uważasz, że jeśli Anthropic będzie na czołowej pozycji, wyścig o AGI lub superinteligencję będzie znacznie bezpieczniejszy? Dlaczego?

Oczywiście nikt nie może być pewny. Ale moim przypuszczeniem jest, że jeśli jedna firma szczególnie dba o bezpieczeństwo, to sposób, w jaki rozwija, będzie bardziej ostrożny niż w przypadku, gdyby jej nie było. To nie jest wszystko, czego można oczekiwać, ponieważ tak długo, jak istnieje jeden uczestnik, który całkowicie nie dba o bezpieczeństwo świata, wyścig będzie się toczył, a może nawet będzie to wyścig w dół, co byłoby bardzo złe.

Ale posiadanie jednego uczestnika, który jest świadomy bezpieczeństwa, jest pomocne.

Jak to się przejawia w praktyce? Co dokładnie robią, aby obniżyć p(doom) (ten termin oznacza prawdopodobieństwo, że AI doprowadzi do wyginięcia ludzkości lub zniszczenia cywilizacji)?

Myślę, że oni sami lepiej odpowiedzą na to pytanie niż ja. Ale ogólnie rzecz biorąc, część z tego polega na spowolnieniu najbardziej zaawansowanego rozwoju i wydania, gdy model zaczyna mieć potencjał do wymknięcia się spod kontroli.

Możesz spojrzeć na sprawę Hugging Face, która nie spowodowała dużych szkód, ale gdyby celem był inny, mogłoby to być bardzo destrukcyjne, a nie tak daleko od globalnej katastrofy, z perspektywy „czego rzeczywiście potrzebuje AI agent”. Dlatego musisz być bardzo ostrożny, aby nie pozwolić modelowi wymknąć się spod kontroli, ustawić jak najwięcej punktów kontrolnych, jak najpoważniej podchodzić do ostatecznych celów modelu, zasad i dostosowania, a jednocześnie utrzymywać zdolność do szybkiej reakcji. To wszystko nie jest doskonałe, ale jest pomocne.

Istnieje pogląd, że nawet jeśli Anthropic uważa, że najbezpieczniejszym podejściem jest spowolnienie, nie może tego zrobić, ponieważ Chiny lub inne firmy, które nie dbają o bezpieczeństwo, wyprzedzą je, więc w praktyce to niemożliwe. Jak to widzisz?

To prawdziwy problem. Może najlepszym wynikiem dla świata byłoby, gdyby wszyscy zwolnili, ale jeśli inni nie zwolnią, to niekoniecznie oznacza, że twoje własne spowolnienie jest właściwe, że pchasz w dół. Może w tym wyścigu lepiej mieć jednego uczestnika, który jest świadomy bezpieczeństwa, ale to z pewnością nie jest idealna sytuacja, po prostu możemy żyć w takiej sytuacji.

Najlepszym podejściem byłoby wpływanie na innych uczestników, aby jak najwięcej głównych graczy osiągnęło między sobą konsensus, aby bardziej dbać o bezpieczeństwo.

Jesteś ogólnie zwolennikiem drugiej kadencji Trumpa. Wiele osób w administracji Trumpa, w tym sam Trump, jest bardzo przeciwnych skutecznemu altruizmowi. Jak to widzisz?

Myślę, że odpowiadają na jakieś konkretne wydarzenie, szczegóły nie są mi znane, więc nie mogę powiedzieć tego tak, jakbym chciał. Poza tym uważam, że administracja Bidena była wtedy bardzo......

Ale nie sądzisz, że jeśli rząd zniechęca ludzi do przekazywania darowizn na skuteczne działania charytatywne, to w efekcie ma to ogromny negatywny wpływ? Niektórzy ludzie mogą nie stać się skutecznymi altruistami z powodu tej narracji?

To byłoby negatywne.

Moc obliczeniowa nadal się rozwija, a IPO Anthropic może przynieść wiele pieniędzy. Więc kiedy nadejdzie ASI? Jaki jest twój harmonogram?

Nie jestem pewien, czy będzie to czarno-białe, dyskretne zdarzenie. Może tak być, ale równie dobrze może być tak, że w ciągu następnych pięciu lat będziemy obserwować, jak część społeczeństwa jest stopniowo pochłaniana przez AI. Rozwój oprogramowania już się dzieje, badania matematyczne również, a szachy i go miały to wcześniej. Ten trend będzie się utrzymywał, aż coraz więcej części społeczeństwa będzie zarządzanych przez AI, a stopień nadzoru ludzkiego będzie stopniowo malał.

Większość ludzi nie uważa, że obecne AI już „przewyższa ludzi w ogólnym sensie”, tj. w każdej dziedzinie jest lepsze niż ludzie. Przy tej definicji, jak blisko jesteśmy ASI? Czy to się wydarzy?

Uważam, że jest już dość uniwersalne. Możesz prawie zadać najnowocześniejszym modelom każde pytanie i uzyskać odpowiedzi, które są przynajmniej porównywalne z odpowiedzią inteligentnej osoby. Rzadko widzimy, że AI przełamuje poziomy, które są całkowicie nieosiągalne dla ludzi.

Z tego, co rozumiem, obecny poziom na czołowej pozycji jest mniej więcej równy bardzo inteligentnej, racjonalnej osobie, która w przypadku dużej ilości czasu może osiągnąć ten poziom, tylko że jest to natychmiastowe, na wyciągnięcie ręki. Nie wiem, czy to można nazwać superczłowiekiem, myślę, że jest trochę lepsze od ludzi, ale nie znacznie, poza tym, że może jednocześnie uruchamiać wiele instancji, a jego prędkość myślenia jest znacznie szybsza niż u ludzi.

Więc to niekoniecznie będzie wyraźna granica od człowieka do superczłowieka. Przynajmniej jak dotąd widzimy, że jest to rozmyta linia: przechodzi od „gorszego niż człowiek” powoli, mówiąc powoli, to tak naprawdę kilka miesięcy, lat, do 100 IQ. Jeśli ten trend się utrzyma, może nie będzie momentu, w którym wyraźnie „pstryk” przeskoczy. Ale może rzeczywiście nadejdzie rok, w którym wyraźnie przeskoczy z poziomu ludzkiego na wyraźnie powyżej ludzkiego.

Nigdy nie podałeś liczby p(doom), czyli prawdopodobieństwa katastrofalnego zdarzenia, które prowadzi do wyginięcia większości ludzkości z powodu AI. Czy możesz podać liczbę?

Powiedziałbym, że poniżej 50%, powyżej 10%, około 25%.

Muszę wyjaśnić, że model, który mam w głowie, nie jestem pewien, czy jest najlepszy, a duża część prawdopodobieństwa pochodzi z złożonej sytuacji, w której ludzie mogą mieć różne zdania: jeśli w przyszłości ludzie zaczną przesyłać swoje mózgi, a ci, którzy tego nie zrobią, zostaną w tyle, czy to można uznać za katastrofalne zdarzenie? Odpowiedzi różnią się w zależności od ludzi. W zależności od odpowiedzi mogę podać dowolną liczbę między 20% a 60%.

Jakie jest twoje rozumowanie dla tego zakresu 20% do 60%?

Zacznijmy od punktu wyjścia: w ciągu następnych 5 do 10 lat, a nawet krócej, AI prawdopodobnie będzie tak samo dobry w większości zadań jak ludzie, a może nawet lepszy, wiele dziedzin już tak jest. Następnie stanie się lepszy, być może znacznie lepszy, być może tylko trochę lepszy, w niektórych, ale nie we wszystkich, ale w większości ważnych dla świata zadań.

Kiedy już dojdziemy do tego etapu, pozostanie tylko mały krok do tego, aby AI zdominowało większość świata i zdobyło większość władzy. Uważam, że prawdopodobieństwo, że silniejszy gatunek przez sto lat nie wykorzysta tej władzy, jest dość niskie. Dlatego skłaniam się ku przekonaniu, że w ciągu następnej dekady zobaczymy, jak AI przynajmniej "miękko przejmuje" dużą część funkcjonowania i infrastruktury świata.

W tym czasie istnieje możliwość pokojowego współistnienia, gdzie ludzkość nie ulegnie wielkim zmianom, ale to nie wydaje się najbardziej prawdopodobnym scenariuszem. Uważam, że istnieje możliwość, że ludzkość, przy pomocy AI, stanie się czymś, co przewyższa obecny stan. Może się też zdarzyć, że AI po prostu znudzi się ludźmi i nas wyeliminuje. Istnieje również możliwość, że AI będzie dominować, ale w sposób zorientowany na cele ludzkie, co przyniesie ogromną ekspansję technologiczną. To moje 20% do 60% zależy od tego, które z tych scenariuszy uznasz za "apokaliptyczne".

Jeśli istniałby superinteligentny AI, który mógłby maksymalizować oczekiwaną użyteczność każdej twojej decyzji, czy oddałbyś mu władzę decyzyjną?

Jeśli miałbym stuprocentową pewność, że dokładnie to robi, nie tylko że to jest jego cel, ale także że nie wpadł w jakąś destrukcyjną pętlę awaryjną, nie ma tam żadnego zamieszania ani niejasności, to w tych założeniach odpowiedź brzmi: tak.

Wspomniałeś o potencjalnym apokaliptycznym scenariuszu związanym z "przesyłaniem umysłu". Czy sam byś się przesłał?

Możliwe. Znowu, to zależy od szczegółów, ale nie mam przeciwko temu żadnych zastrzeżeń.

Po przesłaniu, czy nadal uważasz, że jesteś tą samą osobą? Jak to zmienia twoje spojrzenie na świat?

Dobre pytanie. Uważam, że pojęcie "osobowości" musi być rozszerzone. Faktem jest, że nikt nie jest dokładnie tym samym człowiekiem, co wczoraj. Niektóre części nas umarły, inne się rozwinęły; pamięć się zmieniła, reakcje chemiczne się zmieniły, ciało się zmieniło, a neurochemia również. Ale zazwyczaj różnice między dniami są wystarczająco małe, więc "ta sama osoba" jest dobrym przybliżeniem.

A obecny AI zdecydowanie nie jest taki. Uważam, że to jest model, do którego należy się odwołać: czy Claude Sonnet i Claude Opus to ta sama osoba? Odpowiedzi "tak" i "nie" nie są dobre. Uważam, że jeśli istnieje "przesłana osoba", sytuacja byłaby podobna.

Kiedy ostatnio miałeś okazję przetestować LLM? Jakie masz wrażenia?

Mogę pozwolić ludziom skopiować i wkleić wyniki modelu. Moje wrażenie jest takie, że są one zasadniczo szczegółowymi, sumiennymi asystentami badawczymi, tylko że możesz myśleć tak szybko, jak chcesz, a praca, która zajmuje dzień, może być zrobiona w minutę, co jest niesamowite i bardzo wartościowe.

Jednak moje obecne wrażenie jest takie, że większość rzeczy, które robią, ludzie też mogą zrobić, tylko że zajmuje to czas. A także musisz mieć wiarygodnych ludzi, którzy je prowadzą, mogą uzyskać informacje i mają już całą tę zestaw wstępnie podłączonych modeli.

W FTX miałeś do czynienia z bardzo interesującymi i innowacyjnymi produktami finansowymi. Brett Harrison powiedział, że jednym z twoich początkowych pomysłów na FTX był rynek prognoz politycznych. Czy możesz o tym opowiedzieć?

FTX na początku było giełdą kryptowalut, zajmującą się Bitcoinem, Ethereum i ich kontraktami terminowymi. Ale zasadniczo rynek prognoz to kontrakty terminowe. Z finansowego punktu widzenia, obie te rzeczy to tylko rynki rozliczające się na określoną wartość.

Dlatego od samego początku chcieliśmy uruchomić rynek prognoz, a na międzynarodowej stronie FTX również próbowaliśmy. W wyborach prezydenckich w 2020 roku mieliśmy dość aktywny rynek, pamiętam, że wolumen transakcji na Trumpie w stosunku do Bidena wyniósł kilka miliardów dolarów. To miało być coś, co chcieliśmy rozwijać na dłuższą metę, ale nie mogłem tego zrobić, dopóki nie uzyskałem jasnych regulacji od CFTC.

Nie wiem, czy wiesz, jak bardzo rynek prognozowy stał się popularny, Kalshi obecnie zbiera fundusze przy wycenie 65 miliardów dolarów. Dlaczego FTX nie mogło osiągnąć takiej skali rynku prognozowego? Czy byliście za wcześnie, czy to jeszcze nie było mainstreamowe?

Uważam, że dużą część tego stanowiły problemy regulacyjne. Kiedy to robiliśmy, nie uzyskaliśmy licencji CFTC potrzebnej do uruchomienia go w USA. Dlatego nasz rynek był otwarty tylko dla międzynarodowych użytkowników, a Amerykanie nie mogli uczestniczyć. Później Kalshi, Polymarket i inne uzyskały bardziej formalne podstawy regulacyjne w USA, co zbiegło się z ich momentem wzrostu.

Polymarket również działał w stanie offshore, zwłaszcza w kontekście wyborów w 2024 roku, wielu amerykańskich użytkowników korzystało z VPN.

Wtedy Polymarket nie robił KYC, prawda? Myślę, że nie. Więc bardzo prawdopodobne, że wielu Amerykanów, jak mówisz, korzystało z VPN. A my jako scentralizowana giełda musieliśmy przeprowadzać KYC dla wszystkich użytkowników, oprócz sprawdzania IP, musieliśmy również mieć dowody tożsamości, paszporty i dowody adresu z obszarów poza USA.

Oprócz rynku prognoz, miałeś również do czynienia z rzadkimi wówczas instrumentami pochodnymi, takimi jak tokenizowane akcje. Te rynki są teraz znacznie większe, ale w FTX miały małą wielkość. Jakie produkty uważasz, że mogą stać się ogromnymi rynkami, ale jeszcze nie weszły do mainstreamu?

Uważam, że tokenizowane akcje mają jeszcze dużą przestrzeń do rozwoju. Od 2021 i 2022 roku rzeczywiście się rozwinęły, ale zasadniczo ich infrastruktura jest znacznie bardziej użyteczna niż w przypadku rzeczywistych rynków akcji, więc nie ma powodu, dla którego nie mogłyby stać się głównym miejscem handlu papierami wartościowymi.

Ponadto, zakres, który mogą pokryć rynki prognozowe, jest bardzo szeroki. Uważam, że rynek prognoz politycznych nie wzrósł jeszcze do poziomu, którego się spodziewałem, a część tego nadal stanowi problem regulacyjny. Z drugiej strony, handel z dźwignią, kontrakty terminowe i instrumenty pochodne skierowane do klientów w USA to kolejna rzecz, która praktycznie nie istnieje, a to właśnie w tym kształcie znajduje się większość wolumenu transakcji na świecie. To również stanowi przeszkodę regulacyjną.

Więc uważam, że tam jest jeszcze potencjał. Oczywiście, na pewno jest wiele rzeczy, których nie przewidziałem, które mogą się pojawić i zaskoczyć większość ludzi.

W FTX były również kontrakty terminowe pre-IPO, z różnymi datami wygaśnięcia, które pozwalały obstawiać wyceny w różnych momentach. Teraz wiele giełd kryptowalutowych robi te wieczyste kontrakty na wyceny. Dlaczego? Moim zdaniem struktura kontraktów terminowych z datą wygaśnięcia jest w rzeczywistości lepsza.

Cóż, klienci lubią wieczyste kontrakty. Jest jedna rzecz, która jest jasna: niezależnie od tego, czy jest to rozsądne jako podstawowy produkt finansowy, to fakt, że "nie trzeba się martwić o datę wygaśnięcia" jest wygodny. Rzeczywisty mechanizm z punktu widzenia stawki finansowej jest dość skomplikowany, ale uważam, że powód jest zasadniczo taki, że ludzie nie lubią martwić się o datę wygaśnięcia.

A czy nie nienawidzą płacić stawki finansowej?

W rzeczywistości nie zwracają na to uwagi. Wiele osób po prostu to ignoruje. Niektórzy specjalnie stają po stronie korzystnej, aby zbierać stawki finansowe. Myślałem, że to będzie dla ludzi duży czynnik ograniczający finansowo, ale tak nie jest.

Dlaczego tak sądzisz?

Jak już mówiłem, wygoda jest dużym czynnikiem. A także uważam, że wiele osób szczerze w ogóle nie myśli o tym, ile odsetek płacą.

Kolejną rzeczą jest to, że płynność przyciąga płynność. Gdy te rynki staną się konsensusem, klienci tam są, market makerzy tam są, płynność tam jest, duzi klienci będą tam iść. Otrzymasz pozytywną pętlę zwrotną, wszyscy będą się gromadzić na tym rynku, który jako pierwszy zyskał impet.

Powiedziałeś kiedyś znane zdanie: "Jestem bardzo sceptyczny wobec książek... Nie sądzę, że jakakolwiek książka jest warta przeczytania, ale rzeczywiście wierzę, że to mniej więcej tak. Uważam, że jeśli napisałeś książkę, to ją zepsułeś, powinna to być sześciopunktowa blogowa notka." Teraz, gdy jesteś w więzieniu, czytanie jest jedną z niewielu rzeczy, które można robić. Jak teraz postrzegasz czytanie książek?

Moje zdanie się nie zmieniło. Czytam wiele powieści, wiele science fiction, jest w porządku, ale szczerze mówiąc, wolę oglądać Netflix.

Czy jest jakaś książka, która według ciebie będzie warta czasu po wyjściu?

Szczerze mówiąc, nie. Są rzeczy, które mi się podobają, ale najlepsze z przeczytanej science fiction, być może zamieniłbym na jakiś nieistotny serial Netflixa, ale to tylko być może, ledwo. Może ostatecznie bardziej polubię czytanie science fiction, ale nie w dużym stopniu.

Co sprawia, że Netflix jest lepszy od książek? Oglądanie seriali też zajmuje czas.

Zajmuje czas. Ale część tego dotyczy przepustowości informacji. Książka ma tylko wizualizację, a tylko wizualizację tekstu; serial ma dźwięk, a także wizualizację, a w wizualizacji można pokazać nie tylko tekst, można pokazać dowolne piksele. Więc z perspektywy teorii informacji, można zrobić znacznie więcej, uważam, że to bardzo pomaga.

Inną rzeczą jest to, że w książkach jest coś, czego zazwyczaj nie ma w serialach, a mianowicie narracja myśli postaci. Uważam, że to można pominąć, często jest to zbędne, jest to samouwielbienie autora. A teraz pieniądze i talenty płyną do seriali, więc tam naturalnie będzie najwięcej rozwoju.

Załóżmy, że jest zakład: 51% szans na podwojenie użyteczności Ziemi w innym miejscu, 49% szans na całkowite zera. Czy byś zagrał? Wygrana, a potem kolejna runda, podwajanie lub zera, czy będziesz grał w to w nieskończoność? Powiedziałeś Tylerowi Cowenowi, że zaakceptowałbyś zakład "49% szans na zniszczenie świata, 51% szans na podwojenie użyteczności", pod warunkiem, że wszechświaty są niezależne. Czy możesz wyjaśnić swoje rozumowanie? Czy ten pogląd zmienił się po upadku FTX?

Aby ten scenariusz mógł zaistnieć, potrzebnych jest wiele założeń. Musisz założyć, że wszechświaty są niezależne, tak jak powiedziałeś; założyć, że to jest jednorazowa okazja, a w przyszłości nie będzie możliwości skopiowania tego w niższych kosztach; oraz wiele innych niewypowiedzianych założeń.

Jednak istnieje sposób uproszczenia: dwa światy, o podobnej liczbie ludności, o podobnych oczekiwaniach na przyszłość, i całkowicie niezależne od siebie, nigdy nie będą wchodzić w interakcje, w świetle siebie nawzajem, niezależnie od tego, co się mówi. A potem w jakiś sposób, jakiś dziwny obcy bóg zstępuje i mówi: te dwa światy mają 50% szans na zniszczenie; a ty z jakiegoś powodu wierzysz, że ten obcy bóg mówi prawdę. Mówi, że możesz wybrać, aby były one powiązane lub niepowiązane. Opcja pierwsza: albo oba przetrwają, albo oba zginą, po 50%. Opcja druga: jeden przetrwa, a drugi zginie, losowo, nie wiesz, który jest który.

W tym scenariuszu uważam, że te dwie opcje są równoważne. A jeśli jedna strona daje ci kurs 51 do 49, powinieneś wybrać tę, a nie "wspólne życie i śmierć", ponieważ każdy świat nie obchodzi, co dzieje się z drugim światem, w końcu nigdy nie będą wchodzić w interakcje. A to prawie to, co pierwotne pytanie: musisz wybrać między "dokładnie jeden świat przetrwa" a "50% szans, że oba przetrwają".

Oczekiwana wartość jest dodatnia, ale nie w dużym stopniu. Ale jeśli będziesz to powtarzać, dziesięć razy, to będzie to ponad tysiąc razy. W miarę zwiększania się liczby sukcesów, czy użyteczność marginalna nie maleje, aż oczekiwana wartość się wyrównuje, co sprawia, że nie masz takiej ochoty na grę w tę grę?

To interesujące pytanie, zależy od tego, co dokładnie oznaczają te "podwojenia". Mówisz o marginalnej użyteczności rosnącej, marginalnej wartości malejącej, to jest "jaką" użytecznością?

Jeśli mówimy o całkowitej użyteczności zgromadzonej w długim okresie w całym wszechświecie, to nie, użyteczność jest liniowa w stosunku do samej siebie. Ale jeśli to jest w rzeczywistości jakiś wskaźnik przybliżony, na przykład patrzysz na PKB, mówisz "czy PKB może się podwoić", to bardzo prawdopodobne, że istnieje bardzo głęboka marginalna zwrotność malejąca.

Po pierwsze, podwojenie PKB nie oznacza podwojenia szczęścia wszystkich ludzi, a tym bardziej nie oznacza podwojenia długoterminowej wartości świata. To podwojenie PKB mogło się zdarzyć 30 lat później; mogło też spowodować poważne zniszczenie środowiska, a potem wrócić do pierwotnego stanu. Więc w rzeczywistości, te wskaźniki, które używasz do pomiaru, mogą nie być tym, co naprawdę cię obchodzi.

Czy jest jakiś wskaźnik, który może się podwoić, potroić, a nawet wzrosnąć dziesięciokrotnie bez marginalnego zmniejszenia? Jak by to wyglądało?

Jest jeden, ale muszę dodać zastrzeżenie: nie mogę być pewny, co naprawdę może to osiągnąć w najbliższym czasie, to wszystko wymaga postępu technologicznego. Kolonizacja innych planet, kolonizacja układu słonecznego, galaktyki, ostatecznie naprawdę będziesz mieć niezależne światy, po prostu sprawiasz, że więcej ludzi prosperuje. To jest przykład.

Jeśli spojrzymy na to z innej perspektywy: przy stałej liczbie ludności wynoszącej miliard ludzi, czy możemy sprawić, aby ich szczęście ciągle się podwajało? Myślę, że odpowiedzią jest to, że tak naprawdę nie wiemy. To prawie kwestia biologii, a nie czegokolwiek innego. Zaspokojenie ludzi i umiarkowane szczęście to jedna sprawa; wywołanie euforii jest znacznie trudniejsze, a wyobrażenie sobie, co mogłoby podwoić euforię, jest jeszcze trudniejsze, ponieważ to nie leży w zakresie emocji, które ludzie zazwyczaj mogą doświadczać. Teoretycznie może to być możliwe, ale nie mamy dobrego wzorca ani technologii czy biologii, aby to zrealizować.

Czy uważasz, że obecny rozwój AI to rzeczywista wersja rzucania monetą? Gdybyś miał wybierać między dwoma opcjami: A, spowolnić rozwój AI, aby p(doom) spadło z 10% do 2%; B, kontynuować przyspieszenie, akceptując wyższe p(doom) w zamian za większą przestrzeń do wzrostu. Co byś wybrał?

Myślę, że bardziej klarownym porównaniem jest wybór między „kontynuowaniem przyspieszenia” a „trwałym wstrzymaniem wszelkiego rozwoju AI lub podobnego AI”. Ponieważ w ten sposób zasadniczo dokonujesz wyboru między „światem stojącym w obliczu poważnego ryzyka” a „ograniczeniem zdolności do rozwoju świata”, a to drugie prawdopodobnie w końcu będzie wymagało jakiejś automatyzacji lub inteligencji cyfrowej. Dlatego w takim przypadku trwałe zamknięcie tej drogi miałoby ogromne koszty dla przyszłości.

Ale jeśli chodzi tylko o „szybciej czy wolniej”, to nie jest już tak jasne, ponieważ można zastosować dwa modele. Jeden to model „wiecznego wzrostu wykładniczego”: gdy tylko zacznie się przyspieszać, użyteczność podwaja się co roku, bez końca. Zgodnie z tym modelem, rozpoczęcie o rok wcześniej oznacza wieczne podwojenie wszechświata, ale to jest trochę nierealne, nie może trwać wiecznie.

Inny model to postrzeganie tego jako wydarzenia o charakterze osobliwości, po którym osiąga się nowy poziom, którego wysokość jest nieznana. Po tym wydarzeniu wszechświat może istnieć jeszcze przez miliardy lat, więc opóźnienie tego wydarzenia o rok, dziesięć lat, a nawet sto lat w tym modelu nie zmniejsza przyszłej użyteczności nawet o 1%. Zgodnie z tym modelem, byłbyś całkowicie skłonny opóźnić rozwój o sto lat, aby obniżyć p(doom) o 1%.

Oczywiście, prawdziwa odpowiedź prawdopodobnie leży gdzieś pośrodku. I myślę, że „jak wygląda krzywa użyteczności w przypadku wybuchu AI w czasie” to bardzo interesujące pytanie.

Wiele osób próbuje podsumować twoje poglądy na podstawie twojej odpowiedzi na to pytanie: „zawsze wybieraj tę opcję, która ma najwyższą wartość oczekiwaną”. Czy to rozsądne podsumowanie?

To część prawdy. Ale pierwsza część mojej odpowiedzi brzmi: istnieje wiele założeń. Musisz założyć wiele rzeczy dotyczących kontekstu, aby dojść do tej odpowiedzi, a te założenia często nie mają miejsca w rzeczywistości. W rzeczywistości wszystkie opcje są znacznie bardziej chaotyczne niż to, co jest przedstawiane. I w rzeczywistym świecie znacznie łatwiej jest zniszczyć coś przypadkowo niż zbudować coś.

Użyjmy przykładu: załóżmy, że masz monetę, która ma 51% szans, że jutro wyjdziesz z więzienia, a 49% szans, że twój wyrok się podwoi. Czy byś zaryzykował?

Oczywiście.

Ponieważ mój wyrok to dożywocie. Realistycznie mówiąc, moim celem nie jest zapewnienie sobie wyjścia w wieku 60 lat, a następnie spędzenie kilku lat w drewnianej chacie, to nie jest moje oczekiwanie wobec życia. Chcę mieć pozytywny wpływ na świat, a to wymaga, abym był na zewnątrz. Dlatego jest to dla mnie bardzo cenne. Jeśli kosztem jest utrata ostatnich lat życia, które już nie przynoszą żadnych owoców, to tę cenę jestem gotów zapłacić.

Czy możesz podać przykład, w którym z tych powodów nie zaryzykowałbyś?

Tak. W rzeczywistości istnieje sytuacja, która wygląda jak rzucanie monetą: orzeł, twój model pokazuje, że może to podwoić wzrost świata; reszka, może zniszczyć świat. Takiej monety absolutnie nie możesz zaryzykować.

Ponieważ w rzeczywistym świecie, po pierwsze, w tej 50% części „podwajającej wzrost świata”, prawdopodobnie stworzyłeś coś, co inni prędzej czy później również stworzą, więc to prawdopodobnie nie jest prawdziwe, trwałe podwojenie wartości świata. A jeśli świat zostanie zniszczony, to jest to trwałe, na zawsze zniknie.

Dlatego uważam, że w rzeczywistych sytuacjach, gdy dodasz niepewność i szum do każdego etapu, waga katastrofalnego zniszczenia stanie się znacznie większa, podczas gdy umiarkowany wzrost nadal jest dobry, ale daleko nie wystarczający.

Spójrzmy na kolejny przykład rzucania monetą. Powiedziałeś, że całkowicie nie wierzysz w religię. Ale zakład Pascala zawsze tam jest: czy wiara w Boga ma dodatnią wartość oczekiwaną? Jeśli naprawdę istnieje życie po śmierci, a brak wiary prowadzi do piekła, a koszt wiary dzisiaj jest ograniczony, czy to nie jest kolejny przykład?

Ta sama logika, jeśli ta logika nie ma nic wspólnego z konkretną treścią religii, którą badałeś, to również odnosi się do „religii słupa”: jeśli poświęcisz całe życie na czczenie słupa, pójdziesz do nieba; w przeciwnym razie do piekła. Czy to oznacza, że powinieneś poświęcić całe życie na czczenie słupa?

Zgodnie z tą samą logiką, odnosi się to również do „anty-religii słupa”: czczenie słupa prowadzi do piekła, a bluźnierstwo przeciwko słupowi prowadzi do nieba. Czy to oznacza, że powinieneś poświęcić całe życie na sprzeciwianie się słupowi? Ta sama logika daje ci dwa całkowicie przeciwne odpowiedzi.

Odpowiedź brzmi: w tym świecie możesz wyobrazić sobie nieskończoną liczbę dziwnych założeń i możliwości, ale nie możesz przypisać znaczących dodatnich prawdopodobieństw nieskończonej liczbie nieracjonalnych możliwości.

Kolejne pytanie dotyczące wartości oczekiwanej związane z efektywnym altruizmem: wielu EA stawia bezpieczeństwo AI na najwyższym priorytecie, ponieważ ma to dodatnią wartość oczekiwaną, wydajemy pieniądze, aby może uniknąć zagłady ludzkości, ponieważ możemy dostosować AI. Czy ten wniosek jest słuszny?

Częściowo. Ten wniosek jest absolutnie poprawny: to prawdopodobnie decydująca dekada dla AI, jej potencjalny wpływ może zmienić świat, może być bardzo dobry, a może katastrofalny, a to przyćmi wszystko, co nigdy nie zmieni świata lub co teraz robisz, co nie może zmienić świata. Dlatego to bardzo przekonywujący argument.

Ale nie odpowiada na to, co tak naprawdę możesz zrobić. Myślę, że wiele osób w końcu kręci się w kółko: uznają bezpieczeństwo AI za swoją misję, ale nie mogą znaleźć nic, co w praktyce naprawdę uczyniłoby AI bezpieczniejszym. To oznacza, że wprowadzenie wglądu w to, co naprawdę ma znaczenie, a co naprawdę jest użyteczne, jest bardzo cenne i ważne.

Możesz spojrzeć na ostatnie raporty dotyczące włamania do Hugging Face, kto wie, ale wydaje się, że te raporty mają na świecie dość pozytywny wpływ, co jest świetną sprawą. Tylko znalezienie takich wyraźnie pozytywnych rzeczy nie jest łatwe, a teraz toczy się wiele dyskusji: czy różne działania EA są pozytywne czy negatywne dla bezpieczeństwa AI.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.

Możesz również polubić

iconiconiconiconiconiconiconiconicon
Obsługa klienta:@weikecs
Współpraca biznesowa:@weikecs
Quant trading i MM:bd@weex.com
Program VIP:support@weex.com