SBF lần đầu nói về sự tiếc nuối khi Anthropic bị bán: AI có 25% xác suất hủy diệt nhân loại, giới trẻ cần hiểu rõ về AI

By: www.theblockbeats.info|

Chú thích biên tập: Anthropic đã niêm yết, định giá 1,5 triệu tỷ, và từng đạt gần 2 triệu tỷ giá trị thị trường. Mọi người lại nhớ đến SBF khi ông đầu tư vào Anthropic với giá trị thị trường rất nhỏ, nếu giữ lại bây giờ có thể gần 40 tỷ USD, nhưng tiếc là đã bị bán đi.

Cậu bé 14 tuổi Eli Goldfine đã liên lạc với mẹ của SBF và đã có một cuộc gọi với SBF đang ở trong tù. Đây là cuộc phỏng vấn tốt nhất mà tôi thấy kể từ khi FTX sụp đổ và SBF vào tù, không chỉ nói về cái nhìn của SBF về khoản đầu tư vào Anthropic và quan điểm của ông về AI, mà còn nói về nhiều lĩnh vực mà FTX đã tham gia từ năm 2020 nhưng giờ đã trở thành xu hướng nóng, cũng như quan điểm của ông về những lĩnh vực nóng này hiện tại.

TL;DR

· Xác suất AI dẫn đến sự tuyệt chủng của nhân loại hoặc sự diệt vong của nền văn minh, ông đưa ra là 25%: ban đầu nói "dưới 50%, trên 10%", cuối cùng rơi vào khoảng 25%; nếu chia theo các tiêu chí như "tải trí tâm trí có tính là thảm họa không", khoảng này có thể mở rộng từ 20% đến 60%.

· Trong 5-10 năm tới, AI sẽ đạt hoặc vượt qua con người trong hầu hết các nhiệm vụ quan trọng, chỉ còn một bước nhỏ để "AI vận hành phần lớn thế giới", nhưng quá trình này giống như một sự tiến triển mờ nhạt, không có năm nào mà mọi thứ đột ngột thay đổi.

· Sự tác động xảy ra trên từng ngành, một ngành lại vượt qua một ngành khác: phát triển phần mềm, toán học đã xảy ra, tiếp theo sẽ lan rộng đến nhiều lĩnh vực hơn; toàn cầu không bị đảo lộn, nhưng một số khu vực sẽ thay đổi mạnh mẽ.

· Vấn đề thực sự không phải là "có nên giảm tốc không", mà là "có thể làm cho mọi người cùng giảm tốc không": chỉ cần có một người chơi hoàn toàn không quan tâm đến an toàn, việc giảm tốc một bên chỉ biến cuộc đua thành cạnh tranh hạ thấp.

· Sự đồng bộ không có một câu trả lời cao cấp duy nhất, quỷ nằm trong chi tiết: cần rất nhiều thử nghiệm, rất nhiều điều chỉnh, rất nhiều cẩn thận, và phải giả định rằng mô hình cuối cùng sẽ được sử dụng như một tác nhân.

· Anthropic là công ty AI hàng trăm tỷ đô la, đứng thứ hai: trong mười năm tới, AI sẽ trở thành ngành cốt lõi, tổng giá trị thị trường có thể đạt hàng chục triệu tỷ hoặc thậm chí hàng trăm triệu tỷ đô la, chỉ có một bàn tay có thể đếm được những công ty đủ lớn để chứa đựng khối lượng này.

· Khi đó chỉ đầu tư 500 triệu USD, là vì nó chỉ cần số tiền đó: đây là kết quả của việc công ty không muốn bán nhiều cổ phần hơn, tài trợ theo nhu cầu, không phải do ông đánh giá sai.

· Hiện tại, alpha không nằm ở "ai có câu chuyện AI", mà là phân biệt ai là công ty AI thực sự; và thương hiệu có thể bảo vệ thành trì hơn công nghệ (Coinbase, Robinhood trị giá hàng trăm tỷ, dựa vào tên tuổi).

· Ván cược "51% nhân đôi, 49% hủy diệt", ở mức độ trừu tượng ông sẽ cược, nhưng trong thế giới thực ông quyết không cược: vì sự hủy diệt là vĩnh viễn, trong khi sự tăng trưởng thì người khác cũng sẽ làm được.

· Khi được hỏi "dựa vào những việc tốt mà Future Fund đã làm, liệu toàn bộ giai đoạn từ sự trỗi dậy đến sụp đổ của FTX có đáng không", câu trả lời của ông là "không đáng": ông rất muốn tin rằng nó đáng, nhưng không thể thành thật nói rằng nó đáng; nếu cuối cùng không làm hỏng, nó sẽ đáng------ ông cũng không nghĩ rằng mọi người đã rút ra bài học, vì trong khủng hoảng, mọi người rất dễ mất đi khả năng đánh giá những điều thực sự quan trọng.

Tôi đoán bạn cũng đã nghe nói, Anthropic sẽ IPO trong tuần này, định giá sẽ vượt qua một triệu tỷ đô la. Bạn nghĩ gì về định giá hiện tại của nó?

Tôi nghĩ chúng đáng giá một số tiền lớn.

Hãy nhìn vào những ngành lớn nhất, những ngành thực sự thúc đẩy một số phần của nền kinh tế chúng ta, giá trị thị trường của chúng là hàng triệu tỷ đến hàng chục triệu tỷ đô la. Không có lý do gì để nghĩ rằng trong mười năm tới AI sẽ không trở thành một trong những ngành cốt lõi đó, thậm chí là một trong những ngành chính.

Vì vậy, nếu bạn dự đoán rằng tổng giá trị thị trường của các công ty AI cuối cùng sẽ đạt hàng chục triệu tỷ, thậm chí hàng trăm triệu tỷ đô la, thì số tiền này sẽ được phân chia như thế nào? Có thể bạn để hai phần ba cho những công ty chưa tồn tại. Ngay cả khi tính như vậy, vẫn còn ít nhất mười triệu tỷ đô la cho các công ty hiện tại. Và những công ty có thể chịu đựng được khối lượng này thì không nhiều. Bạn có OpenAI, có Anthropic, có Google và một vài phòng thí nghiệm trực thuộc, có thể còn có DeepMind, xAI. Những công ty thực sự là người chơi cốt lõi, chỉ có thể đếm trên một bàn tay. Điều này cơ bản có nghĩa là, hai hoặc ba công ty hàng đầu, mỗi công ty ít nhất đáng giá hàng triệu tỷ đô la.

Và tôi nghĩ Anthropic dù không phải là số một, nhưng rõ ràng nằm trong nhóm hàng đầu.

Tại sao bạn nghĩ nó là công ty AI hàng đầu?

Một là phải xem khả năng của mô hình hiện tại, sản phẩm hiện tại có tốt đến đâu, và rõ ràng họ đã có sự tương tác với OpenAI về điều này. Các sản phẩm tiêu dùng của Anthropic đã nhận được nhiều phản hồi tích cực, và điều này thậm chí có thể không phải là sản phẩm độc đáo nhất của họ. Công cụ phát triển phần mềm AI của họ là tốt nhất thế giới, đó lại là một lĩnh vực khổng lồ khác. Vì vậy, ít nhất tính đến hôm nay, bạn phải tính họ vào hai vị trí hàng đầu.

Nếu thực sự bước vào cuộc đua hướng tới siêu trí tuệ, hiện tại có khả năng không nhỏ, bạn nghĩ mười năm tới sẽ như thế nào? Thế giới sẽ ra sao?

Câu hỏi hay. Trước tiên nói về vài năm tới, có thể xuất hiện những điều vô lý bất cứ lúc nào. Đây chỉ là một kịch bản trung bình, có thể lệch hướng bất cứ lúc nào.

Nhưng cho đến nay, những gì chúng ta thấy là: AI đã không có ảnh hưởng gì đến thế giới trong một thời gian dài, ngay cả khi khả năng của nó tăng gấp đôi nhiều lần, vì nó vẫn ở giai đoạn "không bằng con người", và không bằng đến mức mà việc sử dụng con người để làm việc vẫn có lợi hơn so với sử dụng AI. Sau đó, trong vài năm gần đây, nó bắt đầu vượt qua ranh giới đó ở ngày càng nhiều nơi, bắt đầu có ảnh hưởng đến thế giới.

Nó vẫn chưa hoàn toàn biến đổi thế giới. Nhưng khi các ngành chính lần lượt rơi vào ngưỡng đó, AI trong một lĩnh vực nào đó đột nhiên hiệu quả hơn nhiều so với con người, bạn sẽ thấy những lĩnh vực đó xuất hiện sự bùng nổ khá nhanh. Vì vậy, trong một hai năm tới, tôi nghĩ sẽ có thêm một vài lĩnh vực, có thể là những lĩnh vực rất quan trọng, đi theo con đường của toán học và phát triển phần mềm: công việc tiên tiến thực sự chủ yếu do các mô hình AI thực hiện. Toàn bộ thế giới không bị đảo lộn, nhưng bạn sẽ bắt đầu thấy những thay đổi rõ rệt ở một số nơi.

Có rất nhiều câu hỏi. Hãy để tôi lùi lại một bước. Một là: có thể có điều gì đó dẫn đến hỗn loạn hoặc sai lầm thảm khốc không? Ví dụ rõ ràng nhất là AI mất kiểm soát tiếp xúc với vũ khí, chẳng hạn như một hệ thống AI được sử dụng để phát hiện mối đe dọa từ một cường quốc hạt nhân, nó mất kiểm soát, và bắn hàng ngàn tên lửa đạn đạo trong một lần. Đây là một trong những tình huống, tôi nghĩ xác suất xảy ra trong mười năm tới không lớn, nhưng không phải là không có khả năng.

Nếu bỏ qua những kịch bản tận thế, tôi nghĩ trong mười năm tới chúng ta có thể sống trong một thế giới như thế này: đột nhiên, trong hầu hết các nghề, con người không còn cần thiết nữa. Ngay cả khi sự thay đổi trong thế giới trong ngắn hạn không lớn, điều này cũng sẽ làm biến dạng văn hóa xã hội một cách cơ bản. Ảnh hưởng là rất lớn, nếu chúng ta không còn được định nghĩa bởi công việc. Hơn nữa, khi sản lượng của một số ngành ngày càng khó hiểu đối với con người, điều gì sẽ xảy ra? Điều đó có tính là AI đã âm thầm hoàn tất việc tiếp quản không? Những AI đó sẽ nhìn nhận con người như thế nào?

Tôi không biết những câu hỏi này có thể có câu trả lời trong mười năm tới không. Nhưng tôi nghĩ rất có thể chúng sẽ xuất hiện đồng loạt, hoặc ít nhất liên tiếp xuất hiện, và trong nhiều khía cạnh, vị thế của con người như là người quyết định trung tâm cho tương lai của chính mình, đến lúc đó đã được viết rõ trên tường.

Giá --

--
--
--

Bạn đã có những suy nghĩ này từ rất sớm trước khi chúng trở thành chính thống. Năm 2021, khi ChatGPT vẫn chưa trở thành sản phẩm chính, bạn nghĩ đường đi của AI sẽ như thế nào?

Nhiều công lao trong số này không thể tính là của tôi. Nhiều điều quan trọng đã được người khác viết, tôi phần lớn chỉ nhấn mạnh hoặc nhắc lại những gì họ đã nói.

Nhưng có một vài suy nghĩ. Một là: hãy xem AI đã làm được gì vào khoảng năm 2020. Câu trả lời là, trong hầu hết các lĩnh vực, nó không làm được gì cả. Trong hầu hết các lĩnh vực, bạn có thể thử sử dụng AI, nó sẽ hơi ngốc nghếch, tương đối ấn tượng hơn nhiều so với mười năm trước, nhưng vẫn hoàn toàn vô dụng. Nhưng có một số điều, những điều mà nó đã được đào tạo chuyên biệt, nó đã vượt qua con người, chẳng hạn như hầu hết các trò chơi cờ, cờ vua hoặc cờ vây; các lĩnh vực phức tạp hơn như trò chơi điện tử cũng bắt đầu xuất hiện.

Nếu AI mãi mãi chỉ giỏi chơi cờ vua, bạn sẽ không kiếm được nhiều tiền, cũng không thể đảo lộn trật tự xã hội, không thay đổi được nhiều tương lai. Nhưng không có lý do gì để nghĩ rằng cờ vua là tất cả những gì AI có thể làm. Nó đã tăng trưởng theo cấp số nhân từ một điểm khởi đầu rất nhỏ, không cần phải tăng gấp đôi bao nhiêu lần nữa, nó sẽ bắt đầu vượt qua con người trong các lĩnh vực quan trọng của xã hội.

Vậy câu hỏi của tôi là: nếu bạn tin rằng nó là đường cong tăng trưởng theo cấp số nhân, tại sao năm đó bạn chỉ đầu tư 500 triệu USD vào Anthropic?

Câu hỏi hay. Câu trả lời cơ bản là: khi bạn thành lập một công ty, đi huy động vốn, bạn thường không muốn huy động một số tiền vô hạn. Bạn có một ước tính tài chính, khá biết cần bao nhiêu tiền để phát triển kinh doanh, bạn không muốn bán đi tỷ lệ cổ phần vượt quá mức cần thiết.

Anthropic lúc đó đang ở vị trí đó. Họ tính toán rằng họ cần khoảng 500 triệu USD chi phí tính toán để phát triển mô hình, vì vậy họ đã huy động số tiền đó. Chúng tôi cơ bản đã đầu tư toàn bộ số tiền họ cần huy động trong vòng đó.

Nhưng năng lực trung tâm dữ liệu không phải lúc nào cũng có thể xây dựng bằng tiền? Nếu họ huy động được nhiều tiền hơn, tại sao không thể mua thêm GPU, xây dựng thêm trung tâm dữ liệu, đẩy mô hình lên mức vượt xa các phòng thí nghiệm tiên tiến khác lúc đó?

Có thể họ nên làm như vậy. Tôi đoán một phần lý do là họ không muốn bán đi cổ phần vượt quá mức cần thiết. Nhưng một phần khác là, có nhiều công ty thực sự bị chính sự thành công của mình, bị dòng tiền và tiền mặt trong tay kéo xuống, trong lịch sử có nhiều công ty huy động một số tiền lớn, rồi toàn bộ đổ vào quảng cáo, vì họ cảm thấy phải làm gì đó với số tiền đó, cuối cùng chẳng đổi được gì, chỉ dừng lại.

Vì vậy, tôi đoán, họ cũng đang nghĩ: trong vài năm tới, họ thực sự cần chi bao nhiêu tiền, cố gắng không làm điều ngược lại.

Có thể nói về cách hoạt động của bộ phận đầu tư mạo hiểm của FTX lúc đó không? Ai đang quản lý? Logic đầu tư của bạn là gì?

Những người tham gia là một nhóm người thay phiên nhau, sau đó chúng tôi trực tiếp tuyển dụng người để làm chuyên môn. Ban đầu chỉ có tôi hoặc những người khác trong công ty gặp cơ hội và đầu tư từng cái một, nói thật, Anthropic thuộc về loại này.

Nhưng sau đó chúng tôi bắt đầu làm rất thành công, ban đầu nhiều là đầu tư tài sản tiền điện tử, nói thật, cơ bản mỗi năm đều tăng gấp đôi, ngay cả trong bối cảnh toàn bộ thị trường tiền điện tử cũng vậy, chúng tôi đã quyết định thử mở rộng quy mô. Chúng tôi đã tuyển dụng Ramnik, còn có Amy và những người khác, để họ chuyên trách lĩnh vực này.

Tổng thể tôi tham gia ở mức độ cao hơn trong toàn bộ danh mục. Còn một số dự án cụ thể, Anthropic rõ ràng là một trong số đó, Solana là một cái khác, tôi sẽ tham gia sâu hơn, ít nhất là theo tuần theo dõi, đặc biệt khi những khoản đầu tư này có tương tác với Alameda, FTX hoặc có thể giúp đỡ chúng.

Chỉ dựa vào thông tin bạn nhận được trong tù, hiện tại alpha ở đâu? Đánh giá đầu tư của bạn bây giờ là gì?

Tôi hy vọng có câu trả lời tốt hơn. Bốn năm trước, tôi có những ý tưởng tốt về việc nên đầu tư vào đâu. Nhưng hôm nay nên đầu tư vào đâu, câu trả lời thực sự là: tôi không nên nghe lời khuyên của chính mình. Tôi phải tự mình ra ngoài làm khảo sát, mới có thể đưa ra câu trả lời hợp lý.

Nói chung, tôi đoán sẽ có nhiều công ty dựa trên AI, loại công ty nhỏ với hai người, trong vài năm sẽ đạt được hàng triệu đô la thậm chí hàng tỷ đô la, và có thể đầu tư với định giá thấp hơn nhiều. Nhưng vấn đề là, cùng lúc đó cũng sẽ xuất hiện một đống rác. Bây giờ tất cả các công ty đều sẽ nhét một câu AI vào BP, ngay cả khi hoàn toàn không hợp lý, chẳng hạn như một công ty áo phông, nó cũng sẽ nói "chúng tôi sẽ sử dụng AI để thiết kế áo phông". Được rồi, có thể có chút hữu ích, nhưng họ đang tự đóng gói lại thành một công ty AI về bản chất, trong khi thực tế nó không phải như vậy.

Vì vậy, bây giờ một phần lớn alpha nằm ở việc phân biệt hai loại này: những công ty nào thực sự là công ty AI, những công ty nào thực sự có thể đạt được sự tăng trưởng bùng nổ nhờ AI, và những công ty nào không phải, ít nhất là hiện tại. Bạn có thể thấy điều đó từ những cổ phiếu có giá trị lớn. Nhiều người tham gia thị trường ban đầu thực sự không biết cách phân biệt Amazon, Google, Apple, Netflix, tất cả đều là công ty công nghệ, vậy điều đó có nghĩa là AI sẽ có ảnh hưởng tương tự đến chúng không? Câu trả lời chắc chắn là không. Trong số đó, một vài công ty thực sự gắn bó sâu sắc với sự tăng trưởng của AI, Nvidia là ví dụ rõ ràng nhất; trong khi một số khác, như Apple, thực sự là công ty công nghệ, nhưng những gì đã định nghĩa sự thành công của Apple trong ba mươi năm qua chủ yếu là thiết kế sản phẩm tiêu dùng xuất sắc: phần cứng đẹp, phần mềm dễ sử dụng, cộng với thương hiệu mạnh. Ít nhất là đối với các công ty công nghệ, điều đó không được coi là cốt lõi của AI.

Vậy những doanh nghiệp không thuộc về các công ty AI thực sự, chẳng hạn như các công ty phần mềm truyền thống, có phải đã hết thời? Hay chỉ có những công ty sử dụng AI mới có thể sống sót?

Tôi không nghĩ rằng chỉ có các công ty AI mới có thể thành công. Đầu tiên, có một số ngành mà AI sẽ mất rất lâu để tạo ra ảnh hưởng lớn. Ví dụ như khai thác thép, thế giới vẫn cần thép, và bây giờ AI đã bắt đầu can thiệp vào khai thác thực tế, vì vậy nó đã trở nên liên quan ngay lập tức.

Nhưng một điểm khác mà tôi nghĩ là rất quan trọng, đó là thương hiệu. Bạn có thể có một công ty phần mềm, có sản phẩm, giá trị thị trường không nhỏ, sau đó có đối thủ cạnh tranh nói: chúng tôi có thể làm ra thứ gần như giống hệt với giá rất rẻ. Đúng vậy, nhưng điều đó không có nghĩa là người khác có thể mua được. Có một thương hiệu đứng đó, giá trị cực kỳ, cực kỳ lớn.

Bạn nhìn Coinbase hoặc Robinhood. Sự khác biệt thực sự của chúng là gì? Tại sao mỗi công ty lại có giá trị hàng trăm tỷ đô la? Không phải vì công nghệ, cũng không phải vì chúng có điều gì độc quyền trong lĩnh vực này. Có thể là do quy định, nhưng thực tế cũng không hoàn toàn như vậy. Đó là thương hiệu, một cái tên mà các nhà đầu tư nhỏ lẻ ở Mỹ nhận biết và sẽ sử dụng. Điều đó có thể trị giá một khoản tiền lớn, và đối với nhiều công ty, ngay cả khi sản phẩm cốt lõi trở nên rất dễ bị sao chép, điều này vẫn sẽ tồn tại.

Bạn đã nói rằng bạn thường dành rất ít thời gian cho các quyết định tài chính lớn, so với quy mô đầu tư. Điều này thể hiện như thế nào trong đầu tư mạo hiểm, chẳng hạn như khi một nhóm đưa ra một dự án, bạn có nên phê duyệt không?

Một phần lớn nằm ở chỗ: nếu bạn muốn thuê một người để làm một việc gì đó, thì điều kiện tiên quyết là bạn dự định tin tưởng họ làm tốt việc đó. Nếu trong nhóm có người đã dành 15 giờ để điều tra, thực hiện thẩm định, thì không vấn đề gì, tôi sẽ xem qua, bổ sung những gì tôi có thể bổ sung, cung cấp cho họ những nguồn lực mà họ không có.

Nhưng ngoài ra, nếu tôi không dự định tin tưởng họ đã đưa ra quyết định đúng đắn, nhìn đúng, thì tôi phải tự mình dành thêm 15 giờ để làm lại thẩm định. Đến lúc đó, việc thuê họ vào lúc đầu đã không còn ý nghĩa nữa.

Bạn đã nói rằng điều khó chịu nhất trong tù là không thể hỗ trợ phong trào hiệu quả từ thiện, không thể "kiếm tiền để quyên góp". Sau khi ra ngoài, bạn dự định làm gì? Đặc biệt là bây giờ nhiều người trong phong trào đã cắt đứt quan hệ với FTX.

Một phần câu trả lời sẽ phải chờ đến ngày đó mới có thể đưa ra, vì bây giờ có nhiều thông tin tôi không có. Thế giới đang thay đổi, và một số thông tin bên ngoài dễ dàng hơn nhiều so với bên trong.

Nhưng tôi sẽ rất nghiêm túc xem xét việc quay lại "kiếm tiền để quyên góp", hỗ trợ phong trào này, hỗ trợ những dự án mà tôi cho là đang làm việc thiện. Điều đó có thể sẽ là một con đường mặc định.

Ngoài ra, các con đường khác sẽ phụ thuộc vào vai trò mà tôi có thể đảm nhận trong xã hội. Trước đây tôi có thể có điều kiện để tạo ra ảnh hưởng trong nhiều lĩnh vực, nhưng bây giờ điều đó sẽ khó khăn hơn nhiều, vì danh tiếng của tôi cực kỳ tiêu cực. Vì vậy, từ góc độ thảo luận công cộng, chính trị, truyền thông, tôi không chắc trong tương lai tôi có thể đảm nhận vai trò gì, thậm chí có thể không có vai trò nào. Nhưng "kiếm tiền để quyên góp" là một con đường mặc định.

Vậy cụ thể bạn sẽ kiếm tiền như thế nào? Quay lại ngành tiền điện tử à?

Tôi sẽ rất nghiêm túc xem xét. Điều đó phụ thuộc vào thời điểm tôi ra ngoài, và cách thức ra ngoài. Nhưng tôi chắc chắn sẽ xem xét tiền điện tử, AI tôi cũng sẽ xem xét, và cả tài chính rộng hơn.

FTX Future Fund bạn đã cho rất nhiều tiền, và không chỉ đơn giản là quyên góp cho các tổ chức từ thiện EA trưởng thành, mà còn tìm kiếm những dự án có độ biến động cao, một khi thành công sẽ có không gian tăng trưởng rất lớn. Bạn có thể đánh giá lại, những dự án tốt nhất trong Future Fund là gì? Tổng thể, nó có hiệu quả hơn việc đầu tư tiền cho các quỹ từ thiện hàng đầu của GiveWell không?

Tôi nghĩ nó thực sự hiệu quả hơn.

Nhiều việc chúng tôi làm là "tái cấp vốn" (regranting): giao một khoản tiền cho một nhóm người, để họ tự quyết định đầu tư vào những dự án nhỏ nào, theo cách này, chúng tôi đã crowdsourcing những cơ hội mà trước đây không nằm trong radar của chúng tôi. Có nhiều người có tiềm năng lớn trong các lĩnh vực an toàn AI, an toàn sinh học, chính trị, nhưng cần vốn, có thể không nhiều, có thể chỉ đủ để họ hoàn thành đại học, hoặc đủ để khởi động một công ty. Chúng tôi rất vui lòng cung cấp loại tiền này.

Nhiều dự án trong số đó nhìn riêng lẻ có vẻ nhỏ, nhưng đòn bẩy rất cao; nhìn tổng thể, ảnh hưởng là đáng kể. Hơn nữa, chúng tôi rất vui lòng tài trợ cho những người đang bắt đầu: họ có một ý tưởng từ thiện, hoặc một công cụ nào đó có lợi cho thế giới, có thể thành công hoặc không, cần một khoản tiền để thử nghiệm. Tình huống của chúng tôi là, ngay cả khi một số trong số đó cuối cùng không thành công, chúng tôi cũng không quan tâm, chúng tôi không phụ thuộc vào một dự án nào để cảm thấy thành công, hoặc chứng minh rằng chúng tôi đã làm điều tốt.

Cuối cùng, tôi nghĩ đây là một cách khá hiệu quả, một phần lý do là vào thời điểm đó rất khó để tìm ra những dự án trưởng thành có thể nhận hàng chục triệu đến hàng trăm triệu đô la và chi tiêu hiệu quả. Một tổ chức có ngân sách hàng năm 8 triệu đô la, bạn đột nhiên cho họ thêm 30 triệu đô la, họ có thể không biết phải làm gì với số tiền đó.

Có ví dụ nào đặc biệt nổi bật không?

Đầu tư vào Anthropic thực sự diễn ra trước khi quỹ được thành lập, và một phần là do lý do an toàn AI. Điều này để sau, chúng tôi đã tài trợ cho một số dự án trong lĩnh vực an toàn sinh học, trong đó một số đã phát triển các liệu pháp mới cho các bệnh truyền nhiễm, những bệnh đã giết chết nhiều người trên toàn cầu, và một số tổ chức đang tìm cách làm cho các liệu pháp này ra mắt nhanh hơn.

Tôi nghĩ có nhiều điều có thể có tác động tiềm năng lớn, nhưng đã bị ngừng lại khi khủng hoảng xảy ra, trong đó tôi cũng sẽ tính vào nhiều dự án chính trị.

Bạn đã nói rằng đầu tư vào Anthropic không chỉ vì lợi nhuận cao, mà còn mang tính chất công ích về an toàn AI. Bạn thực sự nghĩ rằng nếu Anthropic dẫn đầu, cuộc đua AGI hoặc đến siêu trí tuệ sẽ an toàn hơn nhiều không? Tại sao?

Chắc chắn không ai có thể chắc chắn. Nhưng dự đoán của tôi là: chỉ cần có một công ty đặc biệt quan tâm đến an toàn, cách phát triển mà nó mang lại sẽ cẩn thận hơn so với khi không có nó. Đây không phải là tất cả những gì bạn có thể mong đợi, vì chỉ cần có một người tham gia hoàn toàn không quan tâm đến an toàn thế giới, sẽ có một cuộc đua, và có thể là cuộc cạnh tranh xuống đáy, điều đó sẽ rất tồi tệ.

Nhưng có thêm một người tham gia có ý thức về an toàn là có ích.

Điều này thể hiện như thế nào trong thực tế? Họ sẽ làm gì cụ thể để giảm thiểu p(doom) (thuật ngữ này có nghĩa là xác suất AI dẫn đến sự diệt vong của nhân loại hoặc sự sụp đổ của nền văn minh)?

Câu hỏi này họ tự trả lời tốt hơn tôi. Nhưng về hướng lớn, một phần là khi mô hình bắt đầu có khả năng mất kiểm soát, làm chậm phát triển và phát hành ở giai đoạn tiên phong.

Bạn có thể nhìn vào việc Hugging Face bị hack, thiệt hại cuối cùng không lớn, nhưng nếu mục tiêu khác, nó có thể cực kỳ phá hoại, và không xa một thảm họa toàn cầu, từ góc độ "một AI agent thực sự cần làm gì" là như vậy. Vì vậy, phải rất rõ ràng rằng không thể để mô hình mất kiểm soát như vậy, càng nhiều điểm kiểm tra càng tốt, càng nghiêm túc càng tốt về mục tiêu cuối cùng của mô hình, nguyên tắc hướng dẫn và sự đồng bộ, đồng thời duy trì khả năng phản ứng theo thời gian thực. Tất cả những điều này không hoàn hảo, nhưng có ích.

Có một quan điểm cho rằng: ngay cả khi Anthropic nghĩ rằng cách an toàn nhất là chậm lại, họ cũng không thể chậm lại, vì Trung Quốc, hoặc các công ty khác không quá quan tâm đến an toàn sẽ vượt lên trước, vì vậy thực tế là không khả thi. Bạn nghĩ sao?

Đây là một vấn đề thực sự. Có thể kết quả tốt nhất cho thế giới là mọi người đều chậm lại, nhưng nếu người khác không chậm lại, điều đó không nhất thiết có nghĩa là bạn chậm lại là đúng, là đang lao vào cuộc cạnh tranh xuống đáy. Có thể có thêm một người tham gia có ý thức về an toàn trong cuộc đua này là tốt hơn, nhưng rõ ràng đó không phải là tình huống lý tưởng, chỉ là chúng ta có thể đang sống trong tình huống này.

Cách tốt nhất thực sự là ảnh hưởng đến các bên tham gia khác, cố gắng để tất cả các người chơi chính đạt được một sự đồng thuận xuyên biên giới, đều coi trọng an toàn hơn.

Bạn đã từng nói rằng bạn ủng hộ chính quyền Trump lần thứ hai. Vậy nhiều người trong chính quyền Trump, bao gồm cả Trump, đều rất phản đối hiệu quả từ thiện, bạn nghĩ sao?

Tôi nghĩ họ đang phản ứng với một sự kiện cụ thể nào đó, chi tiết tôi không rõ, vì vậy không thể nói như tôi mong muốn. Ngoài ra, tôi nghĩ chính quyền Biden lúc đó rất......

Nhưng bạn không nghĩ rằng nếu chính phủ ngăn cản mọi người quyên góp cho từ thiện hiệu quả, thì từ hiệu ứng ròng là rất tiêu cực không? Một số người sẽ không trở thành những người theo chủ nghĩa hiệu quả từ thiện vì dư luận như vậy?

Điều đó sẽ là tiêu cực.

Công suất tính toán vẫn đang mở rộng, vòng IPO của Anthropic lại có thể huy động được nhiều tiền. Vậy, ASI sẽ đến khi nào? Thời gian của bạn là gì?

Tôi không chắc nó sẽ là một sự kiện đen trắng, rời rạc. Nó có thể như vậy, nhưng cũng có thể, trong năm năm tới, chúng ta sẽ thấy một phần của xã hội bị AI nuốt chửng từng phần một. Phát triển phần mềm đã xảy ra, nghiên cứu toán học cũng vậy, cờ vua và cờ vây đã xảy ra từ lâu. Xu hướng này sẽ tiếp tục cho đến khi ngày càng nhiều phần của xã hội được điều hành bởi AI, mức độ giám sát của con người giảm dần theo thời gian.

Hầu hết mọi người sẽ không nghĩ rằng AI hiện tại đã "siêu nhân và vượt trội hơn con người về mọi mặt", tức là tốt hơn con người trong tất cả các nhiệm vụ. Theo định nghĩa này, bạn nghĩ chúng ta có gần ASI không? Nó sẽ xảy ra không?

Tôi nghĩ nó đã khá phổ biến. Bạn gần như có thể hỏi bất kỳ câu hỏi nào đến các mô hình hàng đầu, và câu trả lời nhận được ít nhất tương đương với một người thông minh. Những gì chúng ta thấy ít hơn là AI vượt qua những cấp độ mà con người không thể vượt qua.

Theo hiểu biết của tôi, hiện tại mức độ tiên tiến nhất tương đương với một người rất thông minh, rất lý trí, trong điều kiện có nhiều thời gian cuối cùng có thể đạt được, chỉ là nó ngay lập tức, ngay tại đầu ngón tay của bạn. Điều đó có được coi là siêu nhân không, tôi không biết. Tôi nghĩ nó mạnh hơn một chút so với con người, nhưng không mạnh hơn nhiều, ngoại trừ nó có thể chạy nhiều ví dụ cùng một lúc, tốc độ suy nghĩ nhanh hơn con người rất nhiều.

Vì vậy, nó có thể không phải là một ranh giới rõ ràng từ con người đến siêu nhân. Ít nhất cho đến nay, chúng ta thấy đó là một đường ranh mờ: nó từ "kém hơn con người" từ từ, nói là từ từ, thực ra chỉ trong vài tháng, vài năm, đi đến IQ 100. Nếu xu hướng này tiếp tục, có thể sẽ không có một thời điểm nào rõ ràng "bùm" mà nó vượt qua. Nhưng cũng có thể thực sự có một năm, nó rõ ràng từ mức độ con người nhảy lên rõ ràng trên mức con người.

Bạn chưa bao giờ đưa ra một con số cho p(doom), tức là xác suất xảy ra sự kiện thảm họa dẫn đến sự diệt vong của phần lớn nhân loại do AI. Bạn có thể cho một con số không?

Tôi sẽ nói thấp hơn 50%, cao hơn 10%, khoảng 25%.

Tôi muốn làm rõ rằng mô hình này trong đầu tôi, tôi không dám nói nó là mô hình tốt nhất, một phần lớn xác suất đến từ một tình huống phức tạp mà mọi người có thể có sự khác biệt lớn: giả sử trong tương lai con người bắt đầu tải não lên, những người không được tải sẽ bị bỏ lại phía sau, điều đó có được coi là sự kiện thảm họa không? Câu trả lời khác nhau giữa các người khác nhau. Theo các câu trả lời khác nhau, tôi có thể đưa ra bất kỳ con số nào từ 20% đến 60%.

Phạm vi 20% đến 60% này, lý do của bạn là gì?

Trước tiên, điểm khởi đầu: trong 5 đến 10 năm tới, thậm chí ngắn hơn, AI rất có thể sẽ tốt như con người trong hầu hết các nhiệm vụ, hoặc tốt hơn, hiện tại đã có nhiều lĩnh vực như vậy. Sau đó, nó sẽ trở nên tốt hơn, có thể tốt hơn nhiều, có thể chỉ tốt hơn một chút, trong không phải tất cả, nhưng phần lớn các nhiệm vụ quan trọng đối với thế giới.

Một khi chúng ta đạt đến giai đoạn đó, chỉ còn một bước nhỏ nữa là AI sẽ vận hành phần lớn thế giới và nắm giữ phần lớn quyền lực. Một loài mạnh mẽ hơn, không sử dụng quyền lực này trong suốt một trăm năm, theo tôi, xác suất đó là khá thấp. Vì vậy, tôi có xu hướng nghĩ rằng trong mười năm tới, chúng ta sẽ thấy AI ít nhất là "tiếp quản mềm" phần lớn hoạt động và cơ sở hạ tầng của thế giới.

Đến lúc đó, có một khả năng là một sự chung sống hòa bình, con người không có sự thay đổi lớn, nhưng điều này có vẻ không phải là dự đoán khả thi nhất. Tôi nghĩ có khả năng con người sẽ phát triển thành một cái gì đó vượt xa hiện tại với sự giúp đỡ của AI. Cũng có thể AI chỉ cảm thấy nhàm chán với con người và loại bỏ chúng ta. Một khả năng khác là làm việc hợp tác dưới sự dẫn dắt của AI, nhưng hướng tới mục tiêu của con người, mang lại sự mở rộng công nghệ lớn. Tỷ lệ 20% đến 60% của tôi phụ thuộc vào việc bạn tính những tình huống nào vào loại "ngày tận thế" này.

Nếu có một AI siêu thông minh, có thể tối đa hóa giá trị kỳ vọng của mỗi quyết định của bạn, bạn có giao quyền quyết định cho nó không?

Nếu tôi hoàn toàn chắc chắn rằng nó đang làm điều đó, không chỉ xác định rằng đó là mục tiêu của nó mà còn chắc chắn rằng nó không rơi vào một mô hình thất bại phá hoại nào đó, không có một mớ hỗn độn mơ hồ nào, thì trong điều kiện đó, câu trả lời là có.

Bạn đã đề cập đến một tình huống tận thế tiềm năng liên quan đến "tải tâm trí". Bạn có muốn tải lên không?

Có thể. Cũng giống như trước, điều này phụ thuộc vào chi tiết, nhưng tôi không phản đối điều này.

Sau khi tải lên, bạn có còn coi mình là cùng một người không? Điều này thay đổi quan điểm thế giới của bạn như thế nào?

Câu hỏi hay. Tôi nghĩ rằng khái niệm "nhân cách" cần được mở rộng. Sự thật đã có là không ai là hoàn toàn giống với chính mình của ngày hôm qua. Một số phần trong chúng ta đã chết đi, một số phần đã trưởng thành; ký ức đã thay đổi, phản ứng hóa học đã thay đổi, cơ thể đã thay đổi, và hóa học thần kinh cũng đã thay đổi. Nhưng thường thì sự khác biệt giữa chúng ta hàng ngày là đủ nhỏ, vì vậy "cùng một người" là một gần đúng tốt.

Và AI hiện tại rõ ràng không như vậy. Tôi nghĩ rằng đây là mô hình nên tham khảo: một Claude Sonnet và một Claude Opus, chúng có phải là cùng một người không? "Có" và "không" đều không phải là câu trả lời tốt. Tôi nghĩ rằng nếu có "người đã tải lên", tình huống cũng sẽ giống vậy.

Lần cuối cùng bạn có thể thử LLM là khi nào? Ấn tượng của bạn như thế nào?

Tôi có thể để người khác sao chép đầu ra của mô hình vào đây. Ấn tượng của tôi là, chúng cơ bản giống như một trợ lý nghiên cứu chi tiết và nghiêm túc, chỉ cần bạn nghĩ nhanh đến đâu, một ngày làm việc có thể hoàn thành trong một phút, điều này thật đáng kinh ngạc và rất có giá trị.

Tuy nhiên, ấn tượng hiện tại của tôi là, hầu hết những gì chúng làm, con người cũng có thể làm, chỉ là con người cần thời gian. Và bạn cần có những người đáng tin cậy dẫn dắt chúng, có thể lấy thông tin, và còn cả bộ công cụ mà mô hình hiện tại đã được chuẩn bị sẵn.

Tại FTX, bạn đã tham gia vào một số sản phẩm tài chính rất thú vị và đổi mới. Brett Harrison nói rằng một trong những ý tưởng ban đầu của bạn về FTX là thị trường dự đoán chính trị. Bạn có thể nói về điều đó không?

FTX ban đầu là một sàn giao dịch tiền điện tử, giao dịch Bitcoin, Ethereum và các hợp đồng tương lai của chúng. Nhưng về cơ bản, thị trường dự đoán chính là hợp đồng tương lai. Từ góc độ tài chính, cả hai chỉ là thị trường thanh toán đến một giá trị nào đó.

Vì vậy, ngay từ đầu chúng tôi đã muốn có thị trường dự đoán, và cũng đã thử nghiệm trên FTX quốc tế. Trong cuộc bầu cử tổng thống năm 2020, chúng tôi có một thị trường khá sôi động, tôi nhớ rằng khối lượng giao dịch của Trump so với Biden lên đến vài trăm triệu đô la. Đây vốn là thứ chúng tôi muốn phát triển lâu dài, nhưng tôi không thể tăng trưởng trước khi có sự rõ ràng từ CFTC về quy định.

Không biết bạn có biết không, thị trường dự đoán gần đây đã nóng đến mức nào, Kalshi hiện đang huy động vốn với định giá 65 tỷ đô la. Tại sao FTX lúc đó không thể phát triển thị trường dự đoán đến quy mô này? Có phải bạn quá sớm, chưa đến thời điểm chính thống không?

Tôi nghĩ rằng một phần lớn là vấn đề quy định. Khi chúng tôi làm, chúng tôi không có giấy phép CFTC cần thiết để ra mắt ở Mỹ. Vì vậy, thị trường của chúng tôi chỉ mở cho quốc tế, người Mỹ không được phép tham gia. Sau đó, Kalshi, Polymarket và những người khác đã có được một cơ sở quy định chính thức hơn ở Mỹ, và đó cũng là thời điểm họ cất cánh.

Polymarket cũng đã hoạt động trong một sàn giao dịch ngoài khơi, đặc biệt là trong cuộc bầu cử năm 2024, nhiều người dùng Mỹ đã vào bằng VPN.

Lúc đó Polymarket không thực hiện KYC đúng không? Tôi nghĩ là không. Vì vậy, rất có thể có một lượng lớn người Mỹ như bạn nói đã vào bằng VPN. Còn chúng tôi, với tư cách là một sàn giao dịch tập trung, phải thực hiện KYC cho tất cả người dùng, ngoài việc kiểm tra IP, chúng tôi còn cần chứng minh danh tính, hộ chiếu và địa chỉ từ các khu vực ngoài Mỹ.

Ngoài thị trường dự đoán, bạn cũng đã tham gia vào một số sản phẩm phái sinh rất hiếm lúc đó, như cổ phiếu mã hóa. Những thị trường này hiện nay lớn hơn nhiều, nhưng trên FTX thì quy mô rất nhỏ. Bạn nghĩ có những sản phẩm nào hôm nay sẽ trở thành thị trường lớn, chỉ là chưa vào chính thống?

Tôi nghĩ cổ phiếu mã hóa vẫn còn nhiều không gian. Chúng đã thực sự phát triển từ năm 2021, 2022, nhưng về cơ bản, cơ sở hạ tầng của chúng dễ sử dụng hơn nhiều so với thị trường cổ phiếu thực. Vì vậy, không có lý do gì mà chúng không thể trở thành nơi giao dịch chứng khoán chính.

Ngoài ra, thị trường dự đoán có thể bao phủ một phạm vi rất rộng. Tôi nghĩ rằng thị trường dự đoán chính trị vẫn chưa tăng đến mức tôi mong đợi, một phần vẫn là vấn đề quy định. Thêm một bước nữa, giao dịch ký quỹ, hợp đồng tương lai, phái sinh cho khách hàng Mỹ, đây là một thứ gần như không tồn tại, trong khi đó chính là hình thức giao dịch lớn nhất trên toàn cầu. Đây cũng là một rào cản quy định.

Vì vậy, tôi nghĩ rằng vẫn còn khả năng ở đó. Tất nhiên, chắc chắn còn nhiều thứ mà tôi không dự đoán được sẽ xuất hiện, khiến hầu hết mọi người ngạc nhiên.

FTX cũng đã có hợp đồng tương lai pre-IPO, với các hợp đồng có ngày hết hạn khác nhau, có thể đặt cược vào giá trị tại các thời điểm khác nhau. Hiện nay, nhiều sàn giao dịch tiền điện tử đang thực hiện các hợp đồng vĩnh viễn về những giá trị này. Tại sao? Quan điểm cá nhân của tôi là, cấu trúc hợp đồng tương lai có ngày hết hạn thực sự tốt hơn.

Chà, khách hàng thích hợp đồng vĩnh viễn. Có một điều rất rõ ràng: bất kể nó có hợp lý như một sản phẩm tài chính hay không, việc "không cần xử lý ngày hết hạn" là điều thuận tiện. Cơ chế thực sự từ góc độ tỷ lệ phí tài chính khá phức tạp, nhưng tôi nghĩ lý do chủ yếu là điều này, con người không thích phải lo lắng về ngày hết hạn.

Vậy họ không ghét việc phải trả tỷ lệ phí tài chính sao?

Thực ra không quá quan tâm. Nhiều người thậm chí còn bỏ qua nó. Một số người đứng ở phía có lợi để thu phí tài chính. Tôi đã nghĩ rằng điều đó sẽ là một yếu tố tài chính lớn đối với mọi người, nhưng thực tế không phải vậy.

Bạn nghĩ tại sao?

Vẫn là câu nói đó, sự thuận tiện là một yếu tố lớn. Và tôi nghĩ rằng nhiều người nói thật ra không nghĩ nhiều về điều đó, cũng không chú ý đến việc họ đang trả bao nhiêu lãi suất.

Tiếp theo là tính thanh khoản thu hút tính thanh khoản. Một khi những thị trường đó trở thành sự đồng thuận, khách hàng ở đó, các nhà tạo lập thị trường ở đó, tính thanh khoản ở đó, các khách hàng lớn sẽ đến đó. Bạn sẽ có một vòng lặp tích cực, một vòng phản hồi, mọi người sẽ tụ tập ở thị trường đầu tiên có động lực.

Bạn đã nói một câu khá nổi tiếng: "Tôi rất nghi ngờ về sách... Tôi không nghĩ có cuốn sách nào đáng để đọc, nhưng tôi thực sự tin rằng gần như là như vậy. Tôi nghĩ nếu bạn viết một cuốn sách, bạn đã làm hỏng nó, nó lẽ ra phải là một bài blog sáu đoạn." Bây giờ bạn đang ở trong tù, đọc sách là một trong số ít những việc có thể làm. Bạn hiện tại nghĩ gì về việc đọc sách?

Quan điểm của tôi không thay đổi nhiều. Tôi đang đọc nhiều tiểu thuyết, nhiều khoa học viễn tưởng, cũng ổn thôi, nhưng nói thật, tôi thích xem Netflix hơn.

Có cuốn sách nào khiến bạn cảm thấy, sau khi ra ngoài cũng đáng để dành thời gian không?

Thật lòng mà nói, không có. Có một số thứ tôi thích, nhưng những khoa học viễn tưởng tốt nhất mà tôi đã đọc, có thể tôi sẽ đổi nó lấy một bộ phim Netflix không cần thiết, nhưng cũng chỉ có thể, chỉ là miễn cưỡng. Có thể cuối cùng tôi thích đọc một chút khoa học viễn tưởng hơn tôi dự đoán, nhưng cũng không nhiều lắm.

Netflix thực sự tốt hơn sách ở điểm nào? Xem phim cũng tốn thời gian mà.

Tốn thời gian. Nhưng một phần là vấn đề thông lượng thông tin. Sách chỉ có thị giác, và chỉ là thị giác văn bản; phim có âm thanh, cũng là thị giác, và trong thị giác có thể chứa không chỉ văn bản, bạn có thể hiển thị bất kỳ pixel nào. Vì vậy, từ góc độ lý thuyết thông tin, có rất nhiều điều có thể làm, tôi nghĩ điều này giúp rất nhiều.

Một phần khác là, trong sách có một thứ mà phim thường không có, đó là lời tường thuật về suy nghĩ của nhân vật. Tôi nghĩ rằng điều này có thể không cần thiết, thường là thừa thãi, là sự tự mãn của quan điểm tác giả. Và hiện nay tiền và nhân tài đều đổ vào phim, vì vậy ở đó tự nhiên sẽ có nhiều phát triển nhất.

Giả sử có một cược: 51% xác suất gấp đôi hiệu quả của trái đất đến nơi khác, 49% xác suất mọi thứ trở về không. Bạn có chơi không? Nếu thắng thì chơi tiếp, gấp đôi hoặc về không, bạn có tiếp tục chơi không? Bạn đã nói với Tyler Cowen rằng bạn sẽ chấp nhận một cược "49% xác suất hủy diệt thế giới, 51% xác suất gấp đôi hiệu quả", với điều kiện vũ trụ là độc lập lẫn nhau. Bạn có thể giải thích lý luận của mình không? Quan điểm này có thay đổi sau khi FTX sụp đổ không?

Cảnh đó cần nhiều giả định để thành lập. Bạn phải giả định rằng vũ trụ là độc lập, như bạn đã nói; giả định rằng đây là một cơ hội chỉ xảy ra một lần, không thể sao chép với chi phí thấp hơn trong tương lai; và còn nhiều giả định chưa được nói ra.

Nhưng có một cách đơn giản hóa như sau: hai thế giới, dân số tương đương, kỳ vọng tương đương về tương lai, và hoàn toàn độc lập với nhau, chúng sẽ không bao giờ tương tác, nói cách nào cũng được. Sau đó, không biết bằng cách nào, một vị thần kỳ lạ từ hành tinh khác xuất hiện và nói: hai thế giới này đều có 50% xác suất bị hủy diệt; và bạn vì lý do nào đó tin rằng vị thần kỳ lạ này nói thật. Nó nói, bạn có thể chọn để chúng liên quan, hoặc không liên quan. Lựa chọn một: hoặc cả hai đều sống, hoặc cả hai đều chết, mỗi cái 50%. Lựa chọn hai: một sống một chết, ngẫu nhiên, bạn không biết cái nào là cái nào.

Trong cảnh đó, tôi nghĩ rõ ràng rằng hai lựa chọn này là tương đương. Và nếu một bên cho bạn tỷ lệ 51 so với 49, bạn nên chọn cái đó thay vì chọn "cùng sống cùng chết", vì mỗi thế giới không quan tâm đến thế giới kia như thế nào, vì chúng sẽ không bao giờ tương tác. Và điều này gần như chính là câu hỏi ban đầu: bạn phải chọn giữa "chỉ một thế giới sống sót" và "50% xác suất cả hai đều sống sót".

Giá trị kỳ vọng của nó là dương, nhưng không lớn. Nhưng nếu bạn tiếp tục gấp đôi, gấp đôi mười lần thì sẽ là hàng nghìn lần. Khi số lần thành công tăng lên, liệu giá trị biên có giảm dần đến mức giá trị kỳ vọng cơ bản sẽ bằng nhau, khiến bạn không còn muốn chơi trò chơi này nữa?

Đây là một câu hỏi thú vị, phụ thuộc vào những "gấp đôi" này thực sự là gì. Bạn đang nói về giá trị biên tăng dần, giá trị biên giảm dần, đó là "cái gì" của hiệu quả?

Nếu điều này nói về hiệu quả tích lũy lâu dài của toàn bộ vũ trụ, thì sẽ không, hiệu quả là tuyến tính với chính nó. Nhưng nếu thực sự là một chỉ số gần đúng nào đó, chẳng hạn như bạn đang nhìn vào GDP, bạn nói "GDP có thể gấp đôi không", thì rất có thể có sự giảm dần lợi tức biên rất sâu.

Đầu tiên, việc GDP gấp đôi không có nghĩa là hạnh phúc của mọi người gấp đôi, càng không có nghĩa là giá trị kỳ vọng lâu dài của thế giới gấp đôi. Lần gấp đôi GDP đó có thể đã xảy ra muộn ba mươi năm; hoặc có thể vì nó gây ra thiệt hại môi trường nghiêm trọng, cuối cùng lại sụp đổ. Vì vậy, trong thế giới thực, những chỉ số mà bạn dùng để đo lường có thể không phải là những thứ mà bạn thực sự quan tâm.

Có chỉ số nào có thể gấp mười lần, trăm lần mà không có sự giảm dần biên không? Nó sẽ như thế nào?

Có một cái, nhưng tôi cần thêm một giả định: tôi không thể chắc chắn cái nào thực sự có thể làm được trong thời gian gần, tất cả đều cần tiến bộ công nghệ. Thuộc địa hóa các hành tinh khác, thuộc địa hóa hệ mặt trời, thiên hà, cuối cùng bạn sẽ thực sự sở hữu những thế giới độc lập, bạn chỉ đang làm cho nhiều người hơn thịnh vượng. Đây là một ví dụ.

Nếu đổi cách suy nghĩ: Dân số không thay đổi, luôn duy trì một tỷ người, có thể làm cho hạnh phúc của họ tăng gấp đôi mãi mãi không? Tôi nghĩ câu trả lời là, chúng ta thực sự không biết. Đây gần như là một vấn đề sinh học, chứ không phải vấn đề khác. Làm cho người ta hài lòng, vui vẻ vừa đủ là một chuyện; làm cho người ta hạnh phúc tột độ thì rất khó, và để tưởng tượng điều gì có thể làm cho người ta hạnh phúc gấp đôi, gấp mười thì càng khó hơn, điều đó hoàn toàn không nằm trong phạm vi cảm xúc mà con người thường có thể trải nghiệm. Về lý thuyết có thể, nhưng chúng ta không có mẫu tốt, cũng không có công nghệ hay sinh học để thực hiện điều đó.

Bạn có nghĩ rằng sự phát triển AI hiện tại là phiên bản thực tế của việc tung đồng xu không? Nếu phải chọn giữa hai lựa chọn: A, làm chậm sự phát triển của AI, giảm p(doom) từ 10% xuống 2%; B, tiếp tục tăng tốc, chấp nhận p(doom) cao hơn để đổi lấy không gian tăng trưởng lớn hơn. Bạn sẽ chọn cái nào?

Tôi nghĩ sự tương đồng rõ ràng hơn là chọn giữa "tiếp tục tăng tốc" và "vĩnh viễn cắt đứt mọi sự phát triển của AI hoặc các AI tương tự". Bởi vì như vậy bạn cơ bản đang chọn giữa "thế giới đối mặt với rủi ro nghiêm trọng" và "giới hạn khả năng thịnh vượng của thế giới", trong khi lựa chọn sau rất có thể cuối cùng cần một loại tự động hóa hoặc trí thông minh số. Vì vậy, trong trường hợp đó, việc vĩnh viễn đóng cửa con đường này sẽ có giá rất lớn cho tương lai.

Nhưng nếu chỉ là "nhanh hơn hay chậm hơn", thì không rõ ràng lắm, vì có hai mô hình có thể sử dụng. Một là mô hình "tăng trưởng theo cấp số nhân mãi mãi": một khi bắt đầu tăng tốc, hiệu quả sẽ gấp đôi mỗi năm, không bao giờ dừng lại. Theo mô hình này, bắt đầu sớm một năm có nghĩa là vĩnh viễn làm cho vũ trụ gấp đôi, nhưng điều này có chút ảo tưởng, nó không thể kéo dài mãi mãi.

Một mô hình khác là xem nó như một sự kiện điểm kỳ dị, sau đó đạt đến một giai đoạn mới, độ cao chưa biết. Sau khi sự việc xảy ra, vũ trụ có thể còn hàng tỷ năm, vì vậy việc trì hoãn điều này một năm, mười năm, thậm chí một trăm năm, trong mô hình này, ngay cả 1% hiệu quả trong tương lai cũng không giảm đi bao nhiêu. Theo mô hình này, bạn hoàn toàn sẵn sàng để trì hoãn sự phát triển một trăm năm chỉ để giảm p(doom) xuống 1%.

Tất nhiên, câu trả lời thực sự có lẽ nằm giữa hai điều đó. Và tôi nghĩ rằng "đường cong hiệu quả theo thời gian trong trường hợp bùng nổ AI trông như thế nào" là một câu hỏi rất thú vị.

Nhiều người cố gắng tóm tắt thế giới quan của bạn dựa trên câu trả lời của bạn cho câu hỏi đó, "luôn chọn lựa chọn có giá trị kỳ vọng cao nhất". Đây có phải là một tóm tắt hợp lý không?

Đó là một phần trong đó. Nhưng phần đầu tiên tôi trả lời là: có rất nhiều giả định. Bạn phải giả định rất nhiều điều về tình huống để đưa ra câu trả lời đó, và những giả định đó thường không tồn tại trong cuộc sống thực. Trong thực tế, tất cả các lựa chọn đều hỗn loạn hơn nhiều so với những gì được trình bày. Và trong thế giới thực, việc vô tình phá hủy một thứ gì đó dễ hơn nhiều so với việc xây dựng một thứ gì đó.

Vậy hãy lấy một ví dụ: Giả sử có một đồng xu, có 51% xác suất bạn sẽ được thả ra ngày mai, và 49% xác suất bạn sẽ bị tăng gấp đôi thời gian án. Bạn có dám cược không?

Tất nhiên.

Bởi vì án của tôi là án chung thân. Nói thực tế, mục tiêu của tôi không phải là đảm bảo rằng tôi có thể ra ngoài khi 60 tuổi, rồi tìm một ngôi nhà gỗ sống vài năm, đó không phải là kỳ vọng của tôi về cuộc sống. Tôi hy vọng có thể tạo ra ảnh hưởng tích cực cho thế giới, và điều đó cần tôi ở bên ngoài. Để làm điều đó có giá trị rất cao. Nếu cái giá phải trả là mất đi những năm cuối cùng không còn sản xuất, thì tôi hoàn toàn sẵn sàng trả cái giá đó.

Bạn có thể đưa ra một ví dụ mà vì có những giả định này, bạn lại không dám cược không?

Có thể. Trong thực tế có một tình huống trông giống như tung đồng xu: mặt phải, mô hình của bạn cho thấy nó có thể làm cho sự tăng trưởng của thế giới gấp đôi; mặt trái, nó có thể hủy diệt thế giới. Bạn tuyệt đối không thể cược vào đồng xu này.

Bởi vì trong thế giới thực, trước tiên, phần 50% "làm cho thế giới tăng trưởng gấp đôi" rất có thể là thứ mà người khác cũng sẽ làm ra sớm hay muộn, nó có thể không phải là giá trị thế giới thực sự, vĩnh viễn gấp đôi. Và nếu thế giới bị hủy diệt, đó là vĩnh viễn, mãi mãi không còn.

Vì vậy tôi nghĩ rằng, trong bối cảnh thực tế, một khi đưa sự không chắc chắn và tiếng ồn vào từng khâu, trọng số của sự hủy diệt thảm khốc sẽ trở nên nặng nề hơn nhiều, trong khi sự tăng trưởng vừa phải vẫn tốt, nhưng không thể so sánh được.

Hãy xem một ví dụ khác về việc tung đồng xu. Bạn đã nói rằng bạn hoàn toàn không tin vào tôn giáo. Nhưng cược của Pascal vẫn ở đó: Liệu việc tin vào Chúa có phải là giá trị kỳ vọng tích cực không? Nếu thực sự có kiếp sau, không tin sẽ xuống địa ngục, trong khi chi phí để tin hôm nay là hạn chế, điều này có phải là một ví dụ khác không?

Cùng một logic, nếu logic này không liên quan gì đến nội dung cụ thể của tôn giáo mà bạn đang khảo sát, thì nó cũng áp dụng cho "tôn giáo cột điện": nếu bạn dành cả đời để thờ cúng cột điện, bạn sẽ lên thiên đường; nếu không, bạn sẽ xuống địa ngục. Vậy có phải có nghĩa là bạn nên dành cả đời để thờ cúng cột điện không?

Theo cùng một logic, nó cũng áp dụng cho "chống cột điện": thờ cúng cột điện xuống địa ngục, xúc phạm cột điện lên thiên đường. Vậy có phải có nghĩa là bạn nên dành cả đời để chống lại cột điện không? Cùng một bộ logic, đã cho bạn hai câu trả lời hoàn toàn trái ngược.

Câu trả lời là: Đối với thế giới này, bạn có thể tưởng tượng ra vô số giả định và khả năng kỳ lạ, nhưng bạn không thể gán cho vô số khả năng không hợp lý một xác suất dương đáng kể.

Một vấn đề khác liên quan đến giá trị kỳ vọng của chủ nghĩa vị tha hiệu quả: Nhiều EA đặt an toàn AI lên hàng đầu, vì đó là giá trị kỳ vọng tích cực, chúng ta chi tiền, có thể tránh được sự tuyệt chủng của nhân loại, vì chúng ta có thể điều chỉnh AI. Lập luận này có hợp lý không?

Một phần hợp lý. Lập luận này bản thân hoàn toàn đúng: đây rất có thể là thập kỷ quyết định của AI, ảnh hưởng tiềm năng của nó có thể thay đổi thế giới, có thể rất tốt, cũng có thể thảm khốc, và điều này sẽ lấn át bất kỳ điều gì không bao giờ thay đổi thế giới, hoặc bất cứ điều gì bạn đang làm hiện tại không thể thay đổi thế giới. Vì vậy, đây là một lập luận rất thuyết phục.

Nhưng nó không trả lời được câu hỏi: bạn thực sự có thể làm gì. Tôi nghĩ rằng nhiều người cuối cùng đang quay vòng tại chỗ: xác định an toàn AI là sự nghiệp mà họ nên cống hiến, nhưng không tìm thấy bất kỳ điều gì thực sự có thể làm cho AI an toàn hơn trong thực tế. Điều này có nghĩa là, việc đưa ra cái nhìn "cái gì thực sự có giá trị, cái gì thực sự hữu ích" là rất có giá trị và rất quan trọng.

Bạn có thể xem các báo cáo gần đây về việc Hugging Face bị hack, ai mà biết, nhưng có vẻ như những báo cáo đó có giá trị kỳ vọng rất cao cho thế giới, đó là điều tốt. Chỉ cần tìm ra những điều tốt rõ ràng và tích cực đó không dễ dàng, và hiện tại có rất nhiều tranh luận: các hành động khác nhau của EA đối với an toàn AI thực sự là tích cực hay tiêu cực?

Nội dung này chỉ được đưa ra nhằm mục đích cung cấp thông tin chung, không phải là lời khuyên về tài chính, đầu tư, pháp lý hoặc thuế. Mọi sự kiện, phần thưởng, ưu đãi trực tuyến hoặc thông tin liên quan được đề cập trong nội dung này không được xem là khuyến nghị, chào mời hoặc lời mời mua, bán, giao dịch hoặc thực hiện bất kỳ hoạt động nào khác liên quan đến tài sản crypto. Tài sản crypto có độ biến động cao và có thể dẫn đến thua lỗ.Tính khả dụng của các dịch vụ, sản phẩm và sự kiện liên quan của WEEX có thể khác nhau tùy theo khu vực. Bạn có trách nhiệm bảo đảm việc tham gia của mình tuân thủ các luật và quy định hiện hành tại địa phương.

Bạn cũng có thể thích

iconiconiconiconiconiconiconiconicon
Bộ phận CSKH:@weikecs
Hợp tác kinh doanh:@weikecs
Giao dịch Định lượng & MM:bd@weex.com
Chương trình VIP:support@weex.com