Інтерв'ю з CEO Cerebras: 250 мільярдів доларів замовлень в резерві, попит на обчислювальну потужність AI вже заповнений

Оригінальна назва: Open Source Wins, AGI Is Here, and Scorsese's AI Toolkit---CEO Cerebras та Black Forest Labs
Оригінальне джерело: All-In Podcast
Оригінальний переклад: Shenchao TechFlow

Підсумки

У цьому випуску програми взяли участь два CEO компаній, що займаються інфраструктурою AI. Ендрю Фельдман є засновником Cerebras, компанії, яка спеціалізується на чіпах для інференції, яка щойно завершила IPO і має 250 мільярдів доларів замовлень в резерві. Він неодноразово підкреслює одну річ: попит на обчислювальну потужність AI вже заповнений, немає ситуації «побудували і чекаємо на клієнтів», апетити OpenAI, Anthropic, SpaceX, Google значно перевищують пропозицію. А поява інференції (reasoning) знову підвищила обчислювальну інтенсивність, що є полем бою для швидких машин. Робін Ромбах є засновником Black Forest Labs, яка займається генеративними моделями зображень та відео (серія Flux), він раніше винайшов алгоритм latent diffusion, який є основою всіх сучасних моделей генерації зображень та відео. Він щойно співпрацював з Мартіном Скорсезе, дозволивши режисерові візуалізувати образи з його уяви за допомогою AI; але його більш захоплюючий напрямок полягає в тому, що одна й та ж багатомодальна модель може знімати фільми та бути розгорнута на роботах як мозок. Кінцева мета генеративного відео не на екрані, а у фізичному світі.

Яскраві думки

Інференція є наступною чорною дірою обчислювальної потужності

· «Цікаво, що ця хвиля відрізняється від попередніх, вони не ставлять на те, що «побудували і хтось прийде», попит вже заповнив виробничі потужності. У нас є 250 мільярдів доларів замовлень в резерві.»

· «Інференція - це reasoning, reasoning споживає величезну кількість токенів, що є полем бою для швидких машин.»

· «Якщо Cerebras буде в 15 разів швидше, ви працюєте 24 години, це буде еквівалентно кільком тижням або навіть місяцям роздумів.»

Відкритий код та суверенітет: компаніям потрібні контроль

· «Ніхто не любить залежати від когось. Урок, який великі компанії засвоїли з епохи x86, полягає в тому, що вони були прив'язані до Intel.»

· «Вам не потрібно робити найшвидший чіп, вам просто не потрібно повністю залежати від чужих чіпів.»

· «Якщо ви хочете запустити відкриті моделі, це або OSS 12B від OpenAI, або китайські моделі, США потребують більше місцевих відкритих варіантів.»

AGI за визначенням двадцятирічної давності вже тут

· «Будь-яке визначення AGI, яке ми давали 20, 30, 40 років тому, ми вже давно перевершили.»

· «Тест Тюрінга? Він вже давно пройдено.»

· «Проблема вже не в тому, що ми не знаємо, як запитати, AI може сказати вам: «Гей, ви, дурні люди, ви не врахували це.»

Генеративне відео не є заміною людської творчості

· «Ці AI моделі є медіумом, ми не хочемо визначати, як їх використовувати, особливо для таких людей, як Мартін Скорсезе.»

· «Мова є дещо обмеженим способом комунікації, візуальна інформація має занадто багато сигналів. Перетворення образів з вашої уяви на видимі зображення - це найсильніша сторона технології.»

· «Найцікавіші результати зазвичай з'являються, коли людина постійно перебуває в циклі ітерацій.»

Від фільмів до роботів: одна й та ж модель

· «Ви можете використовувати одну й ту ж багатомодальну модель для зйомки фільму, а потім розгорнути її як мозок на робота.»

· «Попередньо навчане відео неявно навчило модель фізичним законам взаємодії, а потім ви отримуєте прогноз дій з тієї ж моделі, що є контролем робота.»

· «Мета полягає в тому, щоб ви могли дати команду роботу за допомогою in-context prompt: «Принеси той стакан апельсинового соку», ми ще не можемо цього зробити, але це напрямок.»

Бум інфраструктури AI: дата-центри більші за міста

Ведучий: ми ніколи не бачили такого масштабу будівництва. З часів Великої стіни та пірамід людство не інвестувало стільки капіталу, часу та розумних людей у створення чогось. Ви фактично займаєтеся цим, ваші клієнти будують дата-центри, ви є ключовою ланкою. У 2026 році, що робитиме Cerebras? Які справи з тими величезними проектами в Техасі?

Відповідь: ми говоримо про дата-центри, електроенергія, яку вони споживатимуть у найближчі кілька років, перевищить загальну кількість електроенергії, спожитої на Землі за останні 50 років. Одна будівля може бути розміром з футбольне поле, з підключеною електрикою, що перевищує середнє місто. Будуються по всій Америці, в Канаді, Північній Європі, Парижі та всій Франції, на Близькому Сході, навіть Казахстан, Таджикистан, Грузія також будують великі дата-центри. Кожна країна, кожен штат хоче взяти участь.

Хто платить? OpenAI, Anthropic, SpaceX AI, Google, їх апетити вражаючі. Цікаво, що ця хвиля відрізняється від багатьох попередніх технологічних бумів: вони не ставлять на те, що «побудували і хтось прийде», попит вже заповнив виробничі потужності. У нас є 250 мільярдів доларів замовлень в резерві. OpenAI хоче більше дата-центрів, Microsoft хоче більше, AWS хоче більше. Попит не чекає на клієнтів, клієнти вже в черзі.

Ведучий: це також призвело до терміна «token maxing», безкінечне використання токенів. Дехто ставить під сумнів, чи створює такий великий попит реальну цінність?

Відповідь: звичайно, створюється величезна цінність. Звичайно, є багато безглуздих спроб. Я порівнюю це з моментом, коли AWS тільки з'явився, обійти свій IT-відділ було дуже приємно, кожен інженер міг зареєструватися з кредитною карткою. Багато з цього дійсно корисно, але деякі, згодом, думаєш: «Ей, цього не слід було робити». Але в цілому це все ще приносить прибуток, просто деякі напрямки виявилися безперспективними.

Я пам'ятаю, як у 1988 році Costco відкрився в Пало-Альто, всі ходили в Costco, як у Safeway, проходячи повз кожну полицю. Це був жахливий спосіб шопінгу, тому що ви купували чотири непотрібні речі, кожна з яких коштувала 22 долари. Потім всі навчилися стратегії: йти на задній план, брати курку, брати 18 кексів для дитячого дня народження, все чітко. Споживання токенів AI також таке ж, спочатку всі використовували їх без обмежень, тепер компанії починають говорити про стратегію: які завдання можна виконати за допомогою відкритих моделей, а які потрібно виконувати за допомогою передових моделей. Ми починаємо управляти AI так, як управляємо бізнесом.

Інференція замінює навчання: чому швидкі машини є головними героями цієї хвилі?

Ведучий: Сем Альтман у AllIn сказав, що наступним кроком є reasoning, розуміння намірів, розробка стратегій та перехресна перевірка з іншими агентами. Ми пройшли довгий шлях від «вгадування наступного слова», і зараз Cerebras знаходиться в центрі, оскільки reasoning - це інференція, обчислювальна потужність величезна.

Відповідь: Інференція споживає величезну кількість токенів, що створює поле бою для швидких машин. Reasoning на кожному кроці споживає токени, ви раніше витрачали багато часу, щоб отримати хорошу відповідь. Cerebras в 15 разів швидше означає, що 24 години інференції еквівалентні кільком тижням або навіть місяцям роздумів.

Сьогодні вранці я спробував модель GLM-52 на BitTensor, дав їй безмежну обчислювальну потужність, щоб вона кожну годину повідомляла мені про всі ще не виявлені тренди у світі. Вона почала сперечатися сама з собою: чи слід шукати на Hacker News і Reddit? Чи, можливо, тренди з'являються спочатку в Instagram? Я спостерігав, як модель інференції сперечається сама з собою, вона займається інференцією. Безмежні токени дорівнюють безмежній інференції, з Cerebras в 15 разів швидше, 24 години еквівалентно кільком тижням.

Ведучий: У Cerebras є свій закон Мура? Як довго обговорюється, коли подвоїти?

Відповідь: всі попередні чіпи дотримувалися закону Мура, подвоюючись кожні 18 місяців. Ми зламали цю лінію з цим чіпом, запустивши абсолютно нову траєкторію. Я вважаю, що в наступні 18 місяців ми перевищимо подвоєння. Нова архітектура ще має великий потенціал для оптимізації. GPU - це 20-річна стара архітектура, яка може лише зменшувати розмір технологічного вузла, але нова архітектура має багато чого навчитися та налаштувати.

Ведучий: з 250 мільярдами доларів замовлень в резерві, вам також потрібно тримати темп з OpenAI, які можуть бути потенційними конкурентами в майбутньому. Як ви управляєте компанією?

Відповідь: зараз кремнієві чіпи не залишаться без діла, попит занадто великий. Але ви праві, OpenAI також займається своїми чіпами, Amazon також. Ніхто не любить залежати від когось. Урок, який великі компанії засвоїли з епохи x86, полягає в тому, що вони були прив'язані до Intel; урок, який засвоїли виробники GPU, полягає в тому, що вони були прив'язані до кількох великих клієнтів, тому вони фінансували нові хмари. Робота над власними чіпами не полягає в тому, щоб бути найшвидшими, а в тому, щоб не повністю залежати від інших, принаймні контролювати важливу частину своєї долі.

Відкритий код та суверенітет: компаніям потрібні контроль

Ведучий: відкритий код переживає свій момент. Я спочатку використовував OpenClaude, потім Kimmy, і помітив, що токени в Claude зростають, але я не можу відрізнити Kimmy. Відкриті моделі починають займатися reasoning, різниця цього року раптово зменшилася.

Відповідь: ви не хочете їхати на Ferrari до супермаркету. Іноді ви їдете на спорткарі, іноді на мінівені, і не шкодуєте, коли діти розсипають Cheerios. Компанії також так само: складні завдання віддаються передовим моделям (OpenAI, Anthropic, Gemini), але за ними стоїть безліч щоденних проблем, які потребують лише надійних відкритих можливостей. Подумайте, скільки часу компанія витрачає на копіювання з Workday в Excel в іншу клітинку? Це не потребує золотої математики, надійний відкритий код цілком достатній.

Нещодавно з'явилася нова інформація: фінансові та медичні регульовані галузі (HIPAA, FINRA) бояться витоку даних, бояться, що їхній інтелектуальний суверенітет буде під контролем інших, тому вони хочуть розміщувати моделі локально, використовуючи відкриті версії, щоб отримати більше контролю. OpenAI кілька місяців тому випустила OSS 12B, це непогано. Але зараз у США намагаються перейти на відкритий код, або OSS 12B, або китайські моделі, варіанти для локального відкритого коду занадто обмежені. NVIDIA також помітила цю можливість і просуває свої відкриті моделі, але Дженсен також вагається, адже його клієнти - це Сем, Даріо, Ілон, Сергій, чи не буде просування відкритого коду конкуренцією для клієнтів?

Cerebras займає досить нейтральну позицію, ми тестуємо GLM, Kimmy, серію Qwen, а також закриті моделі OpenAI. Ми також тестуємо моделі, розроблені GSK, а також власні моделі UAE G42 і MBZUAI. Питання суверенітету - це тенденція.

AGI вже тут, парадигма не помре, люди помруть

Ведучий: Коли Fable 5 та o-56 були випущені, уряд сказав: "зупиніться, перш ніж випустити". Відносини між Anthropic та адміністрацією були напруженими, але зараз починають покращуватися. Як ви вважаєте, чи є доцільним поетапний випуск? Чи дійсно моделі настільки небезпечні?

Відповідь: Я ніколи не бачив нічого подібного раніше. Але якщо подумати: коли модель стає достатньо потужною в креативному мисленні, і уряд каже: "будь ласка, випускайте поетапно", я вважаю, що це не безглуздо. Ми так само контролюємо потужні ліки, звичайно, не заохочуючи FDA до написання семирічних безглуздих документів, але сказати: "принаймні, дайте уряду провести тестування червоної команди, щоб підтвердити, що наша оборона може витримати", дати два-три тижні на виправлення очевидних вразливостей - це не безглузда вимога.

Але зараз ми спостерігаємо найсильнішу поляризацію. Якщо б це не зробив Трамп, а будь-який інший президент, реакція могла б бути зовсім іншою. Поляризація заважає ясному мисленню. Обидві сторони можуть робити дурниці, але також можуть діяти розумно. Базові працівники в уряді насправді дуже серйозно працюють, просто все відбувається занадто швидко.

Нікеш з Palo Alto Networks сказав мені: вони протестували модель на своєму програмному забезпеченні і виявили десятки критичних вразливостей за годину, тому їм довелося зупинити всі інші справи і витратити шість тижнів на виправлення. Ви усвідомлюєте, що це потужний інструмент, можливо, спочатку варто показати його невеликій групі людей, можливо, спочатку провести тестування червоної команди.

Ведучий: За будь-яким визначенням 20 років тому, AGI вже тут. Як ви вважаєте?

Відповідь: Так. Тест Тюрінга? Ми вже давно його пройшли. Будь-яке визначення, яке було запропоновано 10, 15, 20, 30, 40, 50 років тому, ми вже давно перевершили. Питання, які ставили наукові фантасти, ми вже відповіли, і вони кажуть: "У мене більше питань немає, вибачте". Ось чому те, що здається на краю, заслуговує на увагу, Ілля вісім років тому говорив про безпеку, ви запитали: "Що?" А він виявився правим. Ілон говорив про зниження витрат на ракети до майже нуля, ви запитали: "Що?" А він це зробив.

Ведучий: Рекурсивне навчання, ви ставите питання, отримуєте результати, запитуєте знову, відповіді стають кращими, охоплюють більше матеріалу, ці циклічні результати стрибають з "трохи краще" на "набагато краще". Кут нахилу експоненційної кривої занадто крутий.

Відповідь: Рекурсивний приріст експоненційний, ви стаєте кращими, повторюєте, продовжуєте зростати, кут занадто крутий. Ми тільки починаємо це бачити. Якщо постійно вкладати обчислювальні потужності, чи будуть відповіді ставати все кращими? Коли закінчиться токен або бюджет, але коли ця експоненційна крива досягне свого піку? Чи буде вона завжди рухатися вгору? Це питання зараз дуже цікаве.

Швидкість навчання людей затримується між поколіннями, великі ссавці, такі як слони, мають покоління раз на 15-20 років. Щоб прискоритися, потрібно, як у мушок, мати два покоління за день. ШІ отримує таку швидкість навчання, яка охоплює тисячі поколінь. Коли я вивчав психологію, професор сказав: "Парадигма не помре, люди помруть". Учні Фрейда, Скіннера, Юнга займали керівні позиції 20-40 років, перш ніж з'явилося наступне покоління, яке ставило питання. ШІ стискає міжпоколіннєвий інтервал до швидкості мушок.

Я ставлю на те, що наші діти та всі, кого вони знають, не помруть від раку. Економіка зазнає потрясінь, автомобілі прийшли, і життя людей, які стригли копита коням, стало важким. Але якщо скласти прибутки та збитки: безмежна енергія, безмежна їжа, безмежні знання, безмежна освіта, безмежне житло. Протягом тисячі років ми знали, що індивідуальне навчання краще, ніж навчання в класі, Аристотель навчав Олександра, Сократ навчав своїх учнів, але ми обрали фабричну модель навчання. Тепер ШІ може дати кожній дитині наставника, який навчає їх у власний спосіб.

Інструменти ШІ Скорсезе: перетворення образів у реальність

Ведучий: Робін Ромбах є співзасновником та CEO Black Forest Labs, штаб-квартира яких знаходиться в регіоні Чорного лісу у Фрайбурзі та Сан-Франциско. Ви раніше працювали над Stable Diffusion, винайшли алгоритм латентної дифузії. Яка мета Black Forest Labs?

Відповідь: Я заснував цю компанію з партнерами два роки тому. Раніше я працював над Stable Diffusion, ще раніше винайшов латентну дифузію, яка є основним алгоритмом для всіх моделей генерації зображень, відео та навіть фізичних AI. Принцип полягає в стисненні природних даних (зображення, відео, аудіо) до ефективного простору представлення, а потім навчанні трансформера на цьому, як у випадку JPEG та MP3, але реалізованому за допомогою нейронних мереж. Ми розробили це під час нашого докторантури в Мюнхені.

Зараз ми працюємо над багатомодальними візуальними моделями, одночасно попередньо навчаючи на зображеннях та аудіоданих, і переходимо до нової парадигми: поєднуючи прогнозування дій, щоб одна й та ж модель могла працювати з зображеннями, відео, аудіо та прогнозувати дії, врешті-решт це можна буде впровадити в реальні роботи.

Ведучий: Якщо модель може генерувати відео, це означає, що вона розуміє світ.

Відповідь: Інтуїтивний інтелект і глибоке міркування - це два взаємодоповнюючі види інтелекту. Ми починаємо з інтуїтивного боку, зображення є найприроднішою точкою входу, обчислювальні витрати не такі великі, як у випадку з відео. Але зараз ми зосереджуємося на багатомодальних моделях. Попереднє навчання відео неявно навчає модель фізичним законам взаємодії, отримуючи прогнозування дій з тієї ж моделі, що є контролем роботів.

Ведучий: Ви співпрацюєте з Мартіном Скорсезе? Ви сидите поруч з ним, щоб він міг використовувати ваш інструмент?

Відповідь: Так, я сидів у тій же кімнаті з ним, він досліджував нашу модель, як один з основних дослідників, сидячи поруч, це було неймовірно. Одночасно я його великий фанат.

Він хоче візуалізувати сцени з його уяви, описуючи село в Східній Європі, ми дивимося на вихідні дані, він ітерує. Врешті-решт він сказав: "перетворити образи візуально, це набагато ефективніше, ніж слова". Мова - це дещо втрачене засіб комунікації, візуальна інформація має надзвичайно багатий сигнал, кількість інформації в одному зображенні або відео величезна, це інший канал комунікації.

Ми не хочемо визначати, як використовувати ці моделі, особливо не будемо говорити Мартіну Скорсезе: "ви повинні це робити так". AI моделі - це медіум. Найцікавіші речі, як правило, виникають, коли люди постійно ітерують у циклі.

Від фільмів до роботів: кінцева мета генеративних моделей не на екрані

Ведучий: стартапи зараз використовують Flux та ваші моделі для створення відео, раніше витрачали 250 тисяч доларів на відео для запуску, тепер можуть зробити це за один-два тижні. Гал Гадот щойно зняла фільм про Bitcoin, актори виступали на звуковій сцені без зеленого екрану, всі фони створені за допомогою генеративного AI, за 30 мільйонів доларів досягли ефекту, який раніше коштував 150 мільйонів. Ви вже бачили використання в виробництві?

Відповідь: Я бачив деякі приклади. Високоякісне кіновиробництво є одним з найвимогливіших випадків використання. Я радий, що хтось досліджує це, але я також хочу чітко зазначити: технологія все ще на траєкторії, швидко розвивається. Кілька років тому, коли ми навчалися на PhD, ми могли генерувати лише зображення 64×64 пікселів, зараз можемо створювати високоякісні відео з багатьма входами, але це не зупиниться на цьому.

Найбільше мене захоплює те, що ви можете взяти ту ж багатомодальну модель для зйомки фільму, а потім впровадити її як мозок у робота. Це дуже цікаво. Чи може комп'ютер використовуватися, поки неясно, але технологія рухається в фізичний світ, світові моделі, моделі дій, простими словами, це все одне й те саме.

Ведучий: звідки беруться навчальні дані? Чи потрібно людям носити окуляри та рукавички, щоб записувати з першої особи? Чи достатньо просто подивитися тисячу відео на YouTube, де люди наливають напої?

Відповідь: Мета полягає в тому, щоб за допомогою in-context prompt дати команду роботу: "принеси той стакан апельсинового соку". Зараз це ще не можливо. Наразі ми використовуємо: модель вже має велику кількість візуального розуміння, і всього кілька годин даних для доопрацювання достатньо, щоб адаптуватися до конкретного обладнання. Напрямок полягає в тому, щоб зменшити доопрацювання, покладаючись на in-context команди, але це все ще дослідницька проблема.

Ведучий: відкритий код стає актуальним, компанії прагнуть до суверенітету. Як Disney, маючи велику бібліотеку IP, повинні діяти: тренувати свої моделі на основі вашого відкритого коду чи співпрацювати з вами для навчання спеціальних моделей?

Відповідь: Найцікавіші випадки використання полягають у створенні нових речей, яких раніше не існувало, це справді найцікавіша частина цієї технології. Наші відкриті інструменти не можуть генерувати специфічні IP, і це цілком розумно. Ми також дійсно співпрацюємо з деякими власниками IP для розробки моделей, деякі з них базуються на наших відкритих моделях, інші - на наших більш потужних власницьких моделях.

Найцікавіший аспект полягає в тому, що технологія стає швидшою та більш інтерактивною. Ви можете уявити, що на Disney+ будуть різні інструменти для створення інтерактивного контенту.

Ведучий: зараз найцікавіше явище - фан-фільми. Раніше були фан-фікції, де люди писали свої історії про Зоряні війни, пізніше хтось у костюмі джедая знімав фан-фільми. Джордж Лукас сказав, що дозволяє, якщо це не комерційне використання. Тепер люди використовують AI, щоб переосмислити невідомі історії Зоряних війн, Star Wars Stories Untold, кожне відео має мільйон переглядів. Це майбутнє: дозволити споживачам платити за ліцензії, щоб вони могли створювати свої історії з персонажами.

Відповідь: Якщо знайдеться комерційна модель, яка буде прийнятною для власників IP, і при цьому відкриє можливість для супер-креативного налаштування, це буде чудово. Я завжди думаю, читаючи книгу або дивлячись фільм: "якщо б це розвивалося так", тепер нарешті можна візуалізувати ці ідеї.