Хуан Женьсюн, Kimi K3 та майбутня війна з відкритим кодом

Автор: Цифрове життя Казік

Якщо говорити про найгарячіші та найобговорюваніші теми в індустрії штучного інтелекту останнім часом, то це, безумовно, історія, що об'єднує такі, здавалося б, несумісні слова, як Хуан, Anthropic, Kimi та відкритий код. Історія така: кілька днів тому, 24 липня, Хуан Женьсюн опублікував свій перший пост на X.

Цей, мабуть, найвідоміший чоловік у світі AI, зареєструвався на X, щоб опублікувати цей відкритий лист. Лист називається «Open Weights and American AI Leadership» (Відкриті ваги та лідерство США в AI).

Суть його в тому, що AI змінить кожну галузь, буде рушійною силою для кожної компанії та буде використовуватися кожною країною. Відкриті моделі можуть зміцнити безпеку, прискорити інновації та забезпечити технологічний суверенітет. Цьому світу потрібні як передові закриті моделі, так і передові відкриті моделі. Ми не можемо накладати санкції на відкриті моделі. Причина, чому Хуан так переживає, насправді має свої корені. Повернемося на 11 днів назад, коли відбулася знакова подія. 17 липня вночі Kimi K3 офіційно був випущений.

2.8 трильйона загальних параметрів, 104 мільярди активованих параметрів, рідна візуальна здатність, контекст на 1 мільйон токенів.

Найголовніше, Kimi тоді пообіцяв, що ваги моделі будуть офіційно відкриті 27 липня (тобто вчора).

Це перша у світі відкрита модель рівня 3T. Китайська команда, у якої немає такої потужності, створила продукт, що наближається до найсильнішої закритої моделі у світі, і ще й передасть ваги всьому світу.

Це змінило атмосферу в США. 22 липня керівник Офісу наукової політики Білого дому Майкл Кратсіос публічно звинуватив Kimi K3, стверджуючи, що його розробка використовувала масштабну дистиляцію Claude Fable 5.

Але цікаво, що в коментарях. Можна подивитися на реакцію людей.

Потім міністр фінансів США, не вміючи стриматися, підлив масла у вогонь, згадавши про чорні списки торгівлі та санкції.

Коментарі тепер зовсім заполонилися.

Ця ситуація все більше загострюється, і конкуренція, що спочатку стосувалася можливостей моделей та відкритих шляхів, швидко перетворилася на питання інтелектуальної власності, національної безпеки, експортного контролю та технологічної конкуренції між США та Китаєм. У цей момент Хуан Женьсюн виступив.

Він дав інтерв'ю, публічно виступив проти заборони китайських відкритих моделей.

Два дні потому він опублікував свій перший пост на X, у якому відкритим листом повідомив Вашингтону, що відкриті моделі стосуються інновацій, конкуренції, безпеки та технологічного суверенітету США, що їх не можна забороняти, не можна накладати санкції, ми повинні заохочувати відкритий код.

Справді, Хуан дуже переживає за продаж карт. Потім, внизу, з'явилася довга стіна логотипів, і вся технологічна індустрія почала підписувати відкритий лист. Коли відкритий лист тільки був опублікований, його підписали 25 компаній та організацій.

NVIDIA, Microsoft, Meta, IBM, Dell, Palantir, Mistral, Hugging Face та інші.

До вихідних список почав шалено розширюватися.

OpenAI приєдналася, Google приєдналася, SpaceX приєдналася, AMD, Cisco, Cloudflare, GitHub, Linux Foundation, Mozilla, Vercel, Y Combinator, OpenClaw тощо також приєдналися.

На момент написання цієї статті вже було 77 підписантів.

Також безліч великих діячів активно підтримують цю ініціативу.

Давно не бачив такого об'єднання, спільного повстання, єдності проти ворога. Але якщо уважно подивитися, то на цій стіні логотипів зібрані майже всі передові технологічні компанії США, навіть NVIDIA та AMD з'явилися разом, але чомусь не вистачає одного знайомого імені. Anthropic. Я вважаю, що цю картину можна назвати «Де Anthropic?». Навіть один користувач в інтернеті зробив пародійне відео, я сміявся до сліз, я повинен показати це всім.

А поки Anthropic мовчить, технологічні гіганти США об'єднуються на Twitter, щоб виступити проти. Іскра цього інциденту сталася вчора, 27 липня, о 23:13, коли було офіційно оголошено про відкриття Kimi K3.

І цей рівень відкриття перевищує всі мої очікування. Я спочатку думав, що відкриють лише ваги моделі.

Але виявилося, що:

Ваги моделі відкриті.

Детальний технічний звіт також опубліковано.

Ключова інфраструктура, що використовувалася для навчання K3, також відкрита.

Все відкрито...

Я коротко перерахую.

Ваги моделі Kimi K3, модель MoE з 2.8 трильйона параметрів, має 896 експертів, з яких активуються 16 для кожного токена.

Далі повний технічний звіт K3, що складається з 47 сторінок.

У ньому опубліковані деталі архітектури KDA та Attention Residuals, пояснюється, як вони змішують KDA та Gated MLA у співвідношенні 3 до 1, як інформація може проходити через десятки шарів.

Також є Stable LatentMoE.

896 експертів активують лише 16, що є надзвичайно рідкісним, Kimi використовує SiTU GLU, Quantile Balancing та цілий набір методів, щоб підтримувати таку екстремальну рідкість у стабільному стані.

Є також MoonViT V2, інфраструктура для навчання з мільйоном токенів, синтез великих завдань, методи після навчання, а також повні результати близько 20 внутрішніх тестових наборів.

Цей технічний звіт дуже детальний і ґрунтовний, рекомендую прочитати.

Це вже належить до дуже базових і цінних речей у навчанні надвеликих моделей.

FlashKDA, високопродуктивний оператор Kimi Delta Attention. Він реалізований за допомогою CUTLASS, на NVIDIA H20, порівняно з базовим flash linear attention, швидкість попереднього заповнення зросла в 1.85-2.31 рази, і його можна безпосередньо підключити до існуючого бекенду flash linear attention.

Далі йде AgentENV.

Це розподілена система пісочниці Agent, створена Kimi та KVCache.ai, яка є справжньою основою для великомасштабного підкріплювального навчання агентів K3.

Вона може одночасно запускати величезну кількість мікровіртуальних машин Firecracker на багатьох машинах, відновлення середовища займає менше 50 мілісекунд, пауза - менше 100 мілісекунд, а також нативно підтримує знімки, відновлення та fork.

Агент, досягнувши певної ключової точки, може безпосередньо розгалужуватися на десятки незалежних траєкторій, продовжуючи паралельне дослідження.

Хоча я не дуже розуміюся на базових технологіях, маю лише поверхневі знання, але з цих кількох технологій я вже відчуваю, що це дійсно вражає.

Це справді вражаюче.

MoonEP вирішує питання зв'язку та навантаження для надвеликих моделей MoE.

FlashKDA вирішує ефективність операторів нової архітектури уваги.

AgentENV вирішує потребу в величезній кількості реальних середовищ для підкріплювального навчання агентів.

Відкриті спільноти готові до зльоту.

Сьогодні я готовий назвати Kimi та DeepSeek двома святими відкритого коду.

Я також ознайомився з ліцензією Kimi K3.

Звичайні дослідники, розробники та компанії можуть безкоштовно використовувати, копіювати, модифікувати, розгортати, доопрацьовувати, поширювати, а також створювати похідні продукти та комерціалізувати.

Вона залишила лише два бар'єри для надмасштабного комерційного використання.

Якщо ви займаєтеся бізнесом послуг моделей, компанія та пов'язані особи протягом 12 місяців мають загальний дохід понад 20 мільйонів доларів США, потрібно укласти угоду з Moonlight.

Якщо використання комерційного продукту K3 перевищує 100 мільйонів активних користувачів на місяць або місячний дохід перевищує 20 мільйонів доларів США, інтерфейс продукту повинен помітно демонструвати Kimi K3.

Так, потрібно помітно демонструвати Kimi K3.

О, Боже...

Вже є люди, які кажуть, що якщо Kimi K3 принесе їм 20 мільйонів доларів доходу за місяць, то не кажучи вже про помітне демонстрування бренду Kimi K3.

Він може зробити татуювання логотипу Kimi на сідницях, навіть два.

Сьогодні ввечері, з відкриттям Kimi K3, я відчуваю, що вся подія досягла свого фінального піку, громадська думка в основному одностайна.

Також в Hugging Face створила історію.

У цей момент ставлення США та відкриття Kimi K3 отримали дивовижну хімічну реакцію.

У майбутньому цю подію можуть назвати:

Сараєвським інцидентом в індустрії AI.

Цьому світу потрібен відкритий код.

Люди, як Huang, обіймають відкритий код, звичайно, крім ідеалів, є й багато фінансових інтересів.

У 2002 році Джоел Спольскі написав класичне бізнес-принцип, який називається Commoditize Your Complements, перетворіть свої доповнення на товар. Чим дешевше доповнення до чогось, тим більше людей потребують цього.

NVIDIA продає GPU.

Чим більше відкритих моделей, тим більше компаній у світі готові самостійно розгортати, доопрацьовувати, навчати, і в результаті потрібно більше GPU.

AMD, Dell, компанії хмарних обчислень, постачальники послуг виводу, логіка приблизно така ж.

GitHub, Vercel, Replit, LangChain, OpenClaw ці інструменти розробки та платформи додатків також природно хочуть, щоб базові моделі ставали все більше, дешевше та легше замінювати.

Бо кожен раз, коли вартість моделі знижується на один долар, на приклад, з'являється ще один долар простору на прикладному рівні.

Хуан твердо вірить у відкритий код, і він є одним з найбільших вигододержувачів відкритих моделей, ці дві речі не суперечать одна одній. Але я твердо вірю і обіймаю відкритий код. Причина дуже проста, тому що я звичайна людина. У своєму житті я, можливо, не зможу навчити модель, як K3, у мене немає тисяч карт, я нічого не розумію, формули в технічних звітах я можу лише з труднощами зрозуміти завдяки AI. Але це не заважає мені сьогодні, стоячи на роботах, рамках та моделях, відкритих безліччю попередників, створювати свої власні твори. Звичайні люди можуть брати участь у кожній технологічній революції, завдяки тим попередникам, які готові залишити фінішну лінію для наступних людей, щоб стати стартовою точкою. Ми не стали раптово геніями.

Ми просто не повинні проходити шлях з нуля знову.

Справжня сила відкритого коду полягає в цьому.

Команда витрачає величезні обчислювальні ресурси, безліч великих людей довго працюють, щоб отримати щось, і як тільки це стає публічним, на наступний день це стає загальною стартовою точкою для безлічі звичайних людей у всьому світі.

Я вважаю, що це є складовою цивілізації.

На завершення, я висловлюю свою найвищу повагу всім великим людям, які працюють для світу людства, світу відкритого коду та світу AI.

Дякую вам.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.