黄仁勲、Kimi K3、そして迫り来るオープンソース戦争

著者：デジタルライフカズキ

最近のAI業界で最もホットで、最も議論されていることを挙げるとすれば、それは間違いなく、黄仁勲、Anthropic、Kimi、オープンソースという、一見無関係に見える4つの言葉が織り成す物語です。物語はこうです。数日前、7月24日、黄仁勲がXに初めての投稿をしました。

このAI界で最も有名な男は、この公開書簡を発表するために、Xに登録することを厭いませんでした。この書簡のタイトルは「Open Weights and American AI Leadership」（オープンウェイトとアメリカのAIリーダーシップ）です。

要するに、AIはすべての業界を変革し、すべての企業を駆動し、すべての国によって構築されるということです。オープンモデルは安全性を強化し、革新を加速し、技術的主権をもたらすことができます。この世界には、最前線のクローズドモデルも必要ですが、最前線のオープンモデルも必要です。私たちはオープンソースモデルを制裁してはいけません。黄仁勲がこんなに心を痛めているのには、実は前提があります。11日前に時間を戻すと、その日、象徴的な事件が発生しました。7月17日の午前、Kimi K3が正式に発表されました。

2.8兆の総パラメータ、1040億のアクティブパラメータ、ネイティブビジュアル能力、100万Tokenのコンテキスト。

最も重要なのは、Kimiがその時点で、モデルの重みが7月27日（つまり昨夜）に正式にオープンソースになると約束したことです。

これは、世界初のオープンソースの3T級モデルです。中国のチームが、計算能力がそれほど豊かでない状況で、世界最強のクローズドモデルに迫る能力を持つものを作り、重みを全世界に提供しようとしているのです。

これにより、アメリカの雰囲気が変わり始めました。7月22日、アメリカのホワイトハウス科学技術政策局の責任者であるMichael Kratsiosが、Kimi K3の開発がClaude Fable 5の大規模な蒸留を使用したと公然と非難しました。

しかし、コメント欄は面白いことになっています。皆さん、群衆の声を見てみてください。

その後、アメリカの財務長官が火に油を注ぎ、貿易ブラックリストと制裁について言及しました。

コメント欄は完全に崩壊しました。

この問題はどんどん大きくなり、元々はモデルの能力とオープンソースの路線に関する競争が、知的財産、国家安全保障、輸出管理、中米の技術競争に巻き込まれていきました。ちょうどその時、黄仁勲が立ち上がりました。

彼はインタビューを受け、中国のオープンソースモデルの禁止に公然と反対しました。

2日後、彼は人生初のXを発信し、ワシントンに対して、オープンモデルはアメリカの革新、競争、安全、技術的主権に関わるものであり、禁止や制裁をしてはいけない、オープンソースを奨励しなければならないと伝えました。

正直なところ、黄仁勲はカードを売るために本当に心を痛めています。そして、最下部には、長いロゴの壁が貼り出され、テクノロジー業界全体が公開書簡に署名するために列を作り始めました。公開書簡が発表されたとき、署名したのは25社と組織でした。

NVIDIA、Microsoft、Meta、IBM、Dell、Palantir、Mistral、Hugging Faceなどなど。

週末になると、リストは急速に長くなり始めました。

OpenAIが来て、Googleが来て、SpaceXが来て、AMD、Cisco、Cloudflare、GitHub、Linux Foundation、Mozilla、Vercel、Y Combinator、OpenClawなども全て来ました。

私がこの記事を書いている時点で、すでに77人の署名者がいました。

また、多くの大物たちが熱狂的に支持を表明しています。

こんなに多くの人が集まり、共に立ち上がり、敵に対して団結するのは久しぶりです。しかし、注意深い友人は気づくでしょう。上のロゴの壁には、アメリカのほとんどの最前線のテクノロジー企業が集結しているのに、NVIDIAとAMDが同じフレームに収まっているのに、なぜかお馴染みの名前が欠けているのです。Anthropicです。この世界的な名画は「Anthropicはどこ？」と改名できると思います。さらには、あるネットユーザーが直接パロディ動画を作成し、私は笑ってしまいました。皆さんに見せなければなりません。 既にフォロー中

そして、Anthropicが沈黙を保つ中、アメリカのテクノロジー巨頭たちがTwitterで連携して立ち上がる中、今回の事件の引き金は、昨夜、7月27日の23時13分にKimi K3がオープンソースになると正式に発表されたことです。

しかも、このオープンソースの程度は私の予想を超えています。私は単にモデルの重みがオープンソースになるだけだと思っていました。

結果。

モデルの重み、オープンソース。

詳細な技術報告も公開されました。

K3のトレーニングに使用された重要なインフラもオープンソースになりました。

すべてがオープンに。。。

私はいくつか挙げてみます。

Kimi K3モデルの重み、2.8兆パラメータのMoEモデルで、896人の専門家がいて、各Tokenはその中の16人をアクティブにします。

次に、K3の完全な技術報告、合計47ページです。

ここにはKDAとAttention Residualsのアーキテクチャの詳細が公開されており、彼らがどのように3対1の比率でKDAとGated MLAを混合し、情報が数十層を越えて流れ続けるようにしているかが説明されています。

さらに、Stable LatentMoE。

896人の専門家が16人だけをアクティブにし、非常に高いスパース度を持ち、KimiはSiTU GLU、Quantile Balancingという一連の方法を用いて、この極端なスパースなトレーニングを安定した状態に保っています。

さらに、MoonViT V2、百万Tokenのコンテキストの強化学習インフラ、大規模タスク合成、後トレーニング手法、約20の内部評価セットの完全な結果も公開されました。

この技術報告は非常に詳細で堅実であり、一読をお勧めします。

技術報告の他にも、オープンソースの重要なインフラ技術があります。

MoonEP、超大規模MoEのために特別に設計された専門家並列通信ライブラリです。

MoEのトレーニング中には、特定の専門家が忙しく、他の専門家が暇を持て余すことがよくあります。その結果、すべてのGPUは最も忙しいカードを待たなければなりません。

MoonEPは、現在のルーティング結果に基づいて、人気のある専門家の一部を動的に複製し、各カードが完全に同じ数のTokenを受け取るようにし、同時に静的メモリ形状を維持し、トレーニングが進むにつれて破片化しないようにし、最終的にOOMを回避します。

これはすでに超大規模モデルのトレーニングにおいて非常に基盤的で、非常に価値のあるものです。

FlashKDA、Kimi Delta Attentionの高性能オペレーター。これはCUTLASSを使用して実装されており、NVIDIA H20上で、flash linear attentionのベースラインと比較して、prefill速度が1.85倍から2.31倍向上し、既存のflash linear attentionバックエンドに直接接続できます。

さらに、AgentENVがあります。

これはKimiとKVCache.aiが共同で開発した分散型エージェントサンドボックスシステムであり、K3が大規模なエージェント強化学習を行う際に実際に環境を実行するための基盤です。

これは、複数のマシン上で同時に大量のFirecrackerマイクロVMを起動でき、環境の復元が50ミリ秒未満、停止が100ミリ秒未満で、ネイティブでスナップショット、復元、フォークをサポートします。

エージェントが特定の重要なノードに到達すると、数十の干渉しない軌道に直接分岐し、並行して探索を続けることができます。

私は基盤技術についてあまり詳しくはありませんが、これらの技術から、すでにその素晴らしさを感じることができます。

本当に、全力を尽くしています。

MoonEPは超大規模MoEモデルの通信と負荷を解決します。

FlashKDAは新しい注意メカニズムのオペレーター効率を解決します。

AgentENVはエージェント強化学習に必要な大量のリアル環境を解決します。

オープンソースコミュニティは飛躍しようとしています。

今、私はKimiとDeepSeekをオープンソースの二聖と呼びたいと思います。

私は今回のKimi K3のライセンスについても読みました。

一般の研究者、開発者、企業は、無料で使用、コピー、変更、展開、微調整、配布ができ、派生製品や商業化も可能です。

それは超大規模な商業利用に対して二つのハードルを設けています。

もしあなたがモデルサービスビジネスを行い、会社および関連者が12ヶ月間の総収入が2000万ドルを超える場合、別途月の暗面と契約を結ぶ必要があります。

もしK3の商業製品の月間アクティブユーザーが1億を超えるか、単月収入が2000万ドルを超える場合、製品インターフェースにはKimi K3を顕著に表示する必要があります。

そう、Kimi K3を顕著に表示すればいいのです。

仏様よ。。。

すでに誰かが言っていますが、もしKimi K3が彼に単月2000万ドルの収入をもたらすなら、Kimi K3のブランドロゴを顕著に表示することなど問題ではありません。

彼はKimiのロゴをお尻にタトゥーしてもいいし、二つ入れてもいいのです。

今日の夜、Kimi K3のオープンソース化とともに、私はこの出来事が最終的なクライマックスに向かっていると感じています。世論はほぼ一方的です。

Hugging Faceでも歴史を創りました。

この瞬間、アメリカの態度とKimi K3のオープンソース化には奇妙な化学反応が生まれました。

未来、この出来事は歴史的に次のように呼ばれるかもしれません：

AI業界のサラエボ事件。

この世界はオープンソースを必要としています。

老黄たちはオープンソースを受け入れていますが、理想だけでなく、多くの金銭的な香りもあります。

2002年、Joel Spolskyは「Commoditize Your Complements」という非常にクラシックなビジネス法則を書きました。互補品を商品化せよ。あるものの互補品が安ければ安いほど、人々はそのものに対する需要が高まります。

NVIDIAはGPUを販売しています。

オープンソースモデルが増えれば増えるほど、世界中の企業が自ら展開し、微調整し、トレーニングすることを望むようになり、最終的に必要なGPUも増えます。

AMD、Dell、クラウドコンピューティング企業、推論サービスプロバイダーも同様です。

GitHub、Vercel、Replit、LangChain、OpenClawなどの開発ツールやアプリケーションプラットフォームも、基盤モデルがますます多く、安価で、置き換えやすくなることを自然に望んでいます。

なぜなら、モデルコストが1ドル下がるごとに、アプリケーション層には1ドルの余裕が生まれるからです。

老黄はオープンソースを堅く信じており、老黄はオープンソースモデルの最大の受益者の一人であることは矛盾しません。しかし、私はオープンソースを堅く信じ、受け入れています。その理由は非常にシンプルです。私は普通の人間だからです。この人生で、私はK3のようなモデルを訓練することはできないかもしれません。私は数万枚のカードを持っていませんし、何も知りません。技術報告の公式は、AIの助けを借りてかろうじて理解できる程度です。しかし、私は今日、無数の先人のオープンソースの仕事、フレームワーク、モデルの上に立って、自分の作品を創作することができるのです。普通の人々が技術革命に参加できるのは、実際には前の先輩たちが、終点を残して後の人々に出発点を与えてくれるからです。私たちは突然天才になったわけではありません。

私たちはただ、ゼロから再び歩む必要がなくなったのです。

オープンソースの真の力はここにあります。

あるチームが膨大な計算力を費やし、数多くの大物が長い時間をかけて得たものが公開されると、翌日にはそれが世界中の無数の普通の人々の公共の出発点となるのです。

私はこれが文明の複利だと思います。

最後に、人類の世界、オープンソースの世界、AIの世界のために尽力しているすべての大物たちに、私の最も崇高な敬意を表します。

ありがとうございます。