WASTEがオープンソース化、Kimi K3が64GBのMacBookで動作可能に

エッジデータベース企業SQLite AIは、完全なKimi K3が64GBのMacBook Proで動作することを可能にするオープンソース推論エンジンWASTEを発表しました。変換されたモデルは約1TBのサイズで、速度は1秒あたり0.49から0.54トークンです。WASTEは約27GBのモデルのコアをメモリに保持し、8万以上の専門家が内蔵SSDに保存されています。トークンを生成するたびに、現在呼び出されている専門家のみがハードディスクから読み込まれます。このバージョンは蒸留、剪定、または専門家の削除を行っていませんが、専門家の重みは3ビットに再量子化され、モデルのコアは4ビットと8ビットを使用しています。