PrismMLがBonsai 27Bを発表、270億パラメータのAIモデルがiPhoneに対応

PrismMLはBonsai 27Bモデルを発表しました。これは、消費者向けスマートフォンで動作する初の270億パラメータのAIモデルです。このモデルは3.9GBに圧縮されており、iPhone 17 Pro Maxで毎秒11トークンの速度で動作します。三進数バリアントは5.9GBに圧縮され、M5 Proノートパソコンで毎秒26トークンに達します。この圧縮技術はカリフォルニア工科大学の知的財産に基づいており、各モデルの重みを16ビット浮動小数点精度から正1または負1のみに削減しています。バイナリバリアントは全精度モデルの14倍小さくなります。15のベンチマークテストでは、三進数Bonsai 27Bは平均スコア80.49を記録し、全精度モデルの94.6%の性能を達成しました。このモデルはApache 2.0ライセンスの下で無料で公開されています。PrismMLのCEOであるBabak Hassibiは、同社がAppleと圧縮技術について初期の交渉を行っていることを確認し、次のステップとしてGemmaモデルの圧縮を計画しています。

免責事項：本コンテンツは一般的なブランディングおよび情報提供のみを目的としており、金融、投資、法的、または税務上の助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインイベント、または関連情報は、暗号資産の購入、売却、取引、もしくはその他の取り扱い、または各種サービスの利用を推奨、勧誘、あるいは案内するものとみなされるべきではありません。暗号資産は価格変動が非常に激しく、損失が生じるリスクがあります。WEEXのサービスおよびオンラインイベントは、一部の地域ではご利用いただけない場合があり、現地の適用法令、規制、および利用資格要件が適用されます。ユーザーの皆様は、WEEXサービスの利用が居住国の法律に準拠していることをご自身の責任で確認し、暗号資産に関連する活動に参加する前に、リスクを慎重に評価してください。