PrismML veröffentlicht Bonsai 27B, ein 270 Milliarden Parameter AI-Modell für das iPhone

PrismML hat das Bonsai 27B-Modell veröffentlicht, das erste 270 Milliarden Parameter AI-Modell, das auf Verbrauchersmartphones betrieben werden kann. Das Modell wurde auf 3,9 GB komprimiert und kann auf dem iPhone 17 Pro Max mit einer Geschwindigkeit von 11 Token pro Sekunde betrieben werden. Die ternäre Variante ist auf 5,9 GB komprimiert und erreicht auf dem M5 Pro Laptop 26 Token pro Sekunde. Die Kompressionstechnologie basiert auf dem geistigen Eigentum des California Institute of Technology und reduziert die Gewichtungen jedes Modells von 16-Bit-Gleitkomma-Genauigkeit auf nur +1 oder -1, wobei die binäre Variante 14-mal kleiner ist als das Vollpräzisionsmodell. In 15 Benchmark-Tests erzielte die ternäre Bonsai 27B im Durchschnitt 80,49 Punkte und erreichte damit 94,6 % der Leistung des Vollpräzisionsmodells. Das Modell wird unter der Apache 2.0-Lizenz kostenlos veröffentlicht. PrismML-CEO Babak Hassibi bestätigte, dass das Unternehmen in frühen Verhandlungen mit Apple über die Kompressionstechnologie steht, und der nächste Schritt ist die Kompression des Gemma-Modells.