PrismML выпустила Bonsai 27B — AI модель с 27 миллиардами параметров, адаптированная для iPhone

PrismML представила модель Bonsai 27B, которая является первой AI моделью с 27 миллиардами параметров, способной работать на потребительских смартфонах. Модель сжата до 3,9 ГБ и может работать на iPhone 17 Pro Max со скоростью 11 токенов в секунду. Трехбитовый вариант сжат до 5,9 ГБ и достигает 26 токенов в секунду на ноутбуке M5 Pro. Технология сжатия основана на интеллектуальной собственности Калифорнийского технологического института, которая снижает каждое весовое значение модели с 16-битной плавающей точности до всего лишь +1 или -1; двоичный вариант меньше полноразмерной модели в 14 раз. В 15 бенчмарках трехбитовый Bonsai 27B в среднем набрал 80,49 балла, что соответствует 94,6% производительности полноразмерной модели. Модель выпущена бесплатно под лицензией Apache 2.0. Генеральный директор PrismML Бабак Хасиби подтвердил, что компания ведет предварительные переговоры с Apple по технологии сжатия, а следующим шагом станет сжатие модели Gemma.

Отказ от ответственности: Данный контент предоставляется исключительно в целях общего брендинга и предоставления информации и не является финансовой, инвестиционной, юридической или налоговой консультацией. Любые события, вознаграждения, онлайн-мероприятия или связанная с ними информация, упомянутые здесь, не должны рассматриваться как рекомендация, предложение или приглашение к покупке, продаже, торговле или иным операциям с криптоактивами или к использованию каких-либо услуг. Криптовалюты обладают высокой волатильностью и могут привести к убыткам. Услуги WEEX и онлайн-мероприятия могут быть недоступны во всех регионах и регулируются применимыми законами, правилами и требованиями к участию. Вы несете ответственность за обеспечение соответствия использования вами услуг WEEX местным законам и за тщательную оценку рисков перед участием в любой деятельности, связанной с криптовалютами.