PrismML lanza Bonsai 27B, un modelo de IA de 27 mil millones de parámetros adaptado para iPhone

PrismML ha lanzado el modelo Bonsai 27B, que es el primer modelo de IA de 27 mil millones de parámetros capaz de funcionar en teléfonos inteligentes de consumo. Este modelo está comprimido a 3.9GB y puede ejecutarse en el iPhone 17 Pro Max a una velocidad de 11 tokens por segundo. La variante ternaria está comprimida a 5.9GB y alcanza 26 tokens por segundo en la computadora portátil M5 Pro. La tecnología de compresión se basa en la propiedad intelectual del Instituto de Tecnología de California, reduciendo cada peso del modelo de una precisión de punto flotante de 16 bits a solo 1 positivo o 1 negativo, lo que hace que la variante binaria sea 14 veces más pequeña que el modelo de precisión completa. En 15 pruebas de referencia, el Bonsai 27B ternario obtuvo una puntuación promedio de 80.49, alcanzando el 94.6% del rendimiento del modelo de precisión completa. Este modelo se publica de forma gratuita bajo la licencia Apache 2.0. Babak Hassibi, CEO de PrismML, confirmó que la empresa está en negociaciones iniciales con Apple sobre la tecnología de compresión, y el próximo paso es comprimir el modelo Gemma.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.