PrismML lanza Bonsai 27B, un modelo de IA de 27 mil millones de parámetros adaptado para iPhone

PrismML ha lanzado el modelo Bonsai 27B, que es el primer modelo de IA de 27 mil millones de parámetros capaz de funcionar en teléfonos inteligentes de consumo. Este modelo se ha comprimido a 3.9GB y puede ejecutarse en el iPhone 17 Pro Max a una velocidad de 11 tokens por segundo. La variante ternaria se ha comprimido a 5.9GB, alcanzando 26 tokens por segundo en una computadora portátil M5 Pro. La tecnología de compresión se basa en la propiedad intelectual del Instituto Tecnológico de California, reduciendo la precisión de cada peso del modelo de 16 bits de punto flotante a solo 1 positivo o 1 negativo; la variante binaria es 14 veces más pequeña que el modelo de precisión completa. En 15 pruebas de referencia, el Bonsai 27B ternario obtuvo una puntuación media de 80.49, alcanzando el 94.6% del rendimiento del modelo de precisión completa. Este modelo se publica de forma gratuita bajo la licencia Apache 2.0. Babak Hassibi, CEO de PrismML, confirmó que la empresa está en negociaciones iniciales con Apple sobre la tecnología de compresión, y el próximo paso es comprimir el modelo Gemma.

Aviso legal: Este contenido se brinda únicamente con fines informativos y de marca, y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Ningún evento, recompensa, evento en línea o información relacionada que se mencione aquí debe considerarse una recomendación, solicitud o invitación para comprar, vender, intercambiar u operar de cualquier otra forma con criptoactivos ni para utilizar ningún servicio. Los criptoactivos son altamente volátiles y pueden generar pérdidas. Los servicios y eventos en línea de WEEX pueden no estar disponibles en todas las regiones y están sujetos a las leyes, regulaciones y requisitos de elegibilidad aplicables. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con criptomonedas.