Tether publica el código abierto de TurboQuant, con una tasa de compresión de caché KV en dispositivos de IA locales de hasta 5 veces
El equipo de investigación de IA de Tether anunció el lanzamiento de código abierto de la versión de producción de TurboQuant y su integración en el SDK QVAC 0.12.0.
TurboQuant se basa en un algoritmo de compresión de memoria de Google Research, que puede comprimir la caché KV del tiempo de ejecución de IA hasta 5 veces manteniendo una calidad de salida cercana a la de los modelos sin comprimir.
Esto significa que los ordenadores portátiles, teléfonos móviles y dispositivos periféricos pueden gestionar conversaciones más largas, archivos más grandes y tareas más complejas sin necesidad de subir datos a la nube.
Este lanzamiento de código abierto incluye una canalización de cuantización completa, adaptadores de marcos de inferencia convencionales y documentación para desarrolladores, dirigida a desarrolladores y empresas emergentes que implementan IA en hardware de consumo, dispositivos periféricos y redes entre pares.
Te puede gustar

¿Por qué Peter Thiel, el hombre detrás de Palantir, prepara su salida de Argentina?

La crisis de la mediana edad de los GP de cripto: sin PMF, no hay próximo cheque de los LP

La defensa rota de los guardianes de Solana: para atacar a Hyperliquid, ¿han rescatado el guion que alguna vez criticaron de Ethereum?

Entrevista con el maestro de la macroeconomía Raoul Pal: La competencia en IA está dando lugar a una "singularidad económica", no te deshagas fácilmente de tus activos en los próximos cuatro años

Última investigación del BIS: El futuro de las stablecoins y el panorama monetario global

Tres años después: Una mirada retrospectiva a mis juicios sobre ChatGPT en 2023

De herramientas de casino a máquinas de fijación de precios globales: la perspectiva del líder de la NYSE sobre Hyperliquid

CEO de Sharplink: El futuro de Ethereum se está revelando

¿Han sido los hackers y la regulación los que han arruinado las DeFi?

Chris Lee: De OG de las criptomonedas a grandes inversiones en los tres gigantes del almacenamiento, predicciones sobre correcciones en el mercado alcista de la IA, Web4 y oportunidades para las nuevas generaciones

He Yi: Ya que estás aquí, más vale intentarlo

Seis quejas principales de un desarrollador de Ethereum

WEEX GOGOGO EP3|LALIGA Camino al Oro – 6 momentos explosivos, 1 entrada para la Copa del Mundo y una noche inolvidable

¿2 años, 225 veces la rentabilidad? Revelando la misteriosa técnica de inversión de "cuello de botella" en IA del investigador Serenity

B.AI se asocia con BNB Chain para lanzar la celebración "Subsidio de Tokens de IA de Mil Millones", impulsando el ecosistema de agentes inteligentes on-chain

El frenesí del billón de dólares por vender memoria: los beneficios de comprarla se reducen a la mitad

Informe matutino | Binance lanza la herramienta de investigación DYOR; YZi Labs lanza la plataforma de contratación YZi Talent; Vitalik afirma que la Fundación Ethereum se "reducirá" y disminuirá la cantidad de ETH vendida




