Tether libera el código fuente de TurboQuant, con una tasa de compresión de caché KV para dispositivos de IA locales de hasta 5 veces
El equipo de investigación de IA de Tether anunció el lanzamiento de código abierto de la versión de producción de TurboQuant y su integración en el SDK QVAC 0.12.0.
TurboQuant se basa en un algoritmo de compresión de memoria de Google Research, que puede comprimir la caché KV del tiempo de ejecución de IA hasta 5 veces manteniendo una calidad de salida cercana a la de los modelos sin comprimir.
Esto significa que las laptops, los teléfonos móviles y los dispositivos de borde pueden manejar conversaciones más largas, archivos más grandes y tareas más complejas sin necesidad de subir datos a la nube.
Este lanzamiento de código abierto incluye una canalización de cuantización completa, adaptadores para marcos de inferencia convencionales y documentación para desarrolladores, dirigida a desarrolladores y startups que implementan IA en hardware de grado de consumo, dispositivos de borde y redes entre pares.
También te puede gustar

Why is Peter Thiel, behind Palantir, preparing an exit in Argentina?

La crisis de la mediana edad de los GP de cripto: sin PMF, no hay próximo cheque de los LP

Entrevista con el experto en macroeconomía Raoul Pal: La competencia en IA está dando lugar a una "singularidad económica", no se deshaga fácilmente de sus activos en los próximos cuatro años

La última investigación del BPI: El futuro de las stablecoins y el panorama monetario global

Tres años después: Una mirada retrospectiva a mis juicios sobre ChatGPT en 2023

De herramientas de casino a máquinas de fijación de precios globales: la perspectiva del líder de la NYSE sobre Hyperliquid

CEO de Sharplink: El futuro de Ethereum se está revelando

¿Fueron los hackers y la regulación los que arruinaron las DeFi?

Chris Lee: De OG de las criptomonedas a grandes inversiones en los tres gigantes del almacenamiento, predicciones sobre correcciones en el mercado alcista de IA, Web4 y oportunidades para las nuevas generaciones

Seis quejas principales de un desarrollador de Ethereum

WEEX GOGOGO EP3|LALIGA Camino al Oro – 6 momentos explosivos, 1 entrada para la Copa del Mundo y una noche inolvidable

¿2 años, 225 veces el retorno? Revelando la misteriosa técnica de inversión de "cuello de botella" de IA del investigador Serenity

El frenesí del billón de dólares por vender memoria: las ganancias por comprarla se reducen a la mitad

Reporte matutino | Binance lanza la herramienta de investigación DYOR; YZi Labs lanza la plataforma de reclutamiento YZi Talent; Vitalik afirma que la Fundación Ethereum se "reducirá" y disminuirá la cantidad de ETH vendida

El sueño de exploración de Marte de SuperEx: la moneda digital es la clave para desbloquear los intercambios económicos en la era interestelar

Noticias de la mañana | Michael Saylor declaró que esta semana compró bonos en lugar de Bitcoin; StablR fue atacado y perdió cerca de 2.8 millones de dólares; el Congreso de EE. UU. impulsa nuevamente la Ley de Reserva de Bitcoin

Puntos clave: Texto completo del discurso del científico jefe de Google, Shanahan




