Tether rend TurboQuant open source, avec un taux de compression du cache KV pour appareil IA local allant jusqu'à 5 fois
L'équipe de recherche en IA de Tether a annoncé la publication en open source de la version de production de TurboQuant et son intégration dans le SDK QVAC 0.12.0.
TurboQuant repose sur un algorithme de compression de mémoire de Google Research, qui permet de compresser le cache KV de l'exécution IA jusqu'à 5 fois tout en conservant une qualité de sortie proche de celle des modèles non compressés.
Cela signifie que les ordinateurs portables, les téléphones mobiles et les appareils de périphérie peuvent gérer des conversations plus longues, des fichiers plus volumineux et des tâches plus complexes sans avoir besoin de télécharger des données vers le cloud.
Cette version open source comprend un pipeline de quantification complet, des adaptateurs pour les frameworks d'inférence courants et une documentation pour les développeurs, destinés aux développeurs et aux startups déployant l'IA sur du matériel grand public, des appareils de périphérie et des réseaux pair à pair.
Vous pourriez aussi aimer

Pourquoi Peter Thiel, l'homme derrière Palantir, prépare-t-il une sortie en Argentine ?

La crise de la quarantaine des GP Crypto : sans PMF, pas de nouveau chèque des LP

Entretien avec l'expert macro Raoul Pal : La course à l'IA mène à une « singularité économique », ne lâchez pas vos jetons trop facilement au cours des quatre prochaines années

Dernières recherches de la BRI : L'avenir des stablecoins et le paysage monétaire mondial

Trois ans plus tard : retour sur mon jugement de ChatGPT en 2023

Des outils de casino aux machines de tarification mondiales : le point de vue du leader du NYSE sur Hyperliquid

PDG de Sharplink : L'avenir d'Ethereum se dessine

Est-ce que les hackers et la réglementation ont ruiné la DeFi ?

Chris Lee : de pionnier de la crypto à investisseur majeur dans les trois géants du stockage, prédictions sur les corrections du marché haussier de l'IA, le Web4 et les opportunités pour la jeune génération

Classement de He Yi : Puisque vous êtes là, autant en profiter

Six reproches majeurs d'un développeur Ethereum

WEEX GOGOGO EP3|LALIGA Road to Gold – 6 moments explosifs, 1 billet pour la Coupe du Monde et une nuit inoubliable

2 ans, 225 fois la mise ? Révélation sur la technique d'investissement « goulot d'étranglement » par l'IA du mystérieux chercheur Serenity

B.AI s'associe à BNB Chain pour lancer la célébration « Billion AI Token Subsidy », propulsant l'écosystème des agents intelligents on-chain

La frénésie à mille milliards de dollars de la vente de mémoire, les profits de l'achat de mémoire divisés par deux

Rapport du matin | Binance lance l'outil de recherche DYOR ; YZi Labs lance la plateforme de recrutement YZi Talent ; Vitalik déclare que la Fondation Ethereum va « réduire ses effectifs » et diminuer la vente d'ETH

Le rêve d'exploration martienne de SuperEx : la monnaie numérique, clé des échanges économiques à l'ère interstellaire




