NVIDIA, AMD, Intel та ще 6 компаній створюють відкритий альянс SGLang для інференсу

By: x.com|
0
Поширити
copy
Оцінити в GoogleОцінити в Google

На першому саміті SGLang, NVIDIA, AMD та Intel рідко об'єдналися для створення альянсу SGLang, ставши дев'ятьма засновниками, які беруть участь у розробці майбутньої дорожньої карти відкритого AI інференс-движка. Цей саміт зібрав понад 2000 учасників на місці. SGLang є базовим програмним забезпеченням для виконання великих моделей, яке відповідає за обробку запитів користувачів, управління GPU, управління відеопам'яттю та повторне використання обчислювальних результатів, що безпосередньо впливає на швидкість роботи AI моделей та їх витрати. Після створення альянсу виробники чіпів більш систематично братимуть участь у розробці, залучаючи інженерів та тестові ресурси для оптимізації продуктивності апаратного забезпечення. Члени альянсу проводитимуть дві зустрічі на рік для обговорення дорожньої карти, а технічні рішення та права на злиття коду будуть у розпорядженні команди підтримки SGLang. Наразі 332 установи вже використовують SGLang, а Meta повідомила, що після переходу на SGLang їхні ресурси GPU в масштабному виробничому середовищі зекономили понад половину. На саміті також було оголошено про напрямок розробки SGLang v1.0, зосереджуючи увагу на підвищенні стабільності та сумісності в виробничому середовищі, а офіційна версія все ще розробляється. Водночас SGLang вже запустила публічний попередній перегляд підтримки чіпів AWS Trainium та співпрацює з Intel для оптимізації їхніх CPU, GPU та прискорювачів, а також було випущено навчальну платформу Miles v0.2.

Ціна --

--
--
--

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.

Вам також може сподобатися

Куди буде акція Nvidia через 20 років? Відповідь може вас здивувати.

Майбутнє Nvidia не таке важке для прогнозування, як ви могли б подумати.

Мільярдер Девід Теппер тільки що здійснив масову ротацію чіпів штучного інтелекту — чи виправдає це себе?

Теппер продавав акції AMD, Broadcom та Alphabet у третьому кварталі, одночасно купуючи акції Nvidia та Micron.

Втрата Дженсена Хуана коштує набагато більше ніж 2,5 трильйона доларів

З початку жовтня 20 американських компаній, пов'язаних з ШІ, втратили понад 8,4 трильйона доларів.

Ілон Маск попереджає про серйозний дефіцит готівки в індустрії ШІ наступного року

Якщо чіпи штучного інтелекту стануть товаром, Nvidia найбільше втратить, тоді як ці 3 акції можуть виграти

Nvidia має багато чого втратити, оскільки чіпи штучного інтелекту стають товарними, тоді як ці акції можуть виграти.

SBF вперше говорить про шкоду від продажу Anthropic: ймовірність знищення людства AI становить 25%, молоді люди повинні глибоко вивчити AI

...

Найновіші статті

Більше

Нещодавні лістинги монет на WEEX

iconiconiconiconiconiconiconicon
Підтримка клієнтів:@weikecs
Співпраця:@weikecs
Кількісна торгівля та маркетмейкінг:bd@weex.com
VIP-програма:support@weex.com