IOSG: Від гарячого зберігання до холодної пам'яті, децентралізоване зберігання в умовах буму зберігання ери ШІ

Оригінальна назва: "IOSG｜Від гарячого зберігання до холодної пам'яті: Децентралізоване зберігання в умовах буму зберігання ери ШІ"
Оригінальний автор: Jacob Zhao, IOSG Ventures

Нещодавно Changxin Storage, відомий як "перша вітчизняна акція зберігання", офіційно вийшов на ChiNext і вибухнув з вражаючим зростанням на 500%. Хоча сектор зберігання в цілому все ще підлягає впливу нещодавніх ринкових корекцій, зберігання ШІ активно переоцінюється капіталом у нинішній хвилі технологічного наративу. Тим часом децентралізоване зберігання в просторі Web3 впало в тривалий період тиші та втрат. Чому ринок демонструє таку різку контрастність, незважаючи на те, що обидва позначені як "зберігання"? Основна відповідь полягає в повній розбіжності функцій основної вартості.

Переоцінка зберігання в еру ШІ є по суті святкуванням "ефективності гарячих даних", спрямованим на максимізацію використання обчислювальних потужностей та комерційної монетизації; тоді як децентралізоване зберігання дотримується ціннісної пропозиції "надійності холодних даних", захищаючи справедливість даних, опір цензурі та довгострокову пам'ять людської цивілізації. Перше є системою ефективності для гарячих даних, тоді як друге є системою довіри для холодних даних. Сучасний капітальний ринок, безсумнівно, твердо стоїть на боці "ефективності", але людська цивілізація врешті-решт все ще потребує незмінного фундаменту пам'яті. Довгострокова цінність надійного холодного зберігання ніколи не зникала; вона просто перебувала в сплячці на темному боці циклів, чекаючи, щоб бути переоціненою часом.

Чому зберігання знову стало фокусом ланцюга індустрії ШІ

У традиційну еру ІТ зберігання було "бізнесом ємності". CIO зосереджувалися на витратах на одиницю ємності, надійності жорстких дисків, планах відновлення після катастроф, стратегіях архівування та циклах оновлення обладнання, що тривали 3-5 років. Зберігання розглядалося як аксесуар після покупки серверів.

Цей раунд буму зберігання не є відновленням традиційних циклів, а переоцінкою можливостей потоку даних, що викликані ШІ. В еру великих моделей логіка зберігання перетворилася з "перш за все ємності" на "перш за все ефективності", зосереджуючись на екстремальних метриках, таких як швидкість подачі GPU, записи контрольних точок та наднизька затримка RAG. Це позначає стрибок у вартості зберігання з "останнім притулком даних" на "високошвидкісний канал для даних, що входять в обчислення".

Еволюція ресурсних вузьких місць в інфраструктурі ШІ є по суті битвою за заповнення "ефекту бочки". Справжня ставка використання обчислювальної потужності не є лінійним додаванням окремих активів, а суворим множинним ефектом: Справжня ставка використання обчислювальної потужності = GPU × HBM × DRAM × SSD × Мережа × Файлова система. Будь-яка недолік в одному ланці призведе до загального колапсу використання обчислювальної потужності. В еру ШІ зберігання вперше перетворилося з "центру витрат" на "двигун ефективності". Це основна логіка, що стоїть за переоцінкою зберігання.

Огляд архітектури зберігання ШІ: Від органів пропускної здатності HBM до основи озер даних

Зберігання ШІ не є просто купою окремого обладнання, а тісно пов'язаною, ієрархічно запланованою складною системою. У цій системі промислова цінність і капітал зосереджені на HBM, корпоративних SSD, контролерах SSD, протоколах NVMe/CXL та високопродуктивних системах зберігання. Щоб чітко розібратися в її потоці цінності, ми класифікуємо архітектуру зберігання ШІ на чотири основні рівні зверху вниз:

· Шар пам'яті поблизу обчислень (Ядро пропускної здатності): Пануючий HBM, доповнений DRAM та технологією пулінгу пам'яті CXL. Цей шар безпосередньо взаємодіє з упаковкою GPU/CPU або шинами, спрямованими на подолання "стінки пам'яті", і є першою контрольної точкою, що визначає, чи може бути повністю розкрито обчислювальну потужність.

· Шар високошвидкісного постійного зберігання (IO Hub): Основна логіка - корпоративний SSD = NAND чіпи + контролери SSD + дані NVMe/PCIe. Цей шар виконує часті записи контрольних точок, масивні навантаження навчальних наборів та кешування гарячих даних RAG, слугуючи найбільш явним постійним зберіганням для центрів даних ШІ.

· Шар низької вартості та великої ємності (Фонд ємності): Складений з HDD, холодного зберігання та систем архівування озер даних. У світлі експоненціально зростаючих багатофункціональних сирих даних, історичних журналів та резервних копій відповідності цей шар все ще забезпечує незамінну перевагу TCO (загальні витрати на володіння).

· Системи зберігання ШІ та програмне забезпечення для даних (Мозок планування): Включає високопродуктивні паралельні файлові системи, розподілене об'єктне зберігання, векторні бази даних та шари управління даними RAG. Що насправді споживає ШІ, так це не голе обладнання, а доступність даних, ефективно організованих, індексованих та авторизованих програмним стеком.

· Як екологічне розширення, децентралізоване зберігання не бере безпосередньої участі в гонці на мілісекундному рівні гарячих даних ШІ, а закріплюється на сертифікації публічних наборів даних, походженні навчальних даних ШІ та довгостроковому архівуванні холодної пам'яті, встановлюючи свою унікальну екологічну нішу як "надійний холодний шар".

HBM: "Орган пропускної здатності", найближчий до обчислювальної потужності в ланцюзі зберігання ШІ

Високошвидкісна пам'ять (HBM) не є традиційним зберіганням, а шаром пам'яті з високою пропускною здатністю, що знаходиться поблизу GPU. Її основна місія полягає не в зберіганні даних, а в постійному "постачанні" даних обчислювальній потужності з надзвичайно високою пропускною здатністю. HBM є найближчим і найдетермінованішим зв'язком у ланцюзі зберігання ШІ, безпосередньо визначаючи, чи може GPU бути "підгодованим" належним чином, що робить його нинішнім основним вузьким місцем постачання.

Основна архітектура HBM - це "3D DRAM стек + 2.5D передова упаковка": через вертикальне стекування TSV та гетерогенну інтеграцію CoWoS досягається екстремальне стиснення відстані зберігання до обчислень, що призводить до стрибка в пропускній здатності. Його промислові бар'єри не лише в дизайні DRAM, а й у системній інженерії процесів виробництва DRAM, TSV, ультратонкому стекуванні, упаковці, тепловідведенні, тестуванні та сертифікації клієнтів. Будь-яка недолік у виході в будь-якому ланці призведе до утилізації всього стеку HBM.

Наразі лише SK Hynix, Samsung та Micron можуть стабільно масово виробляти, встановлюючи потрійний бар'єр провідних процесів виробництва DRAM, можливостей упаковки та сертифікацій клієнтів NVIDIA/AMD.

DRAM та CXL: Фонд системної пам'яті та двигун пулінгу пам'яті

HBM вирішує екстремальну пропускну здатність поблизу GPU, DRAM укріплює фонд системної пам'яті сервера, а CXL намагається подолати фізичні межі для реконструкції організації ресурсів пам'яті в центрах даних.

· DRAM: Переважно несе кеші на стороні CPU, попередню обробку даних, зберігання проміжних станів та операції системи, слугуючи найосновнішим шаром системної пам'яті для серверів. Глобальний ринок DRAM сильно зосереджений серед трьох гігантів SK Hynix, Samsung та Micron; Changxin Storage (CXMT) є основною змінною у вітчизняній заміні DRAM в Китаї.

· CXL (Compute Express Link): Протокол зв'язку для узгодження кешу наступного покоління для центрів даних, що намагається подолати обмеження традиційних слотів DIMM, локальної ємності пам'яті та островів ресурсів пам'яті серверів, сприяючи еволюції архітектури пам'яті в напрямку розширення, пулінгу та спільного використання. Наразі CXL все ще перебуває на ранніх стадіях переходу від підтримки платформи до масштабного розгортання, з високою середньо- та довгостроковою архітектурною цінністю; основні компанії включають Astera Labs та Lanqi Technology.

Корпоративний SSD: Хаб даних, побудований з NAND, контролерів та NVMe

Корпоративні SSD є найважливішими високопродуктивними постійними збільшеннями для центрів даних ШІ, постійно "постачаючи" дані до GPU з надзвичайно високою пропускною здатністю, низькою затримкою та стабільною якістю обслуговування, охоплюючи весь життєвий цикл завантаження навчальних даних, запису контрольних точок, вилучення RAG, кешування висновків та зворотного потоку журналів.

В архітектурі зберігання ШІ SSD не є ізольованим обладнанням, а є тісно пов'язаною системою, яку можна звести до промислової формули: корпоративний SSD = NAND чіпи + контролери SSD + дані NVMe/PCIe. Ці три шари представляють незалежні ланки в промисловому ланцюзі:

· NAND чіпи (Шар сировини): Визначають щільність зберігання та одиничну вартість, тоді як контролери керують випуском продуктивності та терміном служби. Представницькі компанії включають Samsung, SK Hynix (Solidigm), Micron, Kioxia, Western Digital та Yangtze Memory Technologies.

· Контролери SSD (Шар підвищення продуктивності): Визначають випуск продуктивності, корекцію помилок даних, стабільність якості обслуговування та вирівнювання зносу. Представницькі компанії включають Phison, Silicon Motion, Marvell та Maxio.

· NVMe/PCIe (Шар даних): Визначають ефективність передачі даних від зберігання до обчислень. У поєднанні з технологією GPUDirect Storage вона зменшує буфер пам'яті CPU та залучення CPU, значно полегшуючи вузькі місця вводу/виводу. Представницькі компанії включають Broadcom, Marvell та Astera Labs.

HDD / Холодне зберігання / Архівування: Низьковартісний фонд озер даних ШІ

ШІ не знищить HDD. Зі зростанням попиту на відео та зображення з багатофункціональних великих моделей, а також експоненціальним зростанням корпоративних журналів відповідності та історичних наборів даних, потреба в низьковартісному холодному зберіганні даних зростає одночасно. В архітектурі зберігання ШІ SSD та HDD співпрацюють у шаровій манері на основі бізнес-цінності: SSD обробляють гарячі дані та високу пропускну здатність, тоді як HDD відповідають за низькі витрати та довгострокове зберігання. Представницькі компанії включають Seagate, Western Digital та Toshiba.

Програмний стек зберігання ШІ: Хаб планування доступності даних

Що насправді споживає ШІ, так це не голі диски, а "сервіси даних", ретельно організовані програмним стеком. Ця архітектура перетворює базове обладнання на знання, до яких ШІ може безпосередньо отримати доступ, поділяючи на чотири шари:

· Високопродуктивні системи зберігання (Системи постачання): Зосереджені на паралельному потоці та низькій затримці, вони вирішують проблему "голоду даних" кластерів GPU через паралельні файлові системи, забезпечуючи швидкий потік навчання та висновків. Представницькі компанії: VAST Data, WEKA, Pure Storage.

· Об'єктне зберігання (Сирі озера даних): Зосереджене на управлінні об'єктами, ключами та метаданими, підтримує величезні обсяги неструктурованих даних. Воно не прагне до екстремально низької затримки, але будує базу ємності з низькою вартістю та характеристиками, що відповідають хмарі. Представницька компанія: AWS S3.

· Векторні бази даних (Шар семантичного індексу): Векторні бази даних відповідають за зберігання, індексацію та вилучення векторів, згенерованих моделями вбудовування, дозволяючи ШІ точно знаходити відповідний контент з величезних знань. Представницькі компанії: Pinecone, Milvus.

· Шар даних RAG (Шар виклику знань): Виходячи за межі простого вилучення, він охоплює нарізку даних, очищення, контроль дозволів та відстеження цитат, забезпечуючи, щоб корпоративні дані могли бути безпечно, точно та відстежувано викликані великими моделями. Представницька компанія: Databricks.

Від гарячого зберігання ШІ до децентралізованої холодної пам'яті: максимізація ефективності проти максимізації довіри

Зберігання ШІ є надзвичайно ефективно орієнтованою системою, з його функцією цінності, зосередженою на максимізації обчислювального виходу. Пропускна здатність HBM визначає, чи можуть GPU бути належним чином підгодовані, пропускна здатність SSD визначає ефективність читання та запису наборів даних і контрольних точок, а низька затримка є критично важливою для реального досвіду в RAG та висновках. Ці метрики в кінцевому підсумку зливаються в використання GPU та витрати на одиницю токена, безпосередньо визначаючи комерційну прибутковість застосувань ШІ. Остаточна мета зберігання ШІ полягає не в збереженні, а в прискоренні, служачи продуктивності.

На противагу цьому, функція цінності децентралізованого зберігання є абсолютно іншою. Вона ставить питання, чи існуватимуть дані через десять років, чи були вони підроблені, і чи можуть вони витримати цензуру в одній точці. Через криптографічні докази та розподілені мережі вона будує публічну основу даних, яка є відкритою для доступу та постійно зберігається. Її остаточна мета полягає в захисті абсолютної істини та суверенної незалежності даних, служачи справедливості, потребам протидії цензурі та цивільній пам'яті.

Зберігання ШІ є "гарячим зберіганням", яке живить майбутню продуктивність, тоді як децентралізоване зберігання є "холодною пам'яттю", що зберігає незнищувані історичні записи людської цивілізації. Перше служить ефективності, прагнучи до екстремальної швидкості; друге служить довірі, захищаючи тихі спогади. Перше визначає, як швидко працюють моделі, тоді як друге визначає, чи будуть спогади стерті. Наразі ринкові механізми винагороджують ефективність продуктивності, ставлячи зберігання ШІ на передній план, тоді як децентралізоване зберігання, здається, переживає колапс оцінки та виснаження наративу.

Візія та реальність децентралізованого зберігання

Існує багато проектів децентралізованого зберігання, але на основі індустріальної свідомості та екологічної осадовості основними представниками залишаються Filecoin та Arweave. Хоча обидва належать до "децентралізованого зберігання", їх основні архітектурні філософії майже є двома абсолютно різними шляхами - перший наближається до еластичності AWS через ринкові контракти, тоді як другий наближається до вічності бібліотек через одноразові соціальні контракти.

· Filecoin: Він побудував найбільш повну перевіряєму економічну систему через PoRep та PoSt. Йому не слід продовжувати змагатися з AWS у споживчому хмарному зберіганні, а слід зосередитися на походженні даних ШІ, публічному хостингу наборів даних та архівуванні відповідності, надаючи перевіряємі ланцюги для аудиту моделей та доказів авторських прав. Необхідним шляхом є інкапсуляція його як API, сумісного з S3, та підтримка фіатних платежів, переходячи від "ринку дешевих зберігань" до "інфраструктури перевіряємих обчислень".

· Arweave: З наративом "одноразова оплата, постійне зберігання" він стимулює майнерів зберігати та швидко отримувати якомога більше, особливо рідкісних, історичних даних через механізми Blockweave та SPoRA. Його найкраща позиція - це основа для публічної пам'яті людства - зберігання записів прав людини, доказів військових злочинів, культурних класиків, архівування юридичної та фінансової історії, надаючи агентам ШІ постійно доступну довгострокову пам'ять. Цінність Arweave полягає не в швидкості, а в його здатності нести цивільну пам'ять через цикли.

Дилеми, з якими стикаються проекти децентралізованого зберігання, такі як Filecoin та Arweave, не виникають з неправильних ціннісних пропозицій, а з довгострокових невідповідностей у продуктізації, досвіді вилучення, реальному попиті та токенних стимулів. Це виявляє значний розрив між ідеалами гіків та основними комерційними застосуваннями:

· Невідповідність стимулів попиту та пропозиції: Ранні мережі, представлені Filecoin, швидко розширювалися через токени, але не побудували достатньо сильну сторону попиту, що призвело до величезної ємності, але недостатнього використання та конверсії платежів. Вони винагороджували "я можу зберігати", а не "мені потрібно зберігати".

· Відсутність можливостей обслуговування на рівні підприємства: Бар'єр AWS не в жорстких дисках, а в "операційній системі даних", що складається з API, SLA, управління дозволами, аудиту відповідності та технічної підтримки. Підприємства купують "спокій душі", а не експериментальну інфраструктуру, яка вимагає від них самостійно обробляти ключі та вибір вузлів.

· Недоліки досвіду вилучення: "Зберігання" не дорівнює "стабільному та низькозатратному вилученню". Розподіл вузлів, складна топологія та відсутність єдиного SLA ускладнюють підтримку робочих процесів гарячих даних ШІ, роблячи їх більш придатними для надійного холодного архівування та походження даних.

· Недостатня відповідність конфіденційності: Приватні дані підприємств не можуть бути просто записані в публічну постійну мережу; право на видалення та постійна незмінність є вродженою суперечністю. Децентралізоване зберігання більше підходить для публічних даних та довгострокових архівів, а не для безрозсудного розміщення основних приватних даних.

· Цикл підсилення токенів: Фінансування на бичачому ринку затемнює недостатній попит, тоді як зниження ROI майнерів на ведмежому ринку виявляє недоліки комерціалізації. Токени можуть холодно запустити пропозицію, але не можуть автоматично створити попит і стійкий дохід.

Інші проекти децентралізованого зберігання, як правило, зосереджуються на конкретних екосистемах або нішевих треках: кросцикловий індустріальний менталітет Storj/Sia та вплив наративу Web3 є слабшими, ніж у Filecoin/Arweave; BNB Greenfield/Walrus пов'язані з конкретними екосистемами публічних ланцюгів, такими як BNB або SUI; Celestia/EigenDA належать до шару доступності даних (DA), що служить підтвердженням транзакцій Rollup, а не довгостроковим архівуванням; проекти, такі як 0G, які змішують наративи ШІ/DA, намагаються інтегрувати зберігання, доступність даних, обчислення та врегулювання агентів ШІ в набір модульної інфраструктури, але їх реальний попит, прийняття розробниками та комерційні цикли все ще потребують перевірки.

Майбутні можливості для децентралізованого зберігання: Довгостроковий маятник ефективності та довіри

Під час вибухового періоду технологічних дивідендів капітал безрозсудно переслідує ефективність, з активами, такими як GPU та HBM, які отримують надзвичайно високі премії, природно маргіналізуючи децентралізоване зберігання, що пропагує "довіру та справедливість". Однак маятник історії не залишиться назавжди на боці ефективності. Події, такі як безглузді заборони та видалення контенту суперплатформами, спалах позовів щодо авторських прав на ШІ, що змушує до доказів джерел даних, геополітичні конфлікти, що призводять до суперечок про суверенітет даних, монополії даних, що викликають зникнення публічних архівів, та регуляторний тиск на відповідність даних для навчання моделей, можуть всі сприяти переоцінці "надійного зберігання", а майбутні можливості для децентралізованого зберігання все ще можуть відображати унікальну цінність у наступних напрямках:

· Походження даних ШІ: Побудова "доказу походження даних" у відповідь на регуляторний та аудиторський тиск через криптографічні докази.

· Публічні набори даних та цивільні архіви: Закріплення цензурованих архівів та культурної спадщини, створення незамінних та незнищуваних спогадів.

· Надійне архівування та докази відповідності: Досягнення надійного самодоказу через докази Hash, надаючи високий рівень цифрової нотаризації.

· Інтеграція технологій ZK/TEE/DID: Вирішення конфліктів конфіденційності, оновлення з "одного протоколу зберігання" до "надійної інфраструктури даних".

· Невидимі маршрути продуктів: Надання API, сумісних з S3, та фіатного білінгу, що дозволяє користувачам безпосередньо купувати послуги "надійного архівування".

Зберігання ШІ та децентралізоване зберігання, одне прагне до екстремальної ефективності, щоб живити нашу подорож у майбутнє; інше захищає тихі спогади, охороняючи наше право озиратися на минуле. Наразі ринок без вагань винагороджує ефективність, що робить децентралізоване зберігання тихим або навіть колапсуючим; але оскільки ера ШІ ще більше підсилює монополії даних, суперечки щодо авторських прав та крихкість історичної пам'яті, децентралізоване зберігання може зустріти переоцінку цінності у формі "надійних холодних шарів". Спогади, які не можуть бути легко стерті платформами, компаніями або жодною єдиною владою, можуть перетворитися з романтичного ідеалізму та маргінальних переконань на необхідну інфраструктуру.

Оригінальне посилання