IOSG: От горячего хранения к холодной памяти, децентрализованное хранение в эпоху бумов хранения ИИ

Оригинальное название: "IOSG｜От горячего хранения к холодной памяти: децентрализованное хранение в эпоху бумов хранения ИИ"
Оригинальный автор: Jacob Zhao, IOSG Ventures

Недавно Changxin Storage, известный как "первая отечественная акция хранения", официально вышел на ChiNext и взорвался с поразительным увеличением на 500%. Хотя сектор хранения в целом все еще подвержен недавним рыночным коррекциям, хранение ИИ в текущей волне технологического нарратива активно переоценивается капиталом. Тем временем децентрализованное хранение в Web3 пространстве погрузилось в длительный период тишины и потерь. Почему рынок демонстрирует такую резкую контрастность, несмотря на то, что оба сегмента обозначены как "хранение"? Основной ответ заключается в полной дивергенции функций базовой ценности.

Переоценка хранения в эпоху ИИ по сути является празднованием "эффективности горячих данных", направленным на максимизацию вычислительной полезности и коммерческой монетизации; в то время как децентрализованное хранение придерживается ценностного предложения "достоверности холодных данных", защищая справедливость данных, устойчивость к цензуре и долгосрочную память человеческой цивилизации. Первое является системой эффективности для горячих данных, в то время как второе является системой доверия для холодных данных. Текущий капиталистический рынок, безусловно, твердо стоит на стороне "эффективности", но человеческой цивилизации в конечном итоге все же требуется неизменный фундамент памяти. Долгосрочная ценность надежного холодного хранения никогда не исчезала; она просто дремала на темной стороне циклов, ожидая переоценки временем.

Почему хранение вновь стало центром внимания цепочки ИИ-индустрии

В традиционную эпоху ИТ хранение было "бизнесом емкости". CIO сосредоточились на затратах на единицу емкости, надежности жестких дисков, планах восстановления после катастроф, стратегиях архивирования и циклах обновления оборудования, которые длились от 3 до 5 лет. Хранение рассматривалось как аксессуар после покупки серверов.

Этот раунд бума хранения не является возрождением традиционных циклов, а переоценкой возможностей потока данных, движимой ИИ. В эпоху больших моделей логика хранения изменилась с "емкость в первую очередь" на "эффективность в первую очередь", сосредоточившись на экстремальных метриках, таких как скорость подачи GPU, записи контрольных точек и ультранизкая задержка RAG. Это знаменует собой скачок в ценности хранения от "последнего пристанища данных" к "высокоскоростному каналу для входа данных в вычисления".

Эволюция узких мест ресурсов в инфраструктуре ИИ по сути является борьбой за заполнение "эффекта бочки". Истинная степень использования вычислительной мощности не является линейным сложением отдельных активов, а строгим мультипликативным эффектом: Истинная степень использования вычислительной мощности = GPU × HBM × DRAM × SSD × Сеть × Файловая система. Любая недостаточность в одной из звеньев приведет к общему краху вычислительной полезности. В эпоху ИИ хранение впервые трансформировалось из "центра затрат" в "двигатель эффективности". Это основная логика, стоящая за переоценкой хранения.

Обзор архитектуры хранения ИИ: от органов пропускной способности HBM до основ озера данных

Хранение ИИ — это не просто куча отдельного оборудования, а тесно связанная, иерархически запланированная сложная система. В этой системе промышленная ценность и внимание капитала сосредоточены на HBM, корпоративных SSD, контроллерах SSD, протоколах NVMe/CXL и высокопроизводительных системах хранения. Чтобы четко разобрать его поток ценности, мы классифицируем архитектуру хранения ИИ на четыре основных уровня сверху вниз:

· Слой памяти близи вычислений (Ядро пропускной способности): Поддерживается HBM, дополненный DRAM и технологиями пуллинга памяти CXL. Этот слой напрямую взаимодействует с упаковкой GPU/CPU или шинами, стремясь преодолеть "стену памяти", и является первой контрольной точкой, определяющей, может ли вычислительная мощность быть полностью раскрыта.

· Слой высокоскоростного постоянного хранения (IO Hub): Основная логика — корпоративный SSD = NAND-чипы + контроллеры SSD + пути передачи данных NVMe/PCIe. Этот слой выполняет высокочастотные записи контрольных точек, загрузки массивных наборов данных для обучения и кэширование горячих данных RAG, служа наиболее явным постоянным увеличением хранения для центров данных ИИ.

· Слой низкозатратного высокоемкого хранения (Фонд емкости): Состоит из HDD, холодного хранения и систем архивирования озера данных. В условиях экспоненциального роста многомодальных сырых данных, исторических журналов и резервных копий для соблюдения норм этот слой все еще предоставляет незаменимое преимущество TCO (общая стоимость владения).

· Системы хранения ИИ и программное обеспечение для данных (Мозг планирования): Включает высокопроизводительные параллельные файловые системы, распределенное объектное хранение, векторные базы данных и уровни управления данными RAG. То, что ИИ действительно потребляет, — это не голое оборудование, а доступность данных, эффективно организованная, индексированная и авторизованная программным стеком.

· В качестве экологического расширения децентрализованное хранение не участвует напрямую в гонке на уровне миллисекунд горячих данных ИИ, а сосредотачивается на сертификации публичных наборов данных, происхождении данных для обучения ИИ и долгосрочном архивировании холодной памяти, устанавливая свою уникальную экологическую нишу как "достоверный холодный слой".

HBM: "Орган пропускной способности", ближайший к вычислительной мощности в цепочке хранения ИИ

Высокоскоростная память (HBM) — это не традиционное хранение, а слой памяти с высокой пропускной способностью, близкий к GPU. Его основная задача — не хранить данные, а постоянно "питать" данные вычислительной мощности с чрезвычайно высокой пропускной способностью. HBM является ближайшей и наиболее определяющей связью в цепочке хранения ИИ, непосредственно определяющей, может ли GPU быть "питаем" адекватно, что делает его текущим узким местом в цепочке поставок.

Основная архитектура HBM — это "3D DRAM стек + 2.5D передовая упаковка": через вертикальную укладку TSV и гетерогенную интеграцию CoWoS достигается экстремальное сжатие расстояния хранения и вычислений, что приводит к скачку в пропускной способности. Его промышленные барьеры заключаются не только в проектировании DRAM, но и в системной инженерии процессов производства DRAM, TSV, ультратонкой укладки, упаковки, теплоотведения, тестирования и сертификации клиентов. Любой дефект в выходе на любом этапе приведет к утилизации всего стека HBM.

В настоящее время только SK Hynix, Samsung и Micron могут стабильно производить в массовых масштабах, создавая тройной барьер из передовых процессов производства DRAM, возможностей упаковки и сертификации клиентов NVIDIA/AMD.

DRAM и CXL: Фонд системной памяти и движок пуллинга памяти

HBM решает проблему экстремальной пропускной способности рядом с GPU, DRAM укрепляет фонд системной памяти сервера, а CXL пытается преодолеть физические границы для реконструкции организации ресурсов памяти в центрах данных.

· DRAM: В основном несет кэши на стороне CPU, предварительную обработку данных, хранение промежуточных состояний и системные операции, служа самым базовым слоем системной памяти для серверов. Глобальный рынок DRAM сильно сосредоточен среди трех гигантов SK Hynix, Samsung и Micron; Changxin Storage (CXMT) является ключевой переменной в отечественной замене DRAM в Китае.

· CXL (Compute Express Link): Протокол межсоединения кэш-когерентности следующего поколения для центров данных, стремящийся преодолеть ограничения традиционных слотов DIMM, локальной емкости памяти и островов ресурсов памяти серверов, способствуя эволюции архитектуры памяти в сторону расширения, пуллинга и совместного использования. В настоящее время CXL все еще находится на ранних стадиях перехода от поддержки платформы к широкомасштабному развертыванию, обладая высокой средне-долгосрочной архитектурной ценностью; ключевые компании включают Astera Labs и Lanqi Technology.

Корпоративный SSD: Центр данных, построенный из NAND, контроллеров и NVMe

Корпоративные SSD являются наиболее критическими высокопропускными постоянными увеличениями для центров данных ИИ, постоянно "питающими" данные для GPU с чрезвычайно высокой пропускной способностью, низкой задержкой и стабильным QoS, охватывающими весь жизненный цикл загрузки данных для обучения, записи контрольных точек, извлечения RAG, кэширования вывода и обратного потока журналов.

В архитектуре хранения ИИ SSD не являются изолированным оборудованием, а представляют собой высокосвязную систему, которую можно свести к промышленной формуле: корпоративный SSD = NAND-чипы + контроллеры SSD + пути передачи данных NVMe/PCIe. Эти три слоя представляют собой независимые звенья в промышленной цепочке:

· NAND-чипы (Слой сырья): Определяют плотность хранения и стоимость единицы, в то время как контроллеры управляют производительностью и сроком службы. Представительные компании включают Samsung, SK Hynix (Solidigm), Micron, Kioxia, Western Digital и Yangtze Memory Technologies.

· Контроллеры SSD (Слой повышения производительности): Определяют выпуск производительности, коррекцию ошибок данных, стабильность QoS и выравнивание износа. Представительные компании включают Phison, Silicon Motion, Marvell и Maxio.

· NVMe/PCIe (Слой путей передачи данных): Определяют эффективность передачи данных от хранения к вычислениям. В сочетании с технологией GPUDirect Storage она снижает отскок буфера памяти CPU и вовлеченность CPU, значительно облегчая узкие места ввода-вывода. Представительные компании включают Broadcom, Marvell и Astera Labs.

HDD / Холодное хранение / Архивирование: Низкозатратный фундамент озер данных ИИ

ИИ не устранит HDD. С увеличением спроса на видео и изображение данных от многомодальных больших моделей, а также экспоненциальным ростом корпоративных журналов соблюдения норм и исторических наборов данных, потребность в низкозатратном холодном хранении данных резко возрастает. В архитектуре хранения ИИ SSD и HDD сотрудничают в слоистом порядке на основе бизнес-ценности: SSD обрабатывают горячие данные и высокую пропускную способность, в то время как HDD отвечают за низкие затраты и долгосрочное хранение. Представительные компании включают Seagate, Western Digital и Toshiba.

Программный стек хранения ИИ: Центр планирования доступности данных

То, что ИИ действительно потребляет, — это не голые диски, а "услуги данных", тщательно организованные программным стеком. Эта архитектура трансформирует базовое оборудование в активы знаний, к которым ИИ может получить прямой доступ, разделенные на четыре слоя:

· Высокопроизводительные системы хранения (Системы поставок): Сосредоточенные на параллельной пропускной способности и низкой задержке, они решают проблему "голода данных" кластеров GPU через параллельные файловые системы, обеспечивая быстрый поток обучения и вывода. Представительные компании: VAST Data, WEKA, Pure Storage.

· Объектное хранение (Сырые озера данных): Сосредоточенное на управлении объектами, ключами и метаданными, оно поддерживает огромные объемы неструктурированных данных. Оно не стремится к экстремально низкой задержке, но строит базу емкости с низкими затратами и облачными характеристиками. Представительная компания: AWS S3.

· Векторные базы данных (Слой семантического индекса): Векторные базы данных отвечают за хранение, индексацию и извлечение векторов, созданных моделями встраивания, позволяя ИИ точно находить соответствующий контент из обширных знаний. Представительные компании: Pinecone, Milvus.

· Слой данных RAG (Слой вызова знаний): Превышая простое извлечение, он охватывает нарезку данных, очистку, контроль разрешений и отслеживание цитат, обеспечивая безопасный, точный и отслеживаемый вызов корпоративных данных большими моделями. Представительная компания: Databricks.

От горячего хранения ИИ к децентрализованной холодной памяти: максимизация эффективности против максимизации доверия

Хранение ИИ — это чрезвычайно ориентированная на эффективность система, ценностная функция которой сосредоточена на максимизации вычислительного выхода. Пропускная способность HBM определяет, могут ли GPU быть адекватно "питаемы", пропускная способность SSD определяет эффективность чтения и записи наборов данных и контрольных точек, а низкая задержка имеет решающее значение для реального времени в RAG и выводе. Эти метрики в конечном итоге сводятся к использованию GPU и затратам на единицу токена, непосредственно определяя коммерческую прибыльность приложений ИИ. Конечная цель хранения ИИ — не сохранение, а ускорение, служа производительности.

В отличие от этого, ценностная функция децентрализованного хранения совершенно иная. Она ставит под сомнение, будет ли данные существовать через десять лет, были ли они подвержены изменениям и могут ли они противостоять цензуре в одной точке. Через криптографические доказательства и распределенные сети она строит публичный фонд данных, открытый для доступа и навсегда сохраненный. Ее конечная цель — защищать абсолютную истину и суверенную независимость данных, служа справедливости, потребностям противодействия цензуре и гражданской памяти.

Хранение ИИ — это "горячее хранение", которое питает будущее производительности, в то время как децентрализованное хранение — это "холодная память", которая сохраняет незаменимые исторические записи человеческой цивилизации. Первое служит эффективности, стремясь к экстремальной скорости; второе служит доверию, защищая молчаливые воспоминания. Первое определяет, как быстро работают модели, в то время как второе определяет, будут ли воспоминания стерты. В настоящее время рыночные механизмы вознаграждают эффективность производительности, ставя хранение ИИ на передний план, в то время как децентрализованное хранение, похоже, переживает коллапс оценки и истощение нарратива.

Видение и реальность децентрализованного хранения

Существует множество проектов децентрализованного хранения, но на основе отраслевого мышления и экологической оседлости основными представителями остаются Filecoin и Arweave. Хотя оба относятся к "децентрализованному хранению", их основные архитектурные философии почти представляют собой два совершенно разных пути — первый приближается к эластичности AWS через рыночные контракты, в то время как второй приближается к вечности библиотек через одноразовые социальные контракты.

· Filecoin: Он построил наиболее полную проверяемую экономическую систему через PoRep и PoSt. Ему не следует продолжать конкурировать с AWS в области облачного хранения для потребителей, а следует переключиться на происхождение данных ИИ, размещение публичных наборов данных и архивирование соблюдения норм, предоставляя проверяемые цепочки для аудита моделей и доказательства авторских прав. Необходимый путь — это инкапсулировать его как совместимый с S3 API и поддерживать фиатные платежи, переходя от "дешевого рынка хранения" к "инфраструктуре вычислений с проверкой".

· Arweave: С нарративом "единовременная оплата, постоянное хранение" он стимулирует майнеров сохранять и быстро получать доступ к как можно большему количеству, особенно дефицитных, исторических данных через механизмы Blockweave и SPoRA. Его лучшее положение — это основа для публичной памяти человечества — сохранение записей прав человека, доказательства военных преступлений, культурных классиков, архивирование юридической и финансовой истории и предоставление ИИ-агентам постоянно доступной долгосрочной памяти. Ценность Arweave заключается не в скорости, а в его способности переносить гражданскую память через циклы.

Дилеммы, с которыми сталкиваются проекты децентрализованного хранения, такие как Filecoin и Arweave, не возникают из-за неправильных ценностных предложений, а из-за долгосрочных несоответствий в продуктовой разработке, опыте извлечения, реальном спросе и токеновых стимулах. Это выявляет значительный разрыв между идеалами гиков и основными коммерческими приложениями:

· Несоответствие стимулов спроса и предложения: Ранние сети, представленные Filecoin, быстро расширялись через токены, но не создали достаточно сильную сторону спроса, что привело к огромной емкости, но недостаточной полезности и конверсии платежей. Они вознаграждали "я могу хранить", а не "мне нужно хранить".

· Недостаток возможностей обслуживания на уровне предприятий: Барьер AWS заключается не в жестких дисках, а в "операционной системе данных", состоящей из API, SLA, управления разрешениями, аудита соблюдения норм и технической поддержки. Предприятия покупают "спокойствие", а не экспериментальную инфраструктуру, которая требует от них самостоятельно управлять ключами и выбором узлов.

· Недостатки в опыте извлечения: "Хранение" не равно "стабильному и низкозадерживающему извлечению". Рассеяние узлов, сложная топология и отсутствие единого SLA затрудняют поддержку рабочих процессов горячих данных ИИ, что делает их более подходящими для надежного холодного архивирования и происхождения данных.

· Недостаточная конфиденциальность соблюдения норм: Частные данные предприятий нельзя просто записывать в публичную постоянную сеть; право на удаление и постоянная неизменность по своей сути находятся в конфликте. Децентрализованное хранение более подходит для публичных данных и долгосрочных архивов, а не для безразборного размещения основных частных данных.

· Цикл усиления токеновой экономики: Финансирование на бычьем рынке затеняет недостаточный спрос, в то время как снижение ROI майнеров на медвежьем рынке выявляет недостатки в коммерциализации. Токены могут холодно запустить предложение, но не могут автоматически создать спрос и устойчивый доход.

Другие проекты децентрализованного хранения, как правило, сосредотачиваются на конкретных экосистемах или нишевых треках: кроссцикловое мышление отрасли и влияние нарратива Web3 у Storj/Sia слабее, чем у Filecoin/Arweave; BNB Greenfield/Walrus связаны с конкретными экосистемами публичной цепи, такими как BNB или SUI; Celestia/EigenDA принадлежат слою доступности данных (DA), служа подтверждениям транзакций Rollup, а не долгосрочному архивированию; проекты, такие как 0G, которые смешивают нарративы ИИ/DA, пытаются интегрировать хранение, доступность данных, вычисления и расчет ИИ-агентов в набор модульной инфраструктуры, но их реальный спрос, принятие разработчиков и циклы коммерциализации все еще требуют проверки.

Будущие возможности для децентрализованного хранения: Долгосрочный маятник эффективности и доверия

В период взрывного роста технологических дивидендов капитал безумно гонится за эффективностью, придавая активам, таким как GPU и HBM, чрезвычайно высокие премии, что естественным образом маргинализирует децентрализованное хранение, отстаивающее "доверие и справедливость". Однако маятник истории не останется навсегда на стороне эффективности. События, такие как необоснованные запреты и удаления контента со стороны суперплатформ, вспышка исков по авторским правам ИИ, вынуждающие доказательства источников данных, геополитические конфликты, приводящие к спорам о суверенитете данных, монополии данных, вызывающие исчезновение публичных архивов, и регуляторные давления на соблюдение норм данных для обучения моделей, могут все привести к переоценке "достоверного хранения", и будущие возможности для децентрализованного хранения могут все еще отражать уникальную ценность в следующих направлениях:

· Происхождение данных ИИ: Создание "доказательства происхождения данных" в ответ на регуляторные и аудиторские давления через криптографические доказательства.

· Публичные наборы данных и гражданские архивы: Закрепление цензурированных архивов и культурного наследия, создание незаменимых и неустранимых воспоминаний.

· Достоверное архивирование и доказательства соблюдения норм: Достижение надежного самодоказательства через доказательства Hash, предоставляя высокоуровневую цифровую нотариализацию.

· Интеграция технологий ZK/TEE/DID: Решение проблем конфиденциальности, переход от единого "протокола хранения" к "достоверной инфраструктуре данных".

· Невидимые продуктовые маршруты: Предоставление совместимых с S3 API и фиатного выставления счетов, позволяя пользователям напрямую приобретать услуги "достоверного архивирования".

Хранение ИИ и децентрализованное хранение, одно стремится к экстремальной эффективности, чтобы продвигать наше путешествие в будущее; другое защищает молчаливые воспоминания, охраняя наше право оглядываться на прошлое. В настоящее время рынок безоговорочно вознаграждает эффективность, что делает децентрализованное хранение молчаливым или даже коллапсирующим; но по мере того как эпоха ИИ дальше усиливает монополии данных, споры по авторским правам и хрупкость исторической памяти, децентрализованное хранение может приветствовать переоценку ценности в форме "достоверных холодных слоев". Воспоминания, которые нельзя легко стереть платформами, компаниями или какой-либо одной силой, могут трансформироваться из романтического идеализма и маргинальных убеждений в необходимую инфраструктуру.

Оригинальная ссылка