آخرین پادکست هوانگ رنشون: آیا موت انویدیا می‌تواند دوام بیاورد؟

عنوان ویدیو: جنسن هوانگ: آیا خندق انویدیا پابرجا خواهد ماند؟
نویسنده ویدیو: دوارکش پاتل
ترجمه: پگی، بلاک بیتس

یادداشت سردبیر: در حالی که دنیای بیرون هنوز در حال بحث در مورد این است که آیا «خندق انویدیا از زنجیره تأمین می‌آید»، این گفتگو استدلال می‌کند که آنچه واقعاً تقلید از آن دشوار است، خود تراشه نیست، بلکه کل قابلیت سیستم «تبدیل برق به توکن‌ها» است - از معماری محاسباتی، سیستم نرم‌افزاری گرفته تا عملکرد مشارکتی اکوسیستم توسعه‌دهندگان.

این مقاله از گفتگوی بین دوارکش پاتل و جنسن هوانگ گردآوری شده است. دوارکش پاتل یکی از پربیننده‌ترین مجریان پادکست‌های فناوری در سیلیکون ولی است که کانال یوتیوب «پادکست دوارکش» را میزبانی می‌کند و در مصاحبه‌های تحقیقاتی عمیق تخصص دارد و در گفتگوهای بلندمدت با محققان هوش مصنوعی و چهره‌های اصلی صنعت فناوری مشارکت می‌کند.

سمت راست دوارکش پاتل و سمت چپ جنسن هوانگ است

پیرامون این هسته، این گفتگو را می‌توان از سه منظر درک کرد.

اول، تغییر در فناوری و ساختار صنعت وجود دارد.
مزیت انویدیا نه تنها در عملکرد سخت‌افزاری، بلکه در اکوسیستم توسعه‌دهندگان که توسط CUDA پشتیبانی می‌شود و وابستگی مسیر شکل گرفته در اطراف پشته محاسباتی نیز نهفته است. در این سیستم، قدرت محاسباتی دیگر تنها متغیر نیست و الگوریتم‌ها، مهندسی سیستم، شبکه‌سازی و بهره‌وری انرژی در کنار هم سرعت پیشرفت هوش مصنوعی را تعیین می‌کنند. این همچنین به یک قضاوت مهم منجر می‌شود: نرم‌افزار به سادگی توسط هوش مصنوعی «کالایی» نخواهد شد؛ برعکس، با تکثیر عامل‌ها، فراخوانی ابزارها به صورت تصاعدی رشد خواهد کرد و ارزش نرم‌افزار را بیشتر تقویت خواهد کرد.

دوم، مرزهایی بین انتخاب‌های تجاری و استراتژیک وجود دارد.
انویدیا در مواجهه با زنجیره صنعت هوش مصنوعی که دائماً در حال گسترش است، تصمیم می‌گیرد «آنچه را که لازم است انجام دهد، اما همه کارها را انجام ندهد». این شرکت وارد محاسبات ابری نمی‌شود و همچنین درگیر ادغام عمودی بیش از حد نمی‌شود، بلکه از طریق سرمایه‌گذاری و پشتیبانی از اکوسیستم، اندازه کلی بازار را افزایش می‌دهد. این محدودیت به آن اجازه می‌دهد تا کنترل حیاتی را حفظ کند و در عین حال از تبدیل شدن به جایگزین اکوسیستم اجتناب کند و در نتیجه مشارکت‌کنندگان بیشتری را به سیستم فناوری خود جذب کند.

سوم، بین انتشار فناوری و چشم‌انداز صنعت اختلاف وجود دارد.
پرتنش‌ترین بخش مکالمه در نتیجه‌گیری‌های خاص نیست، بلکه در چگونگی درک خودِ «ریسک» است. یک دیدگاه بر مزیت پیشگامی ناشی از رهبری قدرت محاسباتی تأکید دارد، در حالی که دیدگاه دیگر بیشتر بر انتساب بلندمدت اکوسیستم‌ها و استانداردها در فرآیند انتشار فناوری تمرکز دارد. به جای شکاف توانایی‌های کوتاه‌مدت، سوال مهم‌تر می‌تواند این باشد: مدل‌ها و توسعه‌دهندگان هوش مصنوعی آینده بر اساس کدام سیستم فناوری عمل خواهند کرد.

به عبارت دیگر، هدف نهایی این رقابت فقط این نیست که «چه کسی می‌تواند اول یک مدل قدرتمندتر بسازد»، بلکه این است که «چه کسی زیرساختی را که مدل روی آن اجرا می‌شود تعریف می‌کند».

از این نظر، نقش انویدیا دیگر فقط یک شرکت تراشه‌ساز نیست، بلکه به «ارائه‌دهنده‌ی سیستم‌عامل زیربنایی» در عصر هوش مصنوعی نزدیک‌تر شده است - این شرکت می‌کوشد اطمینان حاصل کند که صرف نظر از میزان افزایش قدرت محاسباتی، مسیر خلق ارزش همچنان حول محور خودش بچرخد.

محتوای اصلی (که برای سهولت درک مطلب، سازماندهی مجدد شده است) به شرح زیر است:

TL;DR

سنگر انویدیا نه در «تراشه‌ها» بلکه در «قابلیت سیستم کامل از الکترون‌ها تا توکن‌ها» نهفته است. هسته، عملکرد سخت‌افزار نیست، بلکه توانایی تبدیل محاسبات به ارزش از طریق یک رویکرد فول‌استک (معماری + نرم‌افزار + اکوسیستم) است.

مزیت اساسی CUDA خود ابزار نیست، بلکه بزرگترین اکوسیستم توسعه‌دهندگان هوش مصنوعی در جهان است. توسعه‌دهندگان، چارچوب‌ها و مدل‌ها، همگی به یک پشته فناوری واحد وابسته هستند و یک وابستگی مسیر غیرقابل جایگزینی را تشکیل می‌دهند.

· کلید رقابت هوش مصنوعی نه تنها قدرت محاسباتی بلکه ترکیب «پشته محاسباتی × الگوریتم‌ها × مهندسی سیستم» است. پیشرفت‌ها در معماری، شبکه‌سازی، بهره‌وری انرژی و همکاری نرم‌افزاری بسیار فراتر از پیشرفت فناوری فرآیند صرف است.

تنگنای محاسباتی یک مسئله کوتاه‌مدت است و عرضه با توجه به سیگنال‌های تقاضا طی ۲ تا ۳ سال آینده دوباره پر خواهد شد. محدودیت واقعی بلندمدت، تراشه نیست، بلکه انرژی و زیرساخت است.

نرم‌افزار هوش مصنوعی به کالایی تبدیل نخواهد شد؛ در عوض، به دلیل انفجار عامل‌ها، رشد نمایی در استفاده از ابزار را تجربه خواهد کرد. آینده، نرم‌افزار ارزان‌تر نیست، بلکه افزایش تصاعدی در استفاده از نرم‌افزار است.

· استراتژی اصلی انویدیا، ورود به عرصه ابری نیست: انجام «هر کار لازم» اما نه بلعیدن کل زنجیره ارزش. انویدیا از طریق سرمایه‌گذاری و پشتیبانی از اکوسیستم به جای ادغام عمودی، اندازه کلی بازار را افزایش می‌دهد.

ریسک استراتژیک واقعی، دستیابی رقبا به قدرت محاسباتی نیست، بلکه این است که اکوسیستم جهانی هوش مصنوعی دیگر بر پایه فناوری آمریکایی نباشد. زمانی که مدل‌ها و توسعه‌دهندگان مهاجرت کنند، استانداردهای فنی بلندمدت و تسلط صنعتی نیز به تبع آن تغییر خواهد کرد.

محتوای مصاحبه

مشکل انویدیا کجاست: در زنجیره تأمین یا در کنترل «تبدیل الکترون به توکن»؟

دوارکش پاتل (مجری):

ما شاهد کاهش ارزش بسیاری از شرکت‌های نرم‌افزاری بوده‌ایم، زیرا انتظار می‌رود هوش مصنوعی، نرم‌افزار را به یک کالای استاندارد تبدیل کند. یک برداشت نسبتاً ساده‌لوحانه‌ی دیگر هم وجود دارد که چیزی شبیه به این است: می‌بینید، از فایل‌های طراحی (GDS2) که به TSMC تحویل داده شده، TSMC مسئول ساخت تراشه‌ی منطقی، ساخت ویفر، ساخت مدارهای سوئیچ، سپس بسته‌بندی با HBM تولید شده توسط SK Hynix، Micron، Samsung و در نهایت ارسال به ODM برای مونتاژ در یک قاب کامل دستگاه است.

توجه: HBM (حافظه با پهنای باند بالا) یک فناوری حافظه پیشرفته است که به طور خاص برای محاسبات با کارایی بالا و هوش مصنوعی طراحی شده است؛ ODM (تولیدکننده طراحی اصلی) به تولیدکننده قراردادی اطلاق می‌شود که مسئول تولید و طراحی محصول است.

بنابراین، از این منظر، انویدیا اساساً نرم‌افزار را انجام می‌دهد، در حالی که تولید توسط دیگران انجام می‌شود. اگر نرم‌افزار به کالایی تبدیل شود، انویدیا نیز به کالایی تبدیل خواهد شد.

جنسن هوانگ (مدیرعامل انویدیا):
اما در نهایت، باید فرآیندی برای تبدیل الکترون‌ها به توکن‌ها وجود داشته باشد. از الکترون‌ها گرفته تا توکن‌ها، و ارزشمندتر کردن این توکن‌ها در طول زمان، به نظر من تبدیل کامل این تحول به یک کالای تجاری دشوار است.

تبدیل الکترون‌ها به توکن‌ها خود یک فرآیند بسیار خارق‌العاده است. و ارزشمندتر کردن یک توکن، مانند ارزشمندتر کردن یک مولکول نسبت به مولکول دیگر، به معنای ارزشمندتر کردن یک توکن نسبت به توکن دیگر است.

در این فرآیند، هنر، مهندسی، علم و اختراع زیادی برای ارزش بخشیدن به این توکن دخیل است.

واضح است که ما شاهد همه این اتفاقات در زمان واقعی هستیم. بنابراین، این فرآیند تبدیل، فرآیند تولید و سیگنال‌های مختلف دخیل در آن هنوز به طور کامل درک نشده‌اند و این سفر به هیچ وجه به پایان نرسیده است. بنابراین فکر نمی‌کنم آن سناریو اتفاق بیفتد.

البته، ما آن را کارآمدتر خواهیم کرد. در واقع، روشی که شما الان مسئله را توصیف کردید، در واقع یک مدل ذهنی است که من از انویدیا دارم: ورودی الکترون‌ها، خروجی توکن‌ها هستند و انویدیا بین این دو قرار دارد.

کار ما این است که «تا حد امکان کارهای ضروری را انجام دهیم و کارهای غیرضروری را به حداقل برسانیم» تا به این تحول دست یابیم و به آن قابلیت بسیار بالایی ببخشیم.

وقتی می‌گویم «تا حد امکان کمتر»، منظورم این است که برای هر کاری که لازم نیست خودمان انجام دهیم، با دیگران همکاری خواهیم کرد و آن را در اکوسیستم خود جای خواهیم داد. اگر به انویدیا امروز نگاه کنید، ما ممکن است یکی از بزرگترین اکوسیستم‌های شریک را در هر دو زنجیره تأمین بالادستی و پایین‌دستی داشته باشیم. از تولیدکنندگان کامپیوتر، توسعه‌دهندگان اپلیکیشن گرفته تا توسعه‌دهندگان مدل - می‌توانید هوش مصنوعی را به عنوان یک "کیک پنج لایه" ببینید، و ما یک طرح اکوسیستم در این پنج سطح داریم.

مطالب مرتبط: « آخرین مقاله جنسن هوانگ، مدیرعامل انویدیا: «کیک پنج لایه» هوش مصنوعی «

بنابراین ما سعی می‌کنیم تا حد امکان کار کمتری انجام دهیم، اما بخشی که باید انجام دهیم در واقع بسیار دشوار است. و من فکر نمی‌کنم که آن بخش به کالایی تبدیل شود.

در واقع، من هم فکر نمی‌کنم که شرکت‌های نرم‌افزاری سازمانی اساساً در کار «ابزارسازی» باشند. با این حال، واقعیت این است که امروزه اکثر شرکت‌های نرم‌افزاری در واقع ارائه‌دهنده ابزار هستند.
البته استثنائاتی هم وجود دارد؛ برخی در حال کدنویسی و تثبیت سیستم‌های گردش کار هستند، اما بسیاری از شرکت‌ها اساساً شرکت‌های ابزارسازی هستند.

برای مثال، اکسل یک ابزار است، پاورپوینت یک ابزار است، کاری که Cadence انجام می‌دهد یک ابزار است و Synopsys نیز یک ابزار است.

جنسن هوانگ:
و روندی که من می‌بینم در واقع برخلاف دیدگاه بسیاری از مردم است. من معتقدم تعداد عامل‌ها به صورت تصاعدی افزایش خواهد یافت و تعداد کاربران ابزار نیز به صورت تصاعدی افزایش خواهد یافت.

تعداد مواردی که ابزارهای مختلف را فراخوانی می‌کنند نیز احتمالاً افزایش خواهد یافت. برای مثال، موارد استفاده از Synopsys Design Compiler ممکن است به طور قابل توجهی افزایش یابد.
تعداد زیادی از کارشناسان از برنامه‌ریزان طبقه، ابزارهای طرح‌بندی و ابزارهای بررسی قوانین طراحی استفاده خواهند کرد.

امروز، ما از نظر تعداد مهندسان محدود هستیم؛ اما فردا، این مهندسان توسط تعداد زیادی از نمایندگان پشتیبانی خواهند شد و ما فضای طراحی را به روش‌های بی‌سابقه‌ای بررسی خواهیم کرد. وقتی امروز شروع به استفاده از این ابزارها کنید، این تغییر کاملاً مشهود خواهد بود.

استفاده از ابزارها، این شرکت‌های نرم‌افزاری را به سمت رشد انفجاری سوق خواهد داد. این رشد انفجاری هنوز اتفاق نیفتاده است زیرا عوامل فعلی هنوز در استفاده از ابزارها مهارت ندارند.

بنابراین، یا این شرکت‌ها خودشان کارگزار می‌سازند، یا خود کارگزاران به اندازه کافی قوی می‌شوند که از این ابزارها استفاده کنند. من معتقدم نتیجه نهایی ترکیبی از هر دو خواهد بود.

دوارکش پاتل
یادم می‌آید در آخرین افشاگری شما، نزدیک به ۱۰۰ میلیارد دلار تعهد خرید برای قطعات مرزی، حافظه، بسته‌بندی و غیره داشتید. و گزارش SemiAnalysis نشان می‌دهد که این رقم می‌تواند به ۲۵۰ میلیارد دلار برسد.

یک تفسیر این است که خندق انویدیا در گرو این است که شما برای سال‌های آینده، عرضه این قطعات کمیاب را محدود کنید. به عبارت دیگر، آیا دیگران هم می‌توانند شتاب‌دهنده بسازند، اما آیا می‌توانند حافظه کافی داشته باشند؟ آیا می‌توانند تراشه‌های منطقی کافی تهیه کنند؟

آیا این مزیت اصلی انویدیا در سال‌های آینده است؟

جنسن هوانگ:
این کاری است که ما می‌توانیم انجام دهیم اما انجام آن برای دیگران بسیار دشوار است. دلیل اینکه ما می‌توانیم چنین تعهدات عظیمی را در بالادست انجام دهیم، تا حدودی صریح است، همانطور که در تعهدات مربوط به تدارکات که شما به آن اشاره کردید؛ و تا حدودی ضمنی.

برای مثال، بسیاری از سرمایه‌گذاری‌های بالادستی در واقع توسط شرکای زنجیره تأمین ما انجام می‌شود، زیرا من به مدیرعامل آنها می‌گویم: بگذارید به شما بگویم که این صنعت چقدر بزرگ خواهد شد، بگذارید دلیلش را توضیح دهم، بگذارید با شما نتیجه گیری کنم، بگذارید آنچه را که می بینم به شما بگویم.

از طریق این فرآیند - انتقال اطلاعات، الهام بخشیدن به یک چشم‌انداز، ایجاد اجماع - من با مدیران عامل صنایع مختلف بالادستی همسو می‌شوم و تنها در این صورت است که آنها مایل به انجام این سرمایه‌گذاری‌ها هستند.

پس چرا آنها حاضرند روی من سرمایه گذاری کنند و روی دیگران نه؟ چون می‌دانند که من توانایی خرید ظرفیت آنها و هضم آن از طریق پایین‌دستم را دارم. دقیقاً به دلیل تقاضای پایین‌دستی و مقیاس زنجیره تأمین انویدیا است که آنها مایل به سرمایه‌گذاری در بالادست هستند.

به GTC نگاه کنید، مقیاس کنفرانس خیلی‌ها را شگفت‌زده کرده است. اساساً یک دنیای هوش مصنوعی ۳۶۰ درجه است که کل صنعت را گرد هم می‌آورد. همه دور هم جمع می‌شوند چون نیاز دارند همدیگر را ببینند. من آنها را گرد هم می‌آورم تا اجازه دهم بالادست، پایین‌دست را ببیند، پایین‌دست، بالادست را ببیند، و در عین حال همه پیشرفت هوش مصنوعی را ببینند.

مهم‌تر از آن، آن‌ها می‌توانند با شرکت‌ها و استارت‌آپ‌های بومی هوش مصنوعی تعامل داشته باشند، نوآوری‌های مختلف را از نزدیک ببینند و در نتیجه قضاوت‌های من را تأیید کنند.

بنابراین من زمان زیادی را، مستقیم یا غیرمستقیم، صرف توضیح فرصت‌های فعلی به شرکای زنجیره تأمین و اکوسیستم خود کرده‌ام. خیلی‌ها می‌گویند که سخنرانی اصلی من مثل معرفی محصولات به صورت سنتی و پشت سر هم در یک کنفرانس نیست، بلکه بخشی دارد که شبیه «آموزش» به نظر می‌رسد. و در واقع هدف من همین است.

من باید مطمئن شوم که کل زنجیره تأمین - چه بالادستی و چه پایین‌دستی - موارد زیر را درک می‌کند: چه اتفاقی قرار است بیفتد، چرا اتفاق می‌افتد، چه زمانی اتفاق می‌افتد، مقیاس آن چقدر بزرگ خواهد بود، و بتواند مانند من به طور سیستماتیک از طریق این سؤالات استدلال کند.

بنابراین «خندق»ی که شما به آن اشاره کردید، واقعاً وجود دارد. اگر این بازار در سال‌های آینده به مقیاس تریلیون دلاری برسد، ما توانایی ایجاد زنجیره تأمین برای پشتیبانی از آن را داریم. مانند جریان نقدی، زنجیره تأمین نیز دارای جریان و گردش مالی است. اگر گردش مالی یک معماری کسب‌وکار به اندازه کافی سریع نباشد، هیچ‌کس برای آن زنجیره تأمینی نخواهد ساخت. دلیل اینکه می‌توانیم این مقیاس را حفظ کنیم این است که تقاضای پایین‌دستی بسیار قوی است و همه می‌توانند این را ببینند.

دقیقاً همین نقطه است که به ما اجازه می‌دهد این کارها را در مقیاسی که اکنون در آن هستیم انجام دهیم.

دوارکش پاتل
من هنوز می‌خواهم بهتر بفهمم که آیا جریان بالادستی می‌تواند به این روند ادامه دهد یا خیر. در طول سال‌های گذشته، درآمد شما اساساً سال به سال دو برابر شده است، و ظرفیت محاسباتی که به جهان ارائه می‌دهید حتی سه برابر شده است.

جنسن هوانگ:
و در این مقیاس همچنان دو برابر می‌شود.

دوارکش پاتل:
دقیقاً. بنابراین اگر به تراشه‌های منطقی نگاه کنید، مثلاً شما یکی از بزرگترین مشتریان TSMC در فرآیند N3 هستید، همچنین یک مشتری اصلی در N2 نیز هستید.
طبق برخی تحلیل‌ها، امسال هوش مصنوعی ممکن است ۶۰ درصد از ظرفیت N3 را به خود اختصاص دهد و سال آینده حتی ممکن است به ۸۶ درصد برسد.

توجه: N3 به فرآیند تولید ۳ نانومتری (۳nm) شرکت TSMC اشاره دارد که می‌توان آن را به عنوان یکی از پیشرفته‌ترین فرآیندهای تولید تراشه TSMC در نظر گرفت.

بنابراین، با توجه به اینکه شما در حال حاضر چنین سهم بزرگی را در اختیار دارید، چگونه می‌توانید به دو برابر کردن ادامه دهید؟ و هر سال دو برابر میشه؟ آیا ما وارد مرحله‌ای شده‌ایم که رشد قدرت محاسباتی هوش مصنوعی به دلیل محدودیت‌های بالادستی باید کند شود؟ آیا راهی برای دور زدن این محدودیت‌ها وجود دارد؟ چطور می‌توانیم هر سال دو کارخانه تولید ویفر بسازیم؟

جنسن هوانگ:
در مواقع خاص، تقاضای لحظه‌ای واقعاً از عرضه کل صنعت، چه در بخش بالادستی و چه در بخش پایین‌دستی، فراتر می‌رود. و در موارد خاص، حتی ممکن است تعداد لوله‌کش‌ها ما را محدود کند - این اتفاق واقعاً افتاده است.

دوارکش پاتل:
بنابراین، GTC سال آینده باید لوله‌کش‌ها را دعوت کند.

جنسن هوانگ:
بله، در واقع پدیده خوبی است. شما می‌خواهید در بازاری مانند این باشید: جایی که تقاضای لحظه‌ای بیشتر از کل عرضه صنعت است. البته برعکسش هم خیلی خوب نیست.

اگر شکاف بین این دو خیلی زیاد باشد، یک پیوند خاص، یک جزء خاص به یک گلوگاه آشکار تبدیل می‌شود و کل صنعت برای حل آن هجوم خواهد آورد. برای مثال، متوجه شدم که مردم الان زیاد در مورد CoWoS صحبت نمی‌کنند. دلیلش این است که طی دو سال گذشته، ما سرمایه‌گذاری و گسترش عظیمی در آن انجام داده‌ایم و آن را چندین برابر کرده‌ایم.

الان فکر می‌کنم وضعیت کلی کاملاً خوب است. TSMC همچنین متوجه شده است که عرضه CoWoS باید با تقاضای رو به رشد تراشه‌های منطقی و حافظه همگام باشد. بنابراین آنها در حال گسترش CoWoS هستند و در عین حال فناوری‌های بسته‌بندی پیشرفته آینده را نیز گسترش می‌دهند و با همان سرعت تراشه‌های منطقی در حال گسترش هستند.

این موضوع بسیار مهم است زیرا در گذشته، CoWoS و حافظه HBM بیشتر شبیه «قابلیت‌های ویژه» بودند، اما دیگر اینطور نیست. حالا همه متوجه شده‌اند که آنها بخشی از فناوری محاسبات جریان اصلی هستند.

در عین حال، ما اکنون توانایی تأثیرگذاری بر زنجیره تأمین گسترده‌تری را داریم. در گذشته، زمانی که انقلاب هوش مصنوعی تازه شروع شده بود، چیزی که الان دارم در موردش صحبت می‌کنم، در واقع مربوط به پنج سال پیش بود.

بعضی افراد در آن زمان باور کردند و سرمایه‌گذاری کردند، مانند تیم سانجی از شرکت میکرون. من هنوز آن جلسه را به وضوح به یاد دارم، جایی که به وضوح توضیح دادم که در آینده چه اتفاقی خواهد افتاد، چرا این اتفاق خواهد افتاد و نتایجی را که امروز می‌بینیم پیش‌بینی کردم. در آن زمان، آنها تصمیم گرفتند سرمایه‌گذاری خود را به میزان قابل توجهی افزایش دهند و ما نیز با آنها همکاری کردیم. آنها در زمینه‌های مختلفی مانند LPDDR و HBM سرمایه‌گذاری کردند که بدیهی است بازده قابل توجهی را برای آنها به ارمغان آورده است. بعضی شرکت‌ها بعداً این کار را انجام دادند، اما حالا همه وارد این مرحله شده‌اند.

بنابراین من معتقدم که هر نسل از فناوری، هر گلوگاه، توجه زیادی را به خود جلب خواهد کرد. و حالا، ما این تنگناها را چندین سال قبل «پیش‌فرض» کرده‌ایم. برای مثال، همکاری ما با Lumentum، Coherent و کل اکوسیستم فوتونیک سیلیکونی. در طول چند سال گذشته، ما در واقع کل اکوسیستم و زنجیره تأمین را تغییر شکل داده‌ایم.

در حوزه فوتونیک سیلیکونی، ما یک زنجیره تأمین کامل حول TSMC ایجاد کرده‌ایم، با آنها برای توسعه فناوری همکاری کرده‌ایم، فناوری‌های جدید زیادی اختراع کرده‌ایم و این پتنت‌ها را به زنجیره تأمین واگذار کرده‌ایم و باز بودن اکوسیستم را حفظ کرده‌ایم. ما زنجیره تأمین را با اختراع فناوری‌های جدید، گردش‌های کاری جدید، تجهیزات آزمایش جدید (از جمله تشخیص دو طرفه)، سرمایه‌گذاری در شرکت‌های مرتبط و کمک به آنها برای افزایش مقیاس، آماده کردیم.

بنابراین می‌توانید ببینید که ما به طور فعال در حال شکل‌دهی به این اکوسیستم هستیم تا زنجیره تأمین را قادر به پشتیبانی از مقیاس آینده کنیم.

دوارکش پاتل:
به نظر می‌رسد که حل برخی از تنگناها آسان‌تر از بقیه است. برای مثال، در مقایسه با گسترش CoWoS، مواردی وجود دارند که دشوارتر هستند.

جنسن هوانگ:
راستش، چیزی که الان گفتم سخت‌ترین مورده.

دوارکش پاتل:
کدام یک؟

جنسن هوانگ:
لوله کش. بله، واقعاً. چیزی که قبلاً اشاره کردم سخت‌ترین کار است - لوله‌کش‌ها و برق‌کارها. دلیلش این است که این موضوع کمی مرا نگران برخی از «پیشگویان بدبین» می‌کند که همیشه درباره ناپدید شدن مشاغل و جایگزینی موقعیت‌ها صحبت می‌کنند. اگر به مردم توصیه کنیم که به این دلیل مهندس نرم‌افزار نشوند، در آینده واقعاً کمبود مهندس نرم‌افزار خواهیم داشت.

ده سال پیش هم پیش‌بینی‌های مشابهی شده بود. در آن زمان، برخی می‌گفتند: «هر کاری که انجام می‌دهید، رادیولوژیست نشوید.» هنوز هم می‌توانید آن ویدیوها را آنلاین پیدا کنید که می‌گویند رادیولوژی اولین حرفه‌ای خواهد بود که حذف می‌شود و جهان دیگر به رادیولوژیست‌ها نیازی نخواهد داشت. اما واقعیت این است که ما اکنون کمبود رادیولوژیست داریم.

دوارکش پاتل:
خب، برگردیم به سوال قبلی: بعضی از لینک‌ها را می‌توان گسترش داد، بعضی‌ها را نه. بنابراین، به طور خاص، چگونه می‌توان ظرفیت تولید تراشه‌های منطقی را دو برابر کرد؟ گذشته از همه اینها، تنگنای واقعی اینجاست، هم حافظه و هم منطق عوامل محدودکننده هستند. در مورد دستگاه‌های لیتوگرافی EUV چطور؟ چطور می‌توانید تعداد آنها را هر سال دو برابر کنید؟

جنسن هوانگ:
همه اینها قابل برگشت نیستند. در واقع، مقیاس‌پذیری سریع آسان نیست، اما انجام این کارها در عرض دو تا سه سال، در واقع، دشوار نیست. نکته کلیدی این است که یک سیگنال تقاضای واضح داشته باشید. وقتی بتوانی یکی بسازی، می‌توانی ده تا بسازی؛ وقتی بتوانی ده تا بسازی، می‌توانی یک میلیون تا بسازی. بنابراین، اساساً، تکرار این چیزها سخت نیست.

دوارکش پاتل:
آیا در این صورت، این قضاوت را به اعماق زنجیره تأمین منتقل می‌کنید؟ برای مثال، آیا به ASML مراجعه می‌کنید و می‌گویید: اگر به سه سال آینده نگاه کنم، برای رسیدن به درآمد سالانه ۲ تریلیون دلاری انویدیا، آیا به دستگاه‌های لیتوگرافی EUV بیشتری نیاز داریم؟

جنسن هوانگ:
بعضی‌ها را مستقیماً انجام می‌دادم، بعضی‌ها غیرمستقیم. اگر بتوانم TSMC را متقاعد کنم، ASML هم طبیعتاً متقاعد خواهد شد. بنابراین، ما باید گلوگاه‌های بحرانی را شناسایی کنیم. اما تا زمانی که TSMC به این روند اعتقاد داشته باشد، ظرف چند سال، تجهیزات EUV کافی خواهید داشت.

منظورم این است که هیچ گلوگاهی بیش از دو تا سه سال دوام نخواهد آورد، هیچ کدام.

در عین حال، ما در حال افزایش کارایی محاسباتی نیز هستیم. از هاپر تا بلک‌ول، ما تقریباً به بهبود ۱۰ برابری، ۲۰ برابری و در برخی موارد، حتی ۳۰ تا ۵۰ برابری دست یافته‌ایم. ما همچنین دائماً الگوریتم‌های جدیدی را معرفی می‌کنیم. از آنجا که CUDA به اندازه کافی انعطاف‌پذیر است، می‌توانیم روش‌های جدید و متنوعی را برای گسترش ظرفیت و در عین حال بهبود کارایی توسعه دهیم.

بنابراین، این چیزها من را نگران نمی‌کند. آنچه واقعاً مرا نگران می‌کند، عوامل خارجی فراتر از حوزه پایین‌دستی ما، مانند سیاست‌های انرژی است. بدون انرژی، نمی‌توانید گسترش پیدا کنید؛ بدون انرژی، نمی‌توانید یک صنعت تأسیس کنید؛ بدون انرژی، نمی‌توانید یک اکوسیستم تولیدی کاملاً جدید بسازید.

اکنون، ما می‌خواهیم صنعتی‌سازی مجدد را در ایالات متحده پیش ببریم، تولید تراشه، تولید کامپیوتر و بسته‌بندی را احیا کنیم، در عین حال صنایع جدیدی مانند وسایل نقلیه الکتریکی و رباتیک را ایجاد کنیم. وقتی ما در حال ساخت یک کارخانه هوش مصنوعی هستیم، همه اینها به انرژی متکی هستند و ساخت و سازهای مرتبط با انرژی چرخه طولانی دارند. در مقابل، افزایش ظرفیت تراشه یک مسئله دو تا سه ساله است؛ افزایش ظرفیت CoWoS نیز یک مسئله دو تا سه ساله است.

دوارکش پاتل:
کاملاً جالب. احساس می‌کنم بعضی از مهمانانی که با آنها مصاحبه کرده‌ام، قضاوت کاملاً متضادی داشته‌اند. فقط در مورد این موضوع است، من واقعاً پیشینه فنی کافی برای قضاوت ندارم.

جنسن هوانگ:
با این حال، نکته خوب این است که شما اکنون با متخصصان صحبت می‌کنید.

آیا TPU گوگل جایگاه انویدیا را متزلزل خواهد کرد؟

دوارکش پاتل:
بله، واقعاً. می‌خواستم در مورد رقبایتان بپرسم. وقتی به TPUها نگاه می‌کنیم، می‌توان گفت که در حال حاضر، دو مدل از سه مدل بزرگ جهانی - Claude و Gemini - با استفاده از TPUها آموزش دیده‌اند. این برای آینده انویدیا چه معنایی دارد؟

توجه: TPU (واحد پردازش تنسور) نوعی تراشه تخصصی است که توسط گوگل به طور خاص برای هوش مصنوعی، به ویژه یادگیری عمیق، طراحی شده است.

جنسن هوانگ:
کاری که ما انجام می‌دهیم کاملاً متفاوت است. انویدیا در حال ساخت «محاسبات شتاب‌یافته» است، نه واحدهای پردازش تنسور (TPU).

محاسبات شتاب‌یافته را می‌توان برای طیف وسیعی از وظایف، مانند دینامیک مولکولی، کرومودینامیک کوانتومی، پردازش داده‌ها، چارچوب‌های داده، داده‌های ساختاریافته، داده‌های بدون ساختار، دینامیک سیالات، فیزیک ذرات و البته هوش مصنوعی، استفاده کرد. بنابراین، دامنه کاربرد محاسبات شتاب‌یافته بسیار گسترده‌تر است.

اگرچه بحث فعلی حول محور هوش مصنوعی است که در واقع بسیار مهم است و تأثیر قابل توجهی دارد، اما دامنه خود «محاسبات» بسیار گسترده‌تر از هوش مصنوعی است. کاری که انویدیا انجام می‌دهد، بازآفرینی رویکرد محاسباتی از محاسبات همه‌منظوره به محاسبات شتاب‌یافته است. پوشش بازار ما بسیار گسترده‌تر از آن چیزی است که هر TPU یا شتاب‌دهنده تخصصی دیگری می‌تواند به آن دست یابد.

اگر به جایگاه ما نگاه کنید، ما تنها شرکتی هستیم که می‌تواند انواع مختلف برنامه‌ها را تسریع کند. ما یک اکوسیستم وسیع داریم که در آن چارچوب‌ها و الگوریتم‌های مختلف می‌توانند روی پلتفرم انویدیا اجرا شوند. علاوه بر این، سیستم‌های کامپیوتری ما طوری طراحی شده‌اند که «توسط دیگران اداره شوند». هر اپراتوری می‌تواند سیستم‌های ما را برای استفاده خریداری کند.

بیشتر سیستم‌های خود-توسعه‌یافته برای استفاده دیگران طراحی نشده‌اند؛ شما اساساً باید خودتان آنها را راه‌اندازی کنید زیرا در ابتدا طوری طراحی نشده‌اند که به اندازه کافی انعطاف‌پذیر باشند تا دیگران بتوانند از آنها استفاده کنند. از آنجا که هر کسی می‌تواند سیستم‌های ما را اداره کند، ما وارد تمام پلتفرم‌های اصلی از جمله گوگل، آمازون، آژور، OCI و دیگران شده‌ایم.

چه بخواهید برای راه‌اندازی سیستم‌ها، قدرت محاسباتی اجاره کنید و چه بخواهید خودتان از سیستم‌ها استفاده کنید، اگر می‌خواهید در یک کسب‌وکار اجاره‌ای فعالیت کنید، باید یک اکوسیستم مشتری در مقیاس بزرگ داشته باشید که صنایع مختلف را پوشش دهد تا این نیازها را برآورده کند. اگر شما از سیستم عامل‌ها برای استفاده شخصی خود استفاده می‌کنید، ما مطمئناً می‌توانیم در انجام این کار به شما کمک کنیم. برای مثال، xAI ایلان.

از آنجا که ما به اپراتورها از هر صنعت یا شرکتی امکان استفاده از سیستم‌های خود را می‌دهیم، می‌توانید از آن برای ساخت ابررایانه‌ها برای شرکت‌هایی مانند لیلی، برای تحقیقات علمی و کشف دارو استفاده کنید. ما می‌توانیم به آنها کمک کنیم تا ابررایانه‌های خود را راه‌اندازی کنند و آنها را در کاربردهای مختلف در تحقیقات دارویی و علوم زیستی به کار گیرند، که همه اینها حوزه‌هایی هستند که می‌توانیم به آنها سرعت ببخشیم.

بنابراین می‌توانیم طیف وسیعی از کاربردها را پوشش دهیم، کاری که TPU نمی‌تواند انجام دهد. کودا (CUDA) انویدیا که توسط خود انویدیا ساخته شده است، می‌تواند به عنوان یک پلتفرم پردازش تانسور برجسته نیز عمل کند، اما فقط این نیست. این کل چرخه حیات پردازش داده‌ها، محاسبات، هوش مصنوعی و موارد دیگر را پوشش می‌دهد. بنابراین، فرصت بازار ما بسیار بزرگتر و با دامنه وسیع‌تری است. و از آنجا که ما اکنون تقریباً از همه نوع برنامه‌ها در سطح جهانی پشتیبانی می‌کنیم، می‌توانید سیستم‌های NVIDIA را در هر مکانی مستقر کنید و مطمئن باشید که قطعاً مشتریانی از آنها استفاده خواهند کرد.

بنابراین این اساساً یک چیز کاملاً متفاوت است.

دوارکش پاتل:
این سوال کمی طولانی‌تر خواهد شد.

درآمد فعلی شما شگفت‌انگیز است، و این درآمد عمدتاً از داروسازی یا محاسبات کوانتومی حاصل نمی‌شود. شما از این کسب‌وکارها در هر فصل ۶۰۰ میلیارد دلار درآمد ندارید، بلکه به این دلیل است که هوش مصنوعی یک فناوری بی‌سابقه است که با سرعتی بی‌سابقه در حال پیشرفت است.

بنابراین سوال این است: اگر فقط به هوش مصنوعی نگاه کنیم، راه حل بهینه چیست؟ من در سطح پایه نیستم، اما با برخی از محققان هوش مصنوعی صحبت کرده‌ام و آنها می‌گویند: وقتی از TPU استفاده می‌کنم، یک آرایه بزرگ است که برای ضرب ماتریس بسیار مناسب است؛ در حالی که GPUها انعطاف‌پذیرتر هستند و برای مدیریت تعداد زیادی شاخه و دسترسی نامنظم به حافظه مناسب هستند.

اما اگر به هوش مصنوعی نگاه کنید، آیا اساساً فقط ضرب ماتریس‌های تکراری و بسیار قابل پیش‌بینی نیست؟ در این صورت، در واقع نیازی نیست برای ویژگی‌هایی مانند زمان‌بندی warp، تعویض رشته، بانک حافظه و غیره، فضای تراشه را اشغال کنید. بنابراین، TPUها برای موج فعلی تقاضای توان محاسباتی و رشد درآمد، با تمرکز بر سناریوهای اصلی کاربرد، بسیار بهینه شده‌اند.

این دیدگاه را چگونه می‌بینید؟

جنسن هوانگ:
ضرب ماتریس‌ها در واقع بخش مهمی از هوش مصنوعی است، اما تمام هوش مصنوعی نیست.

اگر می‌خواهید یک مکانیسم توجه جدید پیشنهاد دهید، یا محاسبات را به روش متفاوتی انجام دهید؛ اگر می‌خواهید یک معماری کاملاً جدید، مانند یک SSM ترکیبی، طراحی کنید؛ اگر می‌خواهید مدلی بسازید که انتشار و خودهمبستگی را ترکیب کند - به یک معماری قابل برنامه‌ریزی همه منظوره نیاز دارید، و ما می‌توانیم هر چیزی را که فکرش را بکنید اجرا کنیم.

این مزیت ماست که اختراع الگوریتم‌های جدید را بسیار آسان‌تر می‌کند. به این دلیل است که هوش مصنوعی یک سیستم قابل برنامه‌ریزی است و اختراع مداوم الگوریتم‌های جدید دلیل پیشرفت سریع آن است.

TPU، مانند هر سخت‌افزار دیگری، تابع قانون مور نیز هست. ما می‌دانیم که قانون مور هر سال حدود ۲۵ درصد بهبود ایجاد می‌کند. بنابراین اگر می‌خواهید به یک جهش ۱۰ برابری یا ۱۰۰ برابری دست یابید، تنها راه این است که هر سال الگوریتم و محاسبات آن را به‌طور اساسی تغییر دهید.

این دقیقاً نقطه قوت اصلی انویدیا است.

دلیل اینکه ما توانستیم با بلک‌ول در مقایسه با هاپر به پیشرفت قابل توجهی دست یابیم - من گفتم که آن زمان ۳۵ برابر بود - وقتی برای اولین بار اعلام کردم که بهره‌وری انرژی بلک‌ول ۳۵ برابر بیشتر از هاپر خواهد بود، هیچ‌کس باور نکرد.

بعداً، دیلن مقاله‌ای نوشت و گفت که من در واقع محافظه‌کار بودم، و پیشرفت واقعی نزدیک به ۵۰ برابر است، و این نوع پیشرفت را نمی‌توان صرفاً با قانون مور به دست آورد. روش ما برای حل این مشکل، معرفی ساختارهای مدل جدید، مانند MoE، و موازی‌سازی، جداسازی و توزیع محاسبات و گسترش آن در کل سیستم محاسباتی است. بدون امکان ورود به لایه سخت‌افزار و توسعه هسته‌های محاسباتی جدید با استفاده از CUDA، دستیابی به این هدف بسیار دشوار خواهد بود.

توجه: با اشاره به دیلن پاتل، تحلیلگر مشهور در حوزه نیمه‌هادی‌ها و زیرساخت‌های هوش مصنوعی و بنیانگذار شرکت تحقیقاتی SemiAnalysis

بنابراین، مزیت ما در این موارد نهفته است: قابلیت برنامه‌ریزی معماری، و انویدیا به عنوان یک شرکت با طراحی مشترک بالا. ما حتی می‌توانیم برخی از محاسبات را به معماری اتصال متقابل، مانند NVLink، یا لایه شبکه، مانند Spectrum-X، واگذار کنیم. به عبارت دیگر، ما می‌توانیم همزمان تغییر را در پردازنده، سیستم، اتصالات داخلی، کتابخانه‌های نرم‌افزاری و الگوریتم‌ها اعمال کنیم. همه اینها یکجا و همزمان اتفاق می‌افتد. بدون پشتیبانی CUDA از همه اینها، حتی نمی‌دانستم از کجا شروع کنم.

دوارکش پاتل:

این موضوع همچنین سوالی را در مورد پایگاه مشتریان انویدیا مطرح می‌کند: اگر ۶۰٪ درآمد شما از این پنج ابرمقیاس‌پذیر حاصل شود، در دوره‌ای دیگر، در مواجهه با نوع متفاوتی از مشتری، مانند یک استاد آزمایشگر، آنها به شدت به CUDA متکی هستند. آنها نمی‌توانند از شتاب‌دهنده‌های دیگر استفاده کنند، فقط می‌توانند از PyTorch + CUDA استفاده کنند و همه چیز باید به خوبی بهینه شده باشد.

اما اگر این ابرمقیاس‌سازهای بزرگ باشند، قابلیت نوشتن هسته‌های خودشان را دارند. در واقع، آنها باید این کار را انجام دهند تا 5٪ آخر عملکرد را به حداکثر برسانند. شرکت‌هایی مانند آنتروپیک و گوگل اغلب از شتاب‌دهنده‌های سفارشی یا TPUها برای آموزش استفاده می‌کنند. حتی OpenAI، هنگام استفاده از پردازنده‌های گرافیکی، از Triton استفاده می‌کند. آنها می‌گفتند: ما به هسته خودمان نیاز داریم. بنابراین آنها به جای استفاده از کتابخانه‌هایی مانند cuBLAS و NCCL، مستقیماً CUDA C++ را می‌نویسند و پشته نرم‌افزاری خود را می‌سازند و حتی آن را برای سایر شتاب‌دهنده‌ها کامپایل می‌کنند.

بنابراین، برای اکثر مشتریان شما، آنها واقعاً می‌توانند و در حال جایگزینی CUDA هستند. پس CUDA چقدر هنوز یک محرک کلیدی برای هوش مصنوعی پیشرفته‌ای است که باید به NVIDIA متکی باشد؟

جنسن هوانگ:
اول از همه، CUDA یک اکوسیستم بسیار غنی است. اگر روی هر کامپیوتری در حال توسعه هستید، شروع با CUDA انتخاب بسیار عاقلانه‌ای است. از آنجا که این اکوسیستم بسیار غنی است، ما از همه چارچوب‌های اصلی پشتیبانی می‌کنیم.

اگر نیاز به نوشتن هسته‌های سفارشی، مانند Triton، دارید، ما فناوری NVIDIA زیادی را به backend تریتون ارائه داده‌ایم و همچنین بسیار مایلیم به بهبود چارچوب‌های مختلف کمک کنیم. اکنون چارچوب‌های زیادی مانند Triton، vLLM، SG Lang و بسیاری دیگر وجود دارد.

با پیشرفت یادگیری پس از آموزش و تقویتی، این حوزه به سرعت در حال گسترش است. برای مثال، شما Vairal، NeMo RL و مجموعه‌ای از فریم‌ورک‌های جدید را دارید. اگر می‌خواهید روی یک معماری خاص توسعه دهید، شروع با CUDA منطقی‌ترین انتخاب است زیرا می‌دانید که اکوسیستم بالغ است. وقتی مشکلی پیش می‌آید، به احتمال زیاد مشکل از کد خودتان است تا انبوه کدهای موجود.

فراموش نکنید، کدبیس پشت این سیستم‌ها بسیار بزرگ است. وقتی سیستم مشکل دارد، می‌خواهید بدانید که آیا مشکل در کد شماست یا در خود پلتفرم محاسباتی.

مطمئناً امیدوارید که مشکل در کد خودتان باشد و نه در پلتفرم محاسباتی. البته، ما خودمان کلی باگ داریم، اما سیستم ما خیلی کامل است و حداقل می‌توانید روی یک پایه‌ی قابل اعتماد به ساخت آن ادامه دهید.

نکته دوم مقیاس پایه نصب است. اگر شما یک توسعه‌دهنده هستید، مهم نیست چه کاری انجام می‌دهید، مهم‌ترین چیز «پایگاه نصب» است. شما می‌خواهید نرم‌افزارتان روی بیشترین تعداد کامپیوترهای ممکن اجرا شود. شما برای خودتان نرم‌افزار نمی‌نویسید؛ شما برای کل خوشه خود و حتی برای کل صنعت نرم‌افزار می‌نویسید، زیرا شما یک توسعه‌دهنده چارچوب هستید.

اکوسیستم CUDA انویدیا اساساً مهمترین دارایی ماست. اکنون صدها میلیون پردازنده گرافیکی (GPU) در سراسر جهان وجود دارد. همه ارائه دهندگان خدمات ابری آنها را دارند، از V100، A100، H100، H200 گرفته تا سری L، سری P، با مشخصات مختلف.

و آنها به اشکال مختلفی وجود دارند. اگر شما یک شرکت رباتیک هستید، می‌خواهید CUDA مستقیماً روی بدنه ربات اجرا شود. ما عملاً همه جا هستیم.

این بدان معناست که وقتی نرم‌افزار یا مدلی را توسعه دادید، می‌توانید از آن در هر جایی استفاده کنید. بنابراین ارزش این پایگاه نصب به خودی خود بسیار قابل توجه است.

نکته آخر، انعطاف‌پذیری محل استقرار است. ما در تمام پلتفرم‌های ابری وجود داریم که به ما منحصر به فرد بودن می‌دهد. به عنوان یک شرکت یا توسعه‌دهنده هوش مصنوعی، شما مطمئن نیستید که در نهایت با کدام ارائه‌دهنده ابری همکاری خواهید کرد و سیستم شما کجا اجرا خواهد شد. با این حال، ما می‌توانیم همه جا، از جمله استقرار در محل، اجرا کنیم.

بنابراین، غنای اکوسیستم، مقیاس پایگاه نصب و انعطاف‌پذیری محل استقرار، وقتی با هم ترکیب شوند، بسیار ارزشمند هستند.

دوارکش پاتل:
این منطقی است. اما چیزی که من در مورد آن کنجکاوم این است که آیا این مزایا واقعاً برای مشتریان کلیدی شما مهم هستند یا خیر. بسیاری از مردم در واقع از این مزایا بهره‌مند خواهند شد، اما کسانی که می‌توانند نرم‌افزار خود را خودشان بسازند - گروهی که بخش عمده‌ای از درآمد شما را تشکیل می‌دهند - به خصوص در جهانی که هوش مصنوعی در یک کار "حلقه بازخورد قابل تأیید" قوی‌تر می‌شود، مانند سناریوهای یادگیری تقویتی، که در آن بهینه‌سازی‌های هسته مانند توجه یا MLP در واقع یک حلقه بازخورد بسیار قابل تأیید هستند.

بنابراین آیا این ارائه دهندگان خدمات ابری در مقیاس بزرگ می‌توانند خودشان این هسته‌ها را بنویسند؟ البته، آنها هنوز هم ممکن است NVIDIA را به دلیل مقرون به صرفه بودن انتخاب کنند. اما سوال این است که آیا این در نهایت به یک مقایسه ساده تبدیل خواهد شد: چه کسی می‌تواند مشخصات بهتری ارائه دهد؟ برای مثال، از نظر هزینه واحد، چه کسی می‌تواند قدرت محاسباتی (FLOP) و پهنای باند حافظه بالاتری ارائه دهد؟ زیرا در گذشته، انویدیا حاشیه سود بسیار بالایی (بیش از ۷۰٪) در هر دو سطح سخت‌افزار و نرم‌افزار داشته است، که عمدتاً به دلیل خندق CUDA بوده است.

بنابراین سوال این است که اگر اکثر مشتریان بتوانند پشته‌های نرم‌افزاری خود را بدون تکیه بر CUDA بسازند، آیا این حاشیه سود می‌تواند پایدار باشد؟

جنسن هوانگ:
تعداد مهندسانی که در این آزمایشگاه‌های هوش مصنوعی قرار داده‌ایم واقعاً شگفت‌انگیز است، با آنها کار می‌کنیم و به آنها کمک می‌کنیم تا کل مجموعه فناوری را بهینه کنند. دلیلش این است که هیچ‌کس معماری ما را بهتر از خودمان نمی‌شناسد. و این معماری‌ها به اندازه CPUها همه منظوره نیستند.

CPU کمی شبیه یک «ماشین خانوادگی» است، می‌توانید آن را به عنوان یک ماشین کروز در نظر بگیرید، نه خیلی سریع، اما همه می‌توانند آن را به خوبی برانند، با کروز کنترل، همه چیز سرراست است. اما شتاب‌دهنده‌ی پردازنده‌ی گرافیکی انویدیا بیشتر شبیه ماشین‌های مسابقه‌ای فرمول یک است. می‌توانم تصور کنم که همه می‌توانند آن را با سرعت ۱۰۰ مایل در ساعت برانند، اما برای اینکه واقعاً آن را به نهایت سرعت برسانند، به تخصص قابل توجهی نیاز است.

و ما از هوش مصنوعی زیادی برای تولید این هسته‌ها استفاده می‌کنیم. من کاملاً مطمئنم که برای مدتی طولانی، ما هنوز هم ضروری هستیم. تخصص ما می‌تواند به شرکای ما در این آزمایشگاه‌های هوش مصنوعی کمک کند تا به راحتی عملکرد خود را دو برابر کنند. بسیاری از اوقات، پس از اینکه ما پشته فنی یا یک هسته خاص آنها را بهینه می‌کنیم، مدل‌های آنها می‌توانند ۳ برابر، ۲ برابر یا حتی ۵۰٪ شتاب بگیرند. این یک پیشرفت قابل توجه است، به خصوص وقتی در نظر بگیرید که آنها خوشه‌های بزرگی از هاپر و بلک‌ول دارند.

اگر عملکرد را دو برابر کنید، به این معنی است که درآمد شما مستقیماً دو برابر می‌شود. این موضوع ارتباط مستقیمی با درآمد دارد. مجموعه محاسباتی انویدیا بهترین عملکرد جهانی را از نظر هزینه کل مالکیت (TCO) دارد که با هیچ رقیبی قابل مقایسه نیست. هیچ شرکتی نمی‌تواند به من ثابت کند که کدام پلتفرم نسبت عملکرد/TCO بهتری نسبت به ما ارائه می‌دهد. حتی یک عدد هم نه. و این تست‌های بنچمارک به صورت عمومی در دسترس هستند.

دیلن درست میگه. استنتاج مکس عمومی است، هر کسی می‌تواند از آن استفاده کند. اما هیچ تیم TPU حاضر نیست از آن برای نمایش مزیت هزینه استنتاج خود استفاده کند. انجامش سخته، هیچکس حاضر نیست بیاد و ثابتش کنه.

همین امر در مورد MLPerf نیز صدق می‌کند. من از آنها استقبال می‌کنم تا برتری ۴۰ درصدی را که همیشه ادعا کرده‌اند، نشان دهند. خیلی دوست دارم ببینم که آنها مزیت هزینه TPU را ثابت می‌کنند. به نظر من، این منطقی نیست، اصلاً با واقعیت جور در نمی‌آید. اصلاً اینطور نیست.

بنابراین من معتقدم دلیل اساسی موفقیت ما این است که TCO ما عالی است.

نکته‌ی دیگر، شما اشاره کردید که ۶۰ درصد از مشتریان ما از پنج تولیدکننده‌ی برتر هستند، اما بیشتر این کسب‌وکار در واقع مشتریان خارجی را هدف قرار می‌دهد. برای مثال، در AWS، قدرت محاسباتی NVIDIA عمدتاً در اختیار مشتریان خارجی قرار می‌گیرد و توسط خود AWS استفاده نمی‌شود. در Azure، مشتریان ما نیز عمدتاً مشتریان خارجی هستند؛ همین امر در مورد OCI نیز صدق می‌کند. آنها ما را انتخاب می‌کنند چون دامنه‌ی کاری ما بسیار گسترده است.

ما می‌توانیم بهترین مشتریان دنیا را برای آنها بیاوریم و خود این مشتریان بر اساس پلتفرم انویدیا ساخته شده‌اند. و این شرکت‌ها بر اساس انویدیا ساخته شده‌اند زیرا پوشش و انعطاف‌پذیری ما بسیار قوی است.

بنابراین فکر می‌کنم این چرخ لنگر در حال کار است: پایه نصب‌شده، قابلیت برنامه‌ریزی معماری و انباشت مداوم اکوسیستم. بعلاوه، اکنون هزاران شرکت هوش مصنوعی در سراسر جهان وجود دارد. اگر شما یکی از استارت‌آپ‌های هوش مصنوعی بودید، چه معماری را انتخاب می‌کردید؟ شما محبوب‌ترین، با بزرگترین پایگاه نصب‌شده و غنی‌ترین اکوسیستم را انتخاب می‌کنید. منطق این چرخ طیار همین است.

بنابراین دلایل عبارتند از:

· اولاً، عملکرد ما به ازای هر دلار بسیار بالا است، از این رو کمترین هزینه توکن را داریم؛

· دوم، عملکرد ما به ازای هر وات، بالاترین میزان در جهان است؛ اگر شریکی یک مرکز داده ۱ گیگاواتی بسازد، باید بیشترین توکن و به عبارت دیگر، بیشترین درآمد را خروجی دهد. و معماری ما می‌تواند بیشترین توکن را به ازای هر واحد مصرف برق تولید کند.

سوم، اگر هدف شما اجاره دادن قدرت محاسباتی است، ما بیشترین مشتری را در سطح جهان داریم.

به همین دلیل این چرخ طیار ساخته شد.

دوارکش پاتل:
خیلی جالبه. من فکر می‌کنم اصل موضوع این است که ساختار بازار واقعاً چگونه است. حتی با وجود شرکت‌های زیاد، یک سناریو می‌تواند پیش بیاید: هزاران شرکت هوش مصنوعی وجود دارند که تقریباً همگی قدرت محاسباتی را به اشتراک می‌گذارند.

اما اگر واقعیت این باشد که از طریق این ارائه‌دهندگان خدمات ابری در مقیاس بزرگ، کسانی که واقعاً از قدرت محاسباتی استفاده می‌کنند، شرکت‌های مدل بنیادی مانند Anthropic و OpenAI هستند و این توانایی را دارند که شتاب‌دهنده‌های مختلفی را راه‌اندازی کنند.

جنسن هوانگ:
به نظرم فرض شما اشتباه است.

دوارکش پاتل:
شاید. بگذارید آن را دوباره بیان کنم. اگر این ادعاها در مورد عملکرد و هزینه درست باشد، چرا شرکت‌هایی مانند Anthropic که همین چند روز پیش همکاری خود را با Broadcom و Google برای ساخت TPU چند اگزاژولی اعلام کردند، این کار را انجام دادند؟ و بیشتر قدرت محاسباتی آنها از این سیستم‌ها می‌آید. برای گوگل، TPU منبع اصلی قدرت محاسباتی است. بنابراین، با نگاهی به این شرکت‌های بزرگ هوش مصنوعی، قبلاً همه آنها NVIDIA بودند، اما دیگر اینطور نیست.

اگر این مزایا از لحاظ تئوری پابرجا باشند، چرا آنها هنوز شتاب‌دهنده‌های دیگر را انتخاب می‌کنند؟

جنسن هوانگ:
انسان‌محوری یک مورد کاملاً خاص است. اگر هیچ آنتروپی وجود نداشت، رشد TPU به سختی وجود می‌داشت. رشد TPU تقریباً به طور کامل از آنتروپیک ناشی می‌شود. به همین ترتیب، اگر آنتروپیک وجود نداشت، رشد تقاضای آموزش تقریباً وجود نمی‌داشت.

این یک حقیقت کاملاً واضح است. فرصت‌های مشابه زیادی وجود ندارد؛ در واقعیت، فقط یک آنتروپیک وجود دارد.

دوارکش پاتل:
اما OpenAI با AMD نیز همکاری می‌کند و آنها در حال توسعه شتاب‌دهنده تایتان خود هستند.

توجه: ای‌ام‌دی (AMD) یا Advanced Micro Devices یک شرکت آمریکایی تولیدکننده نیمه‌هادی است که عمدتاً تراشه‌های محاسباتی طراحی می‌کند و رقیب اصلی انویدیا و اینتل محسوب می‌شود.

جنسن هوانگ:
اما اکثریت قریب به اتفاق آنها هنوز از NVIDIA استفاده می‌کنند. ما به همکاری‌های گسترده خود ادامه خواهیم داد. وقتی دیگران راه حل های دیگری را امتحان می کنند، ناراحت نمی شوم. اگر آنها راه حل های دیگر را امتحان نکنند، از کجا بفهمند که راه حل ما چقدر خوب است؟

گاهی اوقات لازم است که این موضوع را از طریق مقایسه دوباره تأیید کنیم. و همچنین باید دائماً ثابت کنیم که لیاقت جایگاه فعلی خود را داریم.

همیشه ادعاهای مختلفی در بازار وجود داشته است. می‌توانید ببینید که چند پروژه ASIC لغو شده‌اند. صرفاً به این دلیل که شروع به ساخت ASIC می‌کنید، به این معنی نیست که می‌توانید چیزی بهتر از NVIDIA خلق کنید.

در واقع، کار آسانی نیست. حتی می‌توان گفت که از نظر منطقی، دوام خوبی ندارد. مگر اینکه انویدیا واقعاً در برخی جنبه‌ها اشتباه بزرگی مرتکب شده باشد. اما با توجه به مقیاس و سرعتمان، ما تنها شرکتی در سطح جهان هستیم که هر سال به جهش‌های قابل توجهی دست می‌یابیم.

دوارکش پاتل:
منطق آنها این است: لازم نیست از انویدیا بهتر باشید، فقط نباید ۷۰٪ از انویدیا بدتر باشید، چون آنها فکر می‌کنند حاشیه سود شما ۷۰٪ است.

جنسن هوانگ:
اما فراموش نکنید، حتی با ASICها، حاشیه سود در واقع بسیار بالاست. حاشیه سود انویدیا حدود ۶۰ تا ۷۰ درصد است و حاشیه سود ای‌سیک‌ها نیز می‌تواند حدود ۶۵ درصد باشد. خب، واقعاً چقدر پس‌انداز کرده‌اید؟

همیشه باید به کسی پول بدهی. بنابراین از آنچه من دیده‌ام، حاشیه سود این کسب‌وکارهای بنیادی (ASIC) در واقع بسیار بالاست، و خودشان هم همین را باور دارند و به آن افتخار می‌کنند.

در گذشته، ما واقعاً توانایی انجام این کار را نداشتیم. و راستش را بخواهید، در آن زمان واقعاً عمیقاً درک نمی‌کردم که ساختن یک آزمایشگاه مدل بنیادی مانند OpenAI یا Anthropic چقدر دشوار است. و همچنین کاملاً متوجه نبودم که آنها واقعاً به حمایت سرمایه‌گذاری عظیم از طرف عرضه نیاز دارند.

در آن زمان، ما توانایی انجام سرمایه‌گذاری‌های میلیارد دلاری، مانند سرمایه‌گذاری در آنتروپیک برای استفاده از قدرت محاسباتی خود را نداشتیم. اما گوگل و AWS می‌توانستند، آنها از همان ابتدا مبالغ هنگفتی را سرمایه‌گذاری کردند و در عوض، آنتروپیک از قدرت محاسباتی آنها استفاده می‌کند.

ما آن زمان توانایی انجام این کار را نداشتیم، و باید بگویم، اشتباه من بود: من کاملاً متوجه نشدم که آنها در واقع چاره دیگری نداشتند. شرکت‌های سرمایه‌گذاری خطرپذیر نمی‌توانند ۵ یا ۱۰ میلیارد دلار برای حمایت از یک آزمایشگاه هوش مصنوعی سرمایه‌گذاری کنند و انتظار داشته باشند که آن آزمایشگاه به آنتروپیک تبدیل شود.

این قضاوت اشتباه من بود. اما حتی اگر آن موقع متوجه آن شده بودم، فکر نمی‌کنم در آن مرحله توانایی انجام آن را داشتیم.

با این حال، من دیگر اشتباه قبلی را تکرار نخواهم کرد. من خوشحالم که در OpenAI سرمایه‌گذاری می‌کنم، و همچنین خوشحالم که به آنها در گسترش کمک کنم، فکر می‌کنم این کار ضروری است. وقتی آنتروپیک بعداً به ما پیشنهاد همکاری داد، من هم خوشحال شدم که سرمایه‌گذار شوم و به رشد آنها کمک کنم.

درست در آن زمان بود، ما واقعاً نمی‌توانستیم این کار را انجام دهیم. اگر می‌توانستیم از نو شروع کنیم، اگر انویدیا در آن زمان به اندازه الان قدرتمند بود، من خیلی مایل بودم که این کارها را انجام دهم.

چرا انویدیا روی «ابر» کار نمی‌کند؟

دوارکش پاتل:
این خیلی جالب است. انویدیا در طول این سال‌ها، همیشه شرکتی بوده که در حوزه هوش مصنوعی «بیل می‌فروشد تا پول دربیاورد» و سود زیادی هم برده است. و حالا شما شروع به سرمایه‌گذاری این پول می‌کنید. گزارش‌هایی وجود دارد مبنی بر اینکه شما 30 میلیارد دلار در OpenAI و 10 میلیارد دلار در Antropic سرمایه‌گذاری کرده‌اید. و ارزش این شرکت‌ها همچنان در حال افزایش است.

بنابراین، با نگاهی به چند سال گذشته، شما به آنها قدرت محاسباتی دادید، روندها را دیدید، و در آن زمان ارزش‌گذاری‌های آنها تنها یک دهم ارزش فعلی یا حتی بسیار پایین‌تر از ارزش فعلی آنها در یک سال گذشته بود. و در آن زمان پول زیادی داشتید.

در واقع یک احتمال وجود دارد: انویدیا می‌توانست خودش به یک شرکت مدل‌سازی بنیادی تبدیل شود، یا زودتر با ارزش‌گذاری پایین‌تر، در مقیاس بزرگ سرمایه‌گذاری کند، مشابه کاری که شما الان انجام می‌دهید.

خب من خیلی کنجکاوم که چرا زودتر این کار رو نکردی؟

جنسن هوانگ:
ما در همان لحظه که «توانستیم» انجامش دادیم. اگر می‌توانستیم آن موقع این کار را انجام دهیم، من زودتر این کار را می‌کردم. وقتی آنتروپیک در ابتدا به حمایت ما نیاز داشت، من این کار را می‌کردم. اما در آن زمان، واقعاً توانایی لازم را نداشتیم.

این فراتر از توانایی‌های ما و فراتر از عادات تصمیم‌گیری ما بود.

دوارکش پاتل:
آیا مشکل بودجه بود، یا؟

جنسن هوانگ:
بله، مسئله به مقیاس سرمایه‌گذاری مربوط می‌شد. ما در آن زمان تقریباً هیچ سنتی از سرمایه‌گذاری خارجی نداشتیم، چه برسد به سرمایه‌گذاری در آن مقیاس. و ما متوجه نبودیم که این کار ضروری است.

در آن زمان فکر می‌کردم، آنها می‌توانند مثل هر شرکت دیگری، سرمایه‌گذار خطرپذیر پیدا کنند. اما کاری که آنها می‌خواستند انجام دهند، در واقع فراتر از توان حمایت سرمایه‌های خطرپذیر بود. کاری که OpenAI می‌خواست انجام دهد، چیزی بود که سرمایه‌گذاری خطرپذیر نمی‌توانست از آن حمایت کند.

این چیزی بود که بعداً فهمیدم. اما همینجا بود که آنها باهوش بودند. آنها در آن زمان متوجه شدند که باید در آن مسیر قدم بردارند. خوشحالم که این کار را کردند. اگرچه ما در آن زمان نمی‌توانستیم شرکت کنیم، و همین باعث شد که آنتروپیک به سراغ شرکای دیگر برود، اما هنوز هم فکر می‌کنم این چیز خوبی است. وجود آنتروپیک برای کل جهان چیز خوبی است و من از این بابت خوشحالم. بعضی پشیمانی‌ها قابل قبول هستند.

دوارکش پاتل:
بنابراین سوال همچنان به یک نکته برمی‌گردد: حالا که این همه پول نقد در دست دارید و این پول همچنان در حال افزایش است، انویدیا چگونه باید از این بودجه استفاده کند؟

یک ایده این است که اکنون یک اکوسیستم واسطه وجود دارد که به این آزمایشگاه‌های هوش مصنوعی کمک می‌کند تا هزینه‌های سرمایه‌ای (capex) را به هزینه‌های عملیاتی (opex) تبدیل کنند تا بتوانند قدرت محاسباتی را اجاره کنند.

زیرا پردازنده‌های گرافیکی گران هستند، اما با پیشرفت مدل‌ها، می‌توانند به طور مداوم توکن‌های با ارزش بالاتر را در طول چرخه عمر خود تولید کنند. و خود انویدیا توانایی تحمل این هزینه‌های اولیه را دارد. برای مثال، گزارش‌هایی وجود دارد مبنی بر اینکه شما تا ۶.۳ میلیارد دلار از CoreWeave حمایت مالی کرده‌اید و ۲ میلیارد دلار سرمایه‌گذاری کرده‌اید.

پس چرا انویدیا خودش به یک ارائه‌دهنده خدمات ابری تبدیل نمی‌شود؟ چرا به یک ابرمقیاس تبدیل نشویم، فضای ابری خودمان را نسازیم و قدرت محاسباتی را اجاره ندهیم؟ گذشته از همه اینها، شما توانایی پول نقد را دارید.

جنسن هوانگ:
این یک سوال فلسفی برای شرکت است و من فکر می‌کنم فلسفه‌ی عاقلانه‌ای است: ما باید «تا حد امکان کم و تا حد امکان زیاد» کار کنیم.

این یعنی وقتی صحبت از ساخت یک پلتفرم محاسباتی می‌شود، اگر این کار را نکنیم، واقعاً معتقدم که انجام نخواهد شد.

اگر ما این ریسک‌ها را نپذیریم، NVLink را نسازیم، کل مجموعه نرم‌افزاری را نسازیم، این اکوسیستم را ایجاد نکنیم، 20 سال را صرف CUDA نکنیم (که بیشتر آن حتی ضرر مالی هم داشت)، اگر ما این کارها را نکنیم، هیچ کس دیگری این کار را نخواهد کرد. اگر ما این کتابخانه‌های مختص به هر دامنه از CUDA-X را نسازیم - چه ردیابی پرتو باشد، چه تولید تصویر، یا مدل‌های اولیه هوش مصنوعی، پردازش داده‌ها، داده‌های ساختاریافته، پردازش داده‌های برداری - اگر این کار را نکنیم، این چیزها وجود نخواهند داشت.

من کاملاً به این موضوع اطمینان دارم. ما حتی یک کتابخانه برای لیتوگرافی محاسباتی به نام cuLitho توسعه دادیم، اگر ما این کار را نکنیم، هیچ کس دیگری این کار را نخواهد کرد.

بنابراین، دلیل اینکه محاسبات شتاب‌یافته تا حدی که امروز توسعه یافته است، به این دلیل است که ما این کارها را انجام داده‌ایم. این بخشی است که ما باید کاملاً به انجام آن متعهد باشیم.

اما در عین حال، در حال حاضر ارائه دهندگان خدمات ابری زیادی در جهان وجود دارند. حتی اگر ما این کار را نکنیم، کس دیگری انجام خواهد داد. بنابراین بر اساس اصل انجام هر چه بیشتر کارهای ضروری و تا حد امکان انجام ندادن کارهای دیگر، این مفهوم همیشه در شرکت وجود داشته است. هر تصمیمی که می‌گیرم از این دیدگاه بررسی می‌شود.

در فضای ابری، اگر در ابتدا از CoreWeave پشتیبانی نمی‌کردیم، ممکن بود این ابرهای هوش مصنوعی جدید (نئوابر) وجود نداشته باشند. اگر ما از آنها حمایت نمی‌کردیم، آنها به این مقیاسی که امروز هستند، توسعه نمی‌یافتند. همین موضوع در مورد Nscale و Nebius هم صدق می‌کند، اگر حمایت ما نبود، آنها تا اینجا پیش نمی‌آمدند. و حالا، همه آنها به خوبی توسعه یافته‌اند.

اما آیا این کسب و کاری است که باید شخصاً خودمان را درگیر آن کنیم؟ نه. ما هنوز به آن اصل پایبندیم: آنچه لازم است را انجام دهید و تا حد امکان کمتر از آن فراتر بروید. بنابراین ما در این اکوسیستم سرمایه‌گذاری خواهیم کرد، زیرا می‌خواهم کل اکوسیستم رونق بگیرد. من می‌خواهم معماری ما تا حد امکان صنایع و کشورهای زیادی را به هم متصل کند و امکان توسعه جهانی هوش مصنوعی و ساخت آن بر اساس یک فناوری مستقر در ایالات متحده را فراهم کند.

این چشم‌اندازی است که ما در حال پیشبرد آن هستیم.

در عین حال، همانطور که اشاره کردید، اکنون شرکت‌های مدل بنیادی بسیار خوبی وجود دارند و ما سعی خواهیم کرد تا حد امکان روی آنها سرمایه‌گذاری کنیم.

نکته دیگر این است که ما «برندگان را انتخاب» نخواهیم کرد. ما می‌خواهیم از همه حمایت کنیم. این هم یک ضرورت تجاری است و هم کاری است که ما مایل به انجام آن هستیم. بنابراین وقتی در یک شرکت سرمایه‌گذاری می‌کنم، در شرکت‌های دیگر نیز سرمایه‌گذاری خواهم کرد.

دوارکش پاتل:
پس چرا عمداً از انتخاب برندگان اجتناب می‌کنید؟

جنسن هوانگ:
چون این مسئولیت ما نیست. این نکته اول است.

دوم، وقتی انویدیا تازه تأسیس شده بود، حدود ۶۰ شرکت گرافیکی وجود داشت، ۶۰ شرکت که گرافیک سه‌بعدی انجام می‌دادند. در نهایت، فقط ما زنده ماندیم. اگر قرار بود یکی از آن ۶۰ شرکت را برای موفقیت انتخاب کنید، احتمالاً انویدیا کمترین احتمال موفقیت را داشت.

اون مال قبل از زمان تو بود، اما اون موقع معماری گرافیک انویدیا کاملاً اشتباه بود. نه اینکه کمی اشتباه باشد، اما اساساً اشتباه است. ما معماری‌ای طراحی کردیم که توسعه‌دهندگان به سختی می‌توانستند از آن پشتیبانی کنند، که محکوم به شکست بود. ما آن را از اصول اولیه بسیار معقولی استنتاج کردیم، اما در نهایت به راه حل اشتباهی رسیدیم.

همه فکر می‌کردند ما نمی‌توانیم موفق شویم، اما در نهایت ما همچنان زنده ماندیم. بنابراین من به اندازه کافی فروتن هستم که این را بپذیرم و برندگان را انتخاب نکنم. یا بگذارید خودشان پیشرفت کنند، یا از همه حمایت کنید.

دوارکش پاتل:
یه نکته ای هست که من درست متوجه نشدم. شما گفتید که عمداً پشتیبانی از این فروشندگان جدید ابری را در اولویت قرار نمی‌دهید، اما همچنین اشاره کردید که بدون انویدیا، ممکن است آنها وجود نداشته باشند. این دو نکته چگونه در کنار هم قرار می‌گیرند؟

جنسن هوانگ:
اول، آنها باید بخواهند که به تنهایی وجود داشته باشند و به طور فعال از ما کمک بخواهند. وقتی آنها نیت مشخص، طرح تجاری، توانایی و اشتیاق داشته باشند - البته، آنها باید سطح مشخصی از توانایی را نیز داشته باشند - اگر در مرحله اولیه به حمایت سرمایه‌گذاری نیاز داشته باشند، ما آنجا خواهیم بود.

اما نکته کلیدی این است که آنها به سرعت فلایویل خود را ایجاد کنند. سوال شما الان این بود که آیا می‌خواهیم وارد تجارت تأمین مالی شویم؟ جواب منفی است. ما نمی‌خواهیم به یک موسسه مالی تبدیل شویم. در حال حاضر افراد زیادی در بازار مشغول به تأمین مالی هستند و ما ترجیح می‌دهیم به جای اینکه خودمان تأمین مالی را انجام دهیم، با این مؤسسات مالی همکاری کنیم.

بنابراین هدف ما این است که روی کسب‌وکار خودمان تمرکز کنیم، مدل کسب‌وکار را تا حد امکان ساده نگه داریم و در عین حال، از کل اکوسیستم پشتیبانی کنیم.

جنسن هوانگ:
وقتی شرکتی مثل OpenAI قبل از عرضه اولیه سهام به 30 میلیارد دلار سرمایه‌گذاری نیاز دارد، و ما به آنها خیلی اعتقاد داریم - من شخصاً معتقدم که آنها همین الان هم یک شرکت فوق‌العاده هستند و به یک شرکت حتی قابل توجه‌تر هم تبدیل خواهند شد. دنیا به وجود آنها نیاز دارد، همه امیدوارند که آنها وجود داشته باشند، و من هم امیدوارم که آنها وجود داشته باشند. آنها همه عناصر لازم برای موفقیت را دارند، بنابراین ما از آنها حمایت می‌کنیم و به آنها کمک می‌کنیم تا گسترش یابند.

بنابراین، ما این نوع سرمایه‌گذاری را انجام خواهیم داد زیرا آنها به ما نیاز دارند. اما اصل ما این نیست که «تا حد امکان کار بیشتری انجام دهید»، بلکه این است که «تا حد امکان کار کمتری انجام دهید».

دوارکش پاتل:
این سوال ممکن است کمی بدیهی به نظر برسد، اما سال‌هاست که ما در وضعیت کمبود پردازنده گرافیکی (GPU) قرار داریم و با قدرتمندتر شدن مدل‌ها، این وضعیت برجسته‌تر می‌شود.

جنسن هوانگ:
بله، ما کمبود پردازنده گرافیکی (GPU) داریم.

دوارکش پاتل:
و انویدیا صرفاً این منابع کمیاب را بر اساس بالاترین پیشنهاد توزیع نمی‌کند، بلکه مواردی مانند تضمین وجود این ارائه‌دهندگان جدید ابری را در نظر می‌گیرد - برخی را به CoreWeave، برخی را به Crusoe و برخی را به Lambda می‌دهد.

اولاً، آیا شما با این دیدگاه موافقید؟ دوم، این چه مزایایی برای انویدیا دارد؟

جنسن هوانگ:
به نظرم فرض شما اشتباه است. البته ما این موارد را با دقت بررسی خواهیم کرد.

اول اینکه، اگر سفارش خرید (PO) نداشته باشید، هیچ میزان ارتباطی مهم نیست. بنابراین، اول و مهمتر از همه، ما با تمام مشتریان برای پیش‌بینی تقاضا سخت تلاش خواهیم کرد زیرا چرخه تولید این محصولات بسیار طولانی است و دوره ساخت مرکز داده نیز بسیار طولانی است. ما از طریق پیش‌بینی، عرضه و تقاضا را هماهنگ می‌کنیم، که اولین کار است.

دوم، ما با حداکثر تعداد مشتریان ممکن، پیش‌بینی خواهیم کرد. اما در نهایت، شما هنوز هم باید سفارش دهید. اگه سفارش ندی، من هیچ کاری نمی‌تونم بکنم. بنابراین در برهه‌ای از زمان، «هر کسی که زودتر بیاید، زودتر خدمتش می‌رسد» صادق است.

با این حال، جدا از این، اگر مرکز داده شما هنوز آماده نیست، یا اگر برخی از اجزای کلیدی آماده نیستند، و باعث می‌شوند که شما موقتاً قادر به استقرار سیستم نباشید، ممکن است اولویت ما خدمت‌رسانی به سایر مشتریان باشد. این فقط برای به حداکثر رساندن راندمان کلی تولید کارخانه‌های ماست.

علاوه بر این سناریو، قانون اولویت «هر چه زودتر اقدام شود» است. باید سفارش ثبت کنید. اگر سفارش ندهید، هیچ راهی وجود ندارد.

البته داستان‌های زیادی در این مورد وجود دارد. برای مثال، برخی می‌گویند که در طول یک شام با لری، ایلان و من، آنها درخواست یک پردازنده گرافیکی (GPU) کردند - ما واقعاً با هم شام خوردیم که یک شب بسیار لذت‌بخش بود، اما آنها هرگز "درخواست" یک پردازنده گرافیکی نکردند. آنها فقط نیاز به ثبت سفارش داشتند. به محض ثبت سفارش، تمام تلاش خود را برای ارائه ظرفیت لازم خواهیم کرد. آنقدرها هم که بعضی‌ها پیچیده جلوه می‌دهند، پیچیده نیست.

دوارکش پاتل:
بنابراین به نظر می‌رسد که این یک مکانیسم صف‌بندی است، بسته به اینکه چه زمانی سفارش را ثبت می‌کنید و آیا مرکز داده آماده است یا خیر. اما این هنوز به سادگی «برنده شدن توسط بالاترین پیشنهاد دهنده» نیست، درست است؟

جنسن هوانگ:
ما هرگز چنین کاری نمی‌کنیم.

دوارکش پاتل:
هرگز بر اساس بالاترین پیشنهاد تخصیص ندهید؟

جنسن هوانگ:
هرگز. چون این یک رویه تجاری وحشتناک است.

شما قیمت را تعیین می‌کنید و مشتری تصمیم می‌گیرد که آیا خرید کند یا خیر. می‌دانم که بعضی از شرکت‌های این صنعت وقتی تقاضا بالا می‌رود، قیمت‌ها را بالا می‌برند، اما ما این کار را نمی‌کنیم. این هرگز رسم ما نبوده است. مشتریان می‌توانند به ما اعتماد کنند. من ترجیح می‌دهم حضوری قابل اعتماد و سنگ بنای صنعت باشم. لازم نیست نگران تغییر قیمت‌ها باشید.

اگر من به شما یک قیمت بدهم، این قیمت نهایی است. حتی اگر تقاضا به شدت افزایش یابد، اوضاع تغییر نخواهد کرد.

دوارکش پاتل:
بنابراین، آیا این هم یکی از دلایل رابطه پایدار شما با TSMC است، درست است؟

جنسن هوانگ:
انویدیا و TSMC نزدیک به 30 سال است که با هم همکاری می‌کنند. حتی یک قرارداد قانونی رسمی بین انویدیا و TSMC وجود ندارد؛ این بیشتر یک تفاهم‌نامه‌ی تقریبی است. گاهی حق با من است، گاهی اشتباه می‌کنم؛ گاهی شرایط بهتری پیدا می‌کنم، گاهی شرایط نه چندان خوبی. اما در مجموع، این رابطه قابل توجه است. من کاملاً می‌توانم به آنها اعتماد کنم و به آنها تکیه کنم.

علاوه بر این، برای انویدیا، یک چیز وجود دارد که می‌توانید روی آن حساب کنید: امسال، روبین فوق‌العاده خواهد بود، سال آینده، ورا روبین اولترا عرضه خواهد شد، سال بعد فاینمن عرضه می‌شود، و سال بعد از آن - که هنوز نام آن را فاش نکرده‌ام. به عبارت دیگر، هر سال، می‌توانید به ما اعتماد کنید. شما باید یک تیم ASIC دیگر در سراسر جهان پیدا کنید و ببینید آیا هیچ‌کدام می‌توانند شما را وادار کنند که بگویید: «من می‌توانم کل شرکت را روی شما شرط ببندم، به شما اعتماد دارم که هر سال از من حمایت خواهید کرد.»

هزینه توکن من هر سال به میزان قابل توجهی کاهش می‌یابد و من می‌توانم به این موضوع مانند اعتماد به یک ساعت اعتماد کنم. من همین الان چیزی شبیه به این در مورد TSMC گفتم. هیچ ویفری در طول تاریخ به شما اجازه نداده که این را بگویید.

اما امروز، می‌توانید این را در مورد انویدیا بگویید. شما می‌توانید سال به سال به ما اعتماد کنید.

اگر می‌خواهید یک میلیارد دلار محاسبات کارخانه‌ای هوش مصنوعی بخرید، مشکلی نیست؛ اگر می‌خواهید ۱۰۰ میلیون دلار بخرید، باز هم مشکلی نیست؛ اگر می‌خواهید ۱۰ میلیون دلار یا حتی فقط یک رک بخرید، مشکلی نیست؛ حتی اگر فقط بخواهید یک پردازنده گرافیکی بخرید، مشکلی نیست. اگر می‌خواهید در مرحله‌ی بعد یک سفارش ۱ تریلیون دلاری برای یک کارخانه‌ی هوش مصنوعی ثبت کنید، باز هم مشکلی نیست.

امروز، ما تنها شرکتی در جهان هستیم که می‌توانیم این را بگوییم. و همچنین می‌توانم این را به TSMC بگویم: من می‌خواهم یک میلیارد دلار بخرم، مشکلی نیست. ما فقط باید با هم برنامه‌ریزی کنیم، فرآیند را طی کنیم و کارهایی را انجام دهیم که یک شرکت بالغ انجام می‌دهد.

بنابراین، من معتقدم که انویدیا می‌تواند به پایه و اساس صنعت جهانی هوش مصنوعی تبدیل شود، جایگاهی که ما دهه‌ها برای رسیدن به آن تلاش کرده‌ایم. سرمایه‌گذاری و تمرکز زیادی روی این موضوع وجود دارد و ثبات و پایداری شرکت بسیار مهم است.

چرا انویدیا «شرط‌بندی چند نقشه راه» را رد می‌کند؟

دوارکش پاتل:
این در واقع به یک سوال بسیار جالب منجر می‌شود. ما قبلاً در مورد TSMC، گلوگاه‌های حافظه و غیره صحبت کردیم. حال، اگر وارد دنیایی مانند این شویم: شما بیشتر ظرفیت N3 را اشغال کرده‌اید و در آینده، ممکن است بیشتر ظرفیت N2 را نیز اشغال کنید. آیا به استفاده از ظرفیت بلااستفاده‌ی گره‌های پردازشی قدیمی‌تر مانند ۷ نانومتر فکر می‌کنید؟

برای مثال، اگر تقاضا برای هوش مصنوعی خیلی زیاد باشد و افزایش سرعت پیشرفته‌ترین گره پردازشی نتواند با این تقاضا همگام شود، می‌توانید از تمام تجربیات امروزی در مورد بهینه‌سازی عددی و طراحی سیستم برای ایجاد نسخه جدیدی از هاپر یا آمپر استفاده کنید. فکر می‌کنید این وضعیت قبل از سال ۲۰۳۰ پیش خواهد آمد؟

جنسن هوانگ:
نیازی به این کار نیست. دلیل این امر این است که پیشرفت هر نسل معماری فقط تغییر در اندازه ترانزیستور نیست. شما همچنین کارهای مهندسی زیادی در زمینه بسته‌بندی، انباشتگی، سیستم‌های عددی و معماری سیستم انجام داده‌اید. زمانی که به این مرحله برسید، بازگشت به ساخت یک نسخه قدیمی از نود، نیازمند سرمایه‌گذاری در بخش تحقیق و توسعه خواهد بود که هیچ‌کس نمی‌تواند از عهده آن برآید. ما می‌توانیم به پیشرفت ادامه دهیم، اما فکر نمی‌کنم بتوانیم به عقب برگردیم.

البته، اگر یک آزمایش فکری انجام دهیم: فرض کنید روزی همه بگویند که ظرفیت پیشرفته دیگر هرگز نمی‌تواند افزایش یابد. آیا فوراً به استفاده از فناوری ۷ نانومتری برمی‌گردم؟ البته، بدون شک.

دوارکش پاتل:
من قبلاً با کسی در مورد یک سوال بحث داشتم: چرا انویدیا همزمان چندین پروژه تراشه کاملاً متفاوت را هدایت نمی‌کند؟ برای مثال، می‌توانید یکی مانند معماری ویفر-مقیاس Cerebras، یکی مانند بسته‌بندی بزرگ Dojo و یکی که به CUDA متکی نیست را انجام دهید.

شما منابع و استعداد مهندسی لازم برای انجام موازی این کارها را دارید. از آنجایی که هیچ‌کس با اطمینان نمی‌داند هوش مصنوعی یا معماری در آینده به کجا می‌رود، چرا همه تخم‌مرغ‌هایتان را در یک سبد بگذارید؟

جنسن هوانگ:
ما قطعاً می‌توانستیم این کار را انجام دهیم. فقط اینکه ما راه حل بهتری ندیده‌ایم. ما همه این موارد را شبیه‌سازی کرده‌ایم و احتمالاً در شبیه‌ساز ما کیفیت پایین‌تری دارند. پس انجامش نمیدیم. کاری که الان داریم انجام می‌دهیم، کاری است که واقعاً می‌خواهیم انجام دهیم و معتقدیم درست‌ترین کار است.

البته، اگر خودِ حجم کار آینده دستخوش تغییر اساسی شود - من در مورد تغییرات الگوریتم صحبت نمی‌کنم، اما اگر حجم کار واقعاً تغییر کند - ممکن است انواع دیگری از شتاب‌دهنده‌ها را اضافه کنیم.

برای مثال، اخیراً Grok را اضافه کردیم و Grok را در اکوسیستم CUDA ادغام خواهیم کرد. الان داریم این کار را انجام می‌دهیم. دلیل این امر این است که ارزش توکن‌ها بسیار بالا رفته است، بنابراین یک مدل مشابه، بر اساس سرعت‌های پاسخگویی متفاوت، ممکن است با سطوح قیمتی متفاوتی مطابقت داشته باشد.

چند سال پیش، توکن‌ها تقریباً رایگان بودند، یا آنقدر ارزان بودند که تقریباً رایگان بودند. اما اکنون، مشتریان مختلف، الزامات متفاوتی برای توکن‌ها دارند. و خود این مشتریان می‌توانند از این طریق پول زیادی به دست آورند. برای مثال، برای مهندسان نرم‌افزار، اگر بتوانم به آنها یک توکن پاسخ سریع‌تر بدهم تا کارآمدتر از امروز باشند، حاضرم هزینه آن را بپردازم.

اما این نوع بازار اخیراً پدیدار شده است. بنابراین من معتقدم که اکنون، برای اولین بار، ما واقعاً این توانایی را داریم که بر اساس زمان پاسخگویی، مدل یکسانی را از سطوح مختلف بازار داشته باشیم.

به همین دلیل است که ما تصمیم گرفتیم این مرز پارتو را گسترش دهیم تا یک شاخه استنتاج «پاسخ سریع‌تر، اما توان عملیاتی پایین‌تر» ایجاد کنیم. زیرا در گذشته، توان عملیاتی بالا همیشه مهمترین چیز بود. اما اکنون معتقدیم که در آینده، ممکن است نوعی توکن با ASP (قیمت واحد بالا) بالا وجود داشته باشد. حتی اگر میزان تولید در کارخانه کمتر باشد، قیمت واحد برای جبران آن کافی است.

این دلیلی است که ما این کار را انجام می‌دهیم. اما اگر فقط در مورد خود معماری صحبت کنیم، باید بگویم که اگر پول بیشتری داشتم، پول بیشتری روی معماری موجود سرمایه‌گذاری می‌کردم.

دوارکش پاتل:
من ایده این «توکن فوق ممتاز» و طبقه‌بندی بازار استنتاج را بسیار جالب می‌دانم.

یک سوال آخر. با فرض اینکه انقلاب یادگیری عمیق هرگز اتفاق نیفتاده باشد، انویدیا امروز چه می‌کرد؟

جنسن هوانگ:
خب، البته، بازی همچنان مورد توجه خواهد بود، اما علاوه بر این، ما به محاسبات شتاب‌یافته ادامه خواهیم داد. این مسیر همیشگی ما بوده است.

فرضیه اساسی شرکت ما این است که قانون مور کند خواهد شد. محاسبات همه منظوره برای بسیاری از چیزها عالی است، اما برای بسیاری از وظایف محاسباتی ایده‌آل نیست. بنابراین ما معماری GPU را با CPU ترکیب می‌کنیم تا بار کاری CPU را تسریع کنیم. هسته‌های کد مختلف، الگوریتم‌های مختلف می‌توانند برای اجرا روی GPU تخلیه شوند. به این ترتیب، یک برنامه می‌تواند ۱۰۰ یا ۲۰۰ برابر سریع‌تر اجرا شود.

این کجا استفاده خواهد شد؟ خب، در مهندسی، علوم، فیزیک، پردازش داده، گرافیک کامپیوتری، تولید تصویر و حوزه‌های مختلف دیگر.

بنابراین حتی اگر هوش مصنوعی امروز وجود نداشت، انویدیا همچنان یک شرکت بسیار بزرگ بود. دلیل آن کاملاً اساسی است: توانایی ادامه گسترش محاسبات عمومی اساساً به محدودیت‌های خود رسیده است. و یک راه برای بهبود عملکرد - یک راه حیاتی، نه تنها راه - انجام شتاب‌دهی مختص دامنه است.

ما در ابتدا وارد گرافیک کامپیوتری شدیم، اما حوزه‌های بسیار دیگری هم وجود دارد. مانند محاسبات علمی مختلف، فیزیک ذرات، شبیه‌سازی سیالات، پردازش داده‌های ساختاریافته و غیره - انواع مختلفی از الگوریتم‌ها که می‌توانند از CUDA بهره‌مند شوند.

بنابراین ماموریت ما همواره این بوده است که محاسبات شتاب‌یافته را به جهان ارائه دهیم، برنامه‌هایی را که محاسبات همه‌منظوره نمی‌توانند به آنها دست یابند یا نمی‌توانند به سطح عملکرد لازم برسند، به پیش ببریم تا به پیشرفت‌های علمی کمک کنیم. برخی از اولین کاربردهای ما در دینامیک مولکولی، پردازش لرزه‌ای برای اکتشاف انرژی و البته پردازش تصویر بود.

در تمام این زمینه‌ها، محاسبات همه منظوره به خودی خود بسیار ناکارآمد بود. بنابراین بله، اگر هوش مصنوعی وجود نداشت، من ناراحت می‌شدم. اما دقیقاً به دلیل پیشرفت ما در محاسبات، ما یادگیری عمیق را دموکراتیزه کردیم. ما به هر محقق، هر دانشمند، هر دانشجویی، در هر مکانی این امکان را دادیم که از یک رایانه شخصی یا یک پردازنده گرافیکی GeForce استفاده کند و اکتشافات علمی قابل توجهی انجام دهد. و این تعهد اساسی هرگز، حتی یک ذره، متزلزل نشده است.

بنابراین اگر به GTC نگاه کنید، متوجه خواهید شد که بخش قابل توجهی از محتوا در واقع به هیچ وجه به هوش مصنوعی مربوط نمی‌شود. چه لیتوگرافی محاسباتی باشد، چه شیمی کوانتومی یا پردازش داده، همه اینها مهم هستند اما به هوش مصنوعی ربطی ندارند. می‌دانم که هوش مصنوعی جذاب و بسیار هیجان‌انگیز است.

با این حال، هنوز افراد زیادی هستند که کارهای بسیار مهمی انجام می‌دهند که ربطی به هوش مصنوعی ندارد. تنسور تنها روش محاسبه آنها نیست. و ما می‌خواهیم به همه این افراد کمک کنیم.

دوارکش پاتل:
جنسن، خیلی ممنونم.

جنسن هوانگ:
خواهش می‌کنم، از این گفتگو واقعاً لذت بردم.

[ لینک مقاله اصلی ]