اسپکترو کلود، کاهش هزینه توکن تا ۷۰٪ را ارائه می‌دهد

اسپکترو کلود از راه‌اندازی پلتفرم استنتاج اولویت محلی PaletteAI Inference Launchpad خبر داد و اعلام کرد که شرکت‌ها می‌توانند در صورت اجرای استنتاج مدل‌های زبان بزرگ (LLM) بر روی سخت‌افزار خود، هزینه توکن را تا ۷۰٪ کاهش دهند. این محصول شامل vLLM، کلاستر کوبرنتیس، احراز هویت، کنترل دسترسی مبتنی بر نقش (RBAC) و قابلیت‌های نظارت است و از GPUهای AMD و انویدیا پشتیبانی می‌کند. اسپکترو کلود پشتیبانی از GPUهای AMD و اپراتورهای GPU، زمان اجرای ROCm و پشته مرجع AI شرکتی AMD را گسترش داده است. همچنین قابلیت ادغام با ابزارهای کدنویسی AI فراهم شده و می‌توان آن را به OpenAI Codex CLI متصل کرد. دلیل بررسی استنتاج محلی توسط شرکت‌ها، مسائل هزینه و کنترل داده است، زیرا افزایش استفاده از خدمات AI ابری منجر به افزایش هزینه‌های توکن و احتمال انتقال اطلاعات حساس به خارج می‌شود. اسپکترو کلود توضیح داد که با استنتاج محلی می‌توان داده‌ها را در داخل نگه داشت و به هزینه‌های زیرساخت پیش‌بینی‌پذیر تبدیل کرد. AMD ارزیابی کرد که پشتیبانی زیرساخت اسپکترو کلود، توزیع خدمات شرکت‌ها را در محیط‌های AI باز تسریع خواهد کرد. این اعلامیه به ارزهای دیجیتال یا شبکه‌های بلاک‌چین مربوط نیست، اما می‌تواند از نظر هزینه و امنیت برای سازمان‌هایی که با کد و اطلاعات حساس سر و کار دارند، چالش‌های مهمی ایجاد کند.