Spectro Cloud presenta una reducción de costos de tokens de hasta el 70%

Spectro Cloud ha lanzado la plataforma de inferencia PaletteAI Inference Launchpad, priorizando la inferencia local, y ha declarado que las empresas pueden reducir los costos de tokens en hasta un 70% al operar inferencias de modelos de lenguaje de gran tamaño (LLM) en su propio hardware. Este producto ofrece vLLM, Kubernetes, autenticación, control de acceso basado en roles (RBAC) y funciones de monitoreo, y es compatible con GPUs de AMD y NVIDIA. Spectro Cloud ha ampliado el soporte para GPUs de AMD, operadores de GPU, el entorno de ejecución ROCm y el stack de referencia de IA empresarial de AMD. También se ha habilitado la integración con herramientas de codificación de IA, permitiendo la conexión con OpenAI Codex CLI. Las empresas están considerando la inferencia local debido a problemas de costos y control de datos, ya que el aumento en el uso de servicios de IA en la nube puede resultar en mayores cargos por tokens y la posibilidad de que información sensible sea enviada externamente. Spectro Cloud explicó que la inferencia local permite mantener los datos internamente y convertir los costos de infraestructura en algo predecible. AMD ha evaluado que el soporte de infraestructura de Spectro Cloud acelerará el despliegue de servicios empresariales en un entorno de IA abierto. Aunque este anuncio no está relacionado con criptomonedas o redes blockchain, puede representar un desafío importante en términos de costos y seguridad para organizaciones que manejan código e información sensible.