Kog, capaz de procesar 3000 tokens por segundo con GPU estándar

La startup francesa Kog ha anunciado una estrategia para aumentar la velocidad de inferencia de IA en GPUs de centros de datos estándar. Kog ha adoptado un enfoque que combina el diseño de software y la estructura del modelo para maximizar la utilidad de las GPUs de NVIDIA y AMD. La empresa ha declarado que ha integrado el tiempo de ejecución, el núcleo de la GPU y la arquitectura del modelo en una tubería optimizada para mejorar la velocidad de respuesta a las solicitudes de los agentes de IA. Según la vista previa de la tecnología del motor de inferencia de Kog, publicada el 28 de mayo, se pueden procesar 3000 tokens de salida por segundo en 8 GPUs AMD MI300X, mientras que 8 GPUs NVIDIA H200 bajo las mismas condiciones registraron 2100 tokens de salida por segundo. Kog se centra principalmente en agentes de codificación de IA y flujos de trabajo basados en agentes. El modelo Laneformer 2B, publicado en Hugging Face el 24 de junio, cuenta con 2.3 mil millones de parámetros y ha mostrado un rendimiento del 45.1% en HumanEval+ y del 51.6% en MBPP+. Kog también informó en una publicación de LinkedIn en agosto que registró 2857 tokens por segundo en una demostración en vivo. Sin embargo, hay controversias sobre la interpretación de las cifras de velocidad, y se señala que es difícil hacer comparaciones debido al tamaño del modelo y el hardware. El objetivo de Kog es lograr una baja latencia en la infraestructura de GPU existente.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.