El modelo Kimi K3 funciona en dispositivos con 8GB de RAM, desarrolladores lanzan un motor de inferencia ligero en C

Los desarrolladores han abierto el proyecto kimi-k3-in-c, con el objetivo de permitir que el modelo Kimi K3, que cuenta con 2.78 billones de parámetros, funcione en dispositivos con solo 8GB de RAM. El tamaño del proyecto es de 176KB y está escrito en C99 puro, sin depender de GPU, CUDA, PyTorch o BLAS, completando la inferencia del modelo únicamente a través de la CPU. Esta solución aprovecha las características de la arquitectura MoE (Expertos Mixtos) del Kimi K3; aunque el tamaño total de los parámetros del modelo alcanza los 2.78T, solo se activan 16 de los 896 expertos en cada capa, por lo que no se carga el peso completo del modelo de aproximadamente 1.56TB en la memoria, sino que la mayor parte del peso de los expertos se almacena en un disco NVMe y se lee en tiempo real según las necesidades de inferencia. Al mismo tiempo, algunas capas densas también utilizan un método de carga por capas. Con esta solución en modo de 8GB de RAM, el modelo genera un token en aproximadamente 32.7 segundos y requiere cerca de 1.7TB de espacio de almacenamiento de alta velocidad. Los desarrolladores indican que esta solución es actualmente más un experimento exploratorio sobre la optimización de la infraestructura de inferencia para grandes modelos, y no tiene un valor práctico para el uso en producción, pero ofrece una nueva idea para operar modelos a gran escala a bajo costo en el futuro.