AMD prend en charge l'exécution locale du modèle Qwen 27B d'Alibaba

AMD a annoncé qu'il prendrait en charge l'exécution locale du modèle Qwen 27B d'Alibaba sur ses PC et stations de travail AI dès le jour de son lancement. Cette mesure vise à fournir un environnement permettant d'exécuter de grands modèles d'IA open source sans connexion au cloud. Le modèle Qwen 27B est un modèle dense avec 27 milliards de paramètres, optimisé pour la génération de code, les tâches pratiques, la recherche et les applications d'IA à long contexte. L'environnement d'exécution est basé sur le framework d'inférence open source llama.cpp et est pris en charge par des PC et stations de travail AI équipés de processeurs AMD, ainsi que par une seule carte graphique AMD de 32 Go. Les tests initiaux ont montré des performances d'inférence locale allant jusqu'à 24,5 tokens par seconde sur le processeur Ryzen AI Max Plus 395 et jusqu'à 51,8 tokens par seconde sur le GPU Radeon AI Pro R9700. Le support 'Day 0' signifie qu'un système de support est prêt à être exécuté immédiatement dans des environnements matériels et logiciels spécifiques au moment de la publication du modèle. Alibaba rend les modèles de la série Qwen disponibles en open source pour que les développeurs, les institutions de recherche et les entreprises puissent les utiliser. Ce soutien fait partie de la compétition dans le domaine des semi-conducteurs AI et des infrastructures AI locales, AMD élargissant son écosystème pour permettre une utilisation partagée entre les environnements cloud et locaux.