Pokee مدل 10 میلیون توکن را منتشر کرد، نزدیک به 10 برابر مدل‌های اصلی

شرکت استارتاپی AI Agent، Pokee AI، مدل Pokee-Isaac 28B را منتشر کرد که مجموع پارامترهای مدل به 280 میلیارد می‌رسد و پنجره متنی آن به 10 میلیون توکن می‌رسد که نزدیک به حداکثر مدل‌های اصلی است. در آزمایش‌های خود، ایزاک در آزمون متون طولانی RULER، از 256000 تا 4000000 توکن به طور مداوم نمره‌ای حدود 95 را حفظ کرد و پس از رسیدن به 10 میلیون توکن، نمره‌اش به 93.3 رسید، در حالی که پنج مدل مقایسه‌ای دیگر از 2 میلیون توکن به بعد هیچ نتیجه قابل استفاده‌ای ارائه ندادند. Pokee طول متن‌های بسیار بلند را به معماری «غیر خالص Decoder-only» خود نسبت می‌دهد، اما گزارش فنی جزئیات خاصی از معماری و مکانیزم را منتشر نکرده است و بنابراین، خارج از آن نمی‌توان به روش پیاده‌سازی آن پی برد. Pokee AI در سال 2024 تأسیس شد و توسط ژو ژه‌چینگ، رئیس سابق تقویت یادگیری Meta، تأسیس گردید و 12 میلیون دلار در دور سرمایه‌گذاری اولیه به رهبری Point72 Ventures جذب کرده است، همچنین Qualcomm Ventures و Samsung NEXT نیز در این سرمایه‌گذاری مشارکت داشته‌اند.