Microsoft Mu
A Microsoft bemutatta a Mu nevű kis nyelvi modellt, amelyet kifejezetten arra terveztek, hogy lokálisan, Windows rendszeren, hardveres gyorsítással (NPU) fusson. A modell fő alkalmazása a Windows Beállítások menüben működő új AI-ügynök, amely képes természetes nyelvű utasítások alapján rendszerbeállításokat módosítani – például ha a felhasználó azt mondja, hogy kapcsold ki a Bluetooth-t vagy növeld a fényerőt.
A Mu modell mérete 330 millió paraméter, architektúrája encoder–decoder típusú, amely gyorsabb válaszidőt és hatékonyabb működést biztosít, mint a tipikus dekóder-only modellek. A modell kifejezetten NPU-n történő futtatásra lett optimalizálva: 8 és 16 bites quantizálással, súlymegosztással és rétegoptimalizációval (például RoPE pozíciókódolással és csoportosított figyelemmel). Ezek révén a modell képes akár 100–200 token/másodperces válaszadásra, a legújabb Copilot+ PC-kon már 500 milliszekundumon belül választ ad a felhasználónak.
A modell tanítása során több mint 3,6 millió példát használtak fel, melyek Windows-specifikus parancsokat és kérdéseket tartalmaztak. A rendszer akkor is releváns válaszokat ad, ha a felhasználó nem pontos parancsot mond – ilyenkor keresési javaslatokat is megjelenít. A Microsoft ezt a megközelítést a „felelősen beépített helyi AI” példájának tartja: a modell teljesen offline működik, nem küld adatokat felhőbe, mégis gyors, privát és pontos.
A Mu modell jelenleg a Windows Insider Dev csatornában érhető el tesztelésre, kizárólag olyan eszközökön, amelyek rendelkeznek támogatott NPU-val (például újabb Qualcomm, AMD vagy Intel chipekkel felszerelt gépek).
