Qualcomm: 100 mlrd. parametrų DI telefonuose iki 2028 m.

„Qualcomm“ vadovas Cristiano Amonas teigė, kad kai kurios dirbtinio intelekto bendrovės kuria išmaniuosius telefonus, kurie iki 2028 m. galėtų nuolat vykdyti 100 mlrd. parametrų kalbos modelius.

Amonas tai pareiškė 2026 m. spalio 10 d. interviu „Fireside Alpha“, tačiau susijusių bendrovių neįvardijo.

100 mlrd. parametrų modelio veikimą telefone riboja dideli atminties poreikiai. 4 bitų kvantizuotam 100B modeliui reikėtų maždaug 50 GB RAM, o 2 bitų versijai vien modeliui vis tiek prireiktų apie 25 GB, neįskaitant operacinės sistemos, programėlių ir konteksto talpyklos.

„Qualcomm“ ir kitos bendrovės pagrindinėmis kliūtimis laiko DRAM pasiūlą ir kainą. Bendrovės teigimu, artimiausiu metu pramonė greičiausiai neperžengs įprastos 16 GB atminties ribos. Esant ribotai DRAM pasiūlai, gamintojai mažina didesnės RAM talpos versijų skaičių, nors maždaug prieš metus „Android“ telefonuose buvo siūloma iki 24 GB LPDDR5X atminties.

Nuolatinis didesnių modelių inferencijos vykdymas taip pat didina šilumos išsiskyrimą ir terminio dažnio ribojimo riziką. Net ir turint pakankamai RAM, tai išlieka praktiniu apribojimu.

Lustų paketavimo pokyčiai, įskaitant „Apple A20 Pro“ ir „Qualcomm Snapdragon 8 Elite Extreme Gen 6“, sprendžia dalį integracijos problemų, tačiau atminties trūkumo nepanaikina.

Vienas techninių sprendimų – agresyvus kvantizavimas, smarkiai sumažinantis atminties poreikį. 1 bito versijos gali tilpti į DRAM, tačiau, remiantis pramonės vertinimais, naudojant mažesnį nei 4 bitų kvantizavimą modelių kokybė, ypač loginio samprotavimo užduotyse, pastebimai prastėja.

Kitas būdas – ekspertų mišinio architektūra su ekspertų perkėlimu: kiekvienam tokenui RAM aktyvi tik dalis ekspertų, o likusieji laikomi sparčiojoje atmintyje. „Apple“ tyrinėjo modelių vykdymą iš įrenginyje esančios sparčiosios atminties, tačiau UFS ir NVMe saugyklos vis dar yra lėtesnės už DRAM ir gali sumažinti inferencijos spartą.

Šiuo metu rinkai tinkamesnis sprendimas yra modelių distiliavimas: distiliuoti 20B–30B modeliai įrenginyje gali priartėti prie kai kurių 100B modelių našumo, kartu išlaikydami valdomus atminties ir šilumos reikalavimus.

Amonas nepateikė techninio veiksmų plano ir neįvardijo partnerių. DRAM pasiūla, kaina ir šiluminiai apribojimai išlieka pagrindinėmis kliūtimis, siekiant iki 2028 m. išmaniuosiuose telefonuose vietiniu būdu vykdyti 100B modelius.