„Microsoft“ tyrėjai sukūrė naują dirbtinio intelekto modelį, pavadintą BitNet b1.58 2B4T, kuris gali veikti be grafikos procesoriaus (GPU) – tik naudojant centrinį procesorių (CPU). Šis modelis yra laisvai prieinamas pagal MIT licenciją ir gali būti vykdomas net „Apple M2“ procesoriuose.
BitNet modeliai yra suspausti ir optimizuoti, kad efektyviai veiktų lengvesnėje aparatinėje įrangoje. Skirtingai nuo standartinių modelių, kuriuose svoriai kvantizuojami siekiant geresnio veikimo įvairiose sistemose, BitNet naudoja trijų reikšmių kvantizaciją: -1, 0 ir 1. Tai leidžia pasiekti didesnį efektyvumą lyginant su esamais dirbtinio intelekto modeliais.
Pasak „Microsoft“ tyrėjų, BitNet b1.58 2B4T yra pirmasis BitNet modelis su 2 milijardais parametrų. Jis buvo apmokytas naudojant 4 trilijonus žodžių, kas prilygsta maždaug 33 milijonams knygų.
Nors BitNet b1.58 2B4T neperspjauna visų konkurentų su 2 milijardais parametrų, jis konkuruoja su jais gana efektyviai. Remiantis atliktais bandymais, šis modelis geriau pasirodė nei Llama 3.2 1B, Gemma 31B ir Qwen 2.5 1.5B modeliai tokiose užduotyse kaip GSM8K (matematinės užduotys mokyklos lygiu) ir PIQA (fizinio ir bendrojo mąstymo testai).
BitNet b1.58 2B4T veikia iki dviejų kartų greičiau nei kiti panašaus dydžio modeliai, tačiau tam reikalingas „Microsoft“ sukurtas bitnet.cpp pagrindas, kuris veikia tik su tam tikra aparatine įranga. GPU (grafikos procesoriai) šiuo metu nėra palaikomi.
Komentarai
Palikite komentarą