Xiaomi AI Cube: mažas kompiuteris dideliems DI modeliams

Įsivaizduokite delno dydžio stalinį kompiuterį, į kurį bandoma sutalpinti duomenų centrą. Xiaomi prototipas AI Cube primena būtent tokį eksperimentą – kompaktišką, precizišką ir be kompromisų ambicingą.

Maža dėžutė, didelės ambicijos

Šio mini kompiuterio pagrindą sudaro trys pačios Xiaomi sukurti lustai: XRING O3, XRING O100 ir XRING D100. O3 yra pagrindinis DI variklis: 10 branduolių CPU čia derinamas su 16 branduolių G2-Ultra NX GPU ir mažos galios NPU, kurio našumas siekia apie 200 TOPS. Jis skirtas trumpiems didžiulės skaičiavimo galios pliūpsniams ir ilgesniam efektyviam inferavimui.

O100 veikia kaip didelio pralaidumo akceleratorius. Pagamintas naudojant 6 nm technologinį procesą, jis turi 28 672 efektyvias duomenų linijas ir beveik 1,22 TB per sekundę pralaidumą skaičiavimams prie atminties. Toks vietinis pralaidumas svarbus norint paleisti didesnius kalbos modelius ir nuolat nesikliauti debesijos paslaugomis.

Trečiasis lustas – D100, 3 nm architektūros sprendimas, skirtas vairavimo ir aplinkos suvokimo užduotims. Jis turi 20 galingų skaičiavimo branduolių, 16 branduolių NPU ir palaiko iki 160 GB atminties. Ši trijulė sukurta darbui pasidalyti: bendrai orkestracijai, sudėtingiausiems skaičiavimams bei įvesties ir išvesties operacijoms jautriam spartinimui.

AI Cube korpusas pagamintas iš aviacijos ir kosmoso pramonės klasės aliuminio bei apdirbtas 33 874 CNC pjūviais. Xiaomi teigia, kad jis gali saugiai atlaikyti ilgalaikį iki 150 W galios tiekimą. Tai leidžia suprasti, kad tai nėra pasyvus demonstracinis įrenginys – jis skirtas ilgą laiką vykdyti reiklius DI modelius.

Kokia jo paskirtis? Vietinis inferavimas. Xiaomi pristato Cube kaip įrenginį, galintį organizacijos viduje ir be interneto ryšio lokaliai talpinti LLM modelius nuo maždaug 3 mlrd. iki 120 mlrd. parametrų. Tai galėtų būti privatumo principais grįsti asistentai, įrenginyje veikiantys programavimo pagalbininkai ar kraštinio DI įrankiai, negalintys toleruoti delsos arba priklausomybės nuo debesijos. Fiziniu jungikliu naudotojai gali pagal užduotį perjungti didelio našumo ir mažos galios režimus.

Verta prisiminti ir platesnį kontekstą. Kiti nišiniai produktai, pavyzdžiui, Tiiny AI Pocket Lab, jau parodė, kad 120B modelius galima paleisti kompaktiškame įrenginyje. Xiaomi išsiskiria tuo, kad naudoja nuosavą lustų architektūrą ir silicio sprendimus, o ne tiesiog perpakuoja trečiųjų šalių akceleratorius.

Kol kas AI Cube tėra prototipas. Xiaomi nepaskelbė nei kainos, nei išleidimo termino, todėl neaišku, ar tai taps komerciniu produktu, ar liks technologijų demonstracija. Įdomi detalė: ankstyvuose mašininiuose reklaminės medžiagos vertimuose XRING pavadinimai esą buvo pakeisti kitu žymėjimu, todėl apžvalgose trumpam kilo painiava. Vis dėlto pati aparatinė įranga, regis, sąmoningai kuriama kaip Xiaomi ekosistemos dalis.

Esmė paprasta: AI Cube atskleidžia Xiaomi ambiciją kontroliuoti didesnę visos technologinės grandinės dalį – nuo silicio iki paslaugų – ir priartinti didelio našumo dirbtinį intelektą prie naudotojo. Ar rinkai reikia dar vieno kraštinio DI įrenginio, parodys laikas. Tačiau kaip technologinis pareiškimas jis sunkiai ignoruojamas.