AMD Halo Station: stalinio dirbtinio intelekto proveržis

Įsivaizduokite, kad duomenų centro lygio dirbtinį intelektą valdote iš stalinio kompiuterio. Skamba kaip minties eksperimentas, kol IFA parodoje neprieinate prie AMD stendo ir nepamatote įrenginio, mėginančio tai paversti realybe.

AMD pristatė „Threadripper Halo Station“ – darbo stotį, kurioje sujungti aukščiausios klasės bendrovės PRO komponentai į tai, ką AMD vadina „Ultimate Personal AI Workstation“. Tikslas paprastas, tačiau ambicingas: didelių modelių mokymą, tikslinį derinimą ir išvadų generavimą sutalpinti į vieną stalinio kompiuterio korpusą, kad kūrėjai ir studijos būtų mažiau priklausomi nuo brangių debesijos skaičiavimo išteklių.

„Halo Station“ pagrindas – „Threadripper PRO 9995WX“, vienas sparčiausių AMD „Threadripper“ procesorių. Jis turi daug branduolių ir pasižymi aukštais taktiniais dažniais: lustas gali pasiekti iki 5,4 GHz, be to, yra optimizuotas dideliam našumui ir intensyviam daugiaprogramiam darbui. Tačiau vien procesoriaus galios čia nepakanka.

Dirbtinio intelekto užduotyse didžiausią darbo dalį atlieka grafikos procesoriai. AMD „Threadripper“ komplektuoja su darbo stotims skirtais „Instinct“ spartintuvais – MI350P kortelėmis su HBM3e atmintimi. Standartinėje konfigūracijoje tiekiamos dvi tokios kortelės, tačiau korpuse galima įdiegti iki keturių. Taip atminties talpą galima padidinti iki įspūdingų 576 GB HBM3e. Bendra GPU atminties sparta siekia kelis terabaitus per sekundę, o sistema palaiko iki 2 TB DDR5 RDIMM atminties, todėl abiejų atminties fondų bendra talpa siekia maždaug 2,6 TB.

• CPU: „Threadripper PRO 9995WX“ – iki 96 „Zen 5“ branduolių / 192 gijų, taktinis dažnis iki 5,4 GHz, apie 384 MB spartinančiosios atminties
• GPU: iki 4× AMD „Instinct MI350P“ spartintuvų, kiekvienas su 144 GB HBM3e atminties, iš viso iki 576 GB
• Sistemos atmintis: iki 2 TB DDR5 RDIMM, bendras sistemos atminties kiekis ≈ 2,6 TB
• Korpusas ir aušinimas: skysčiu aušinamas standartinis E-ATX „Halo“ stiliaus korpusas
• Numatomas prieinamumas: planuojama 2027 m.

Vis dėlto reikia įvertinti ir kompromisus. NVIDIA „DGX Station“ išlieka tiesioginiu konkurentu bei turi pranašumų tam tikrų architektūrų ir atnaujinimo galimybių srityse. NVIDIA palaiko AIC plėtros korteles ir kai kuriuose spartintuvuose siūlo didelės talpos vieno lusto HBM atmintį. AMD argumentas kitoks: sistemą plėsti keliomis „Instinct“ kortelėmis, pridėti milžinišką CPU gijų skaičių ir, keičiantis poreikiams, lanksčiai atnaujinti komponentus standartinėmis rinkoje prieinamomis dalimis.

Kodėl tai svarbu? Ne kiekviena komanda nori nuomotis skaičiavimo galią valandomis. Vietinis trilijonų parametrų modelių mokymas ar paleidimas gali gerokai sumažinti pasikartojančias išlaidas ir pašalinti su debesijos tiekėjais susijusius pralaidumo bei privatumo ribojimus. Paprastai tariant, sumokate vieną kartą, o naudojate daug kartų. AMD aiškiai pozicionuoja „Halo Station“ kaip sprendimą komandoms, kurioms reikia duomenų centro lygio našumo, tačiau ne duomenų centro užimamos erdvės.

IFA parodoje AMD neapsiribojo vienu įrenginiu. Bendrovė taip pat pristatė „Ryzen AI MAX 400“ seriją – nešiojamuosius ir mini kompiuterius, optimizuotus vietinėms dirbtinio intelekto užduotims. Šie įrenginiai skirti užtikrinti našų išvadų generavimą bei programų kūrimą pačiame įrenginyje, o partneriai, tarp jų HP, Lenovo, Acer ir kiti, jau pristatė kompiuterius, kurie bus tiekiami su šia platforma.

AMD aparatinę įrangą papildė programinės įrangos ir ekosistemos sprendimais. „Ryzen AI Halo“ sistemos bus tiekiamos parengtos naudoti su Microsoft „Project Zenith“, o tokie įrankiai kaip „Visual Studio Code“, WSL, „GitHub Copilot CLI“ ir „PowerShell“ turėtų palengvinti vietinių modelių kūrimą. AMD taip pat paskelbė apie bendradarbiavimą su SUSE, siekdama padėti komandoms programas, kurtas vietoje naudojant „Ryzen AI Halo“, perkelti į plečiamą, gamybai parengtą aplinką. Tai dar viena kliūtis, kurią įmonėms siekiama sumažinti.

Renginyje parodyti testų rezultatai patraukė dėmesį. Pranešama, kad „Ryzen AI MAX+“ prototipas su integruota atmintimi vietoje vykdė „GLM-5.3 Flash“ modelį, turintį apie 320 mlrd. parametrų, maždaug 58 žetonų per sekundę greičiu. Tai praktiškas našumas daugeliui realių naudojimo scenarijų ir, svarbiausia, svarus kainos argumentas: intensyvus naudojimasis talpinamais didžiaisiais kalbos modeliais gali greitai kainuoti šimtus eurų už kelių milijonų žetonų darbo krūvį. Vietinė aparatinė įranga šį skaičiavimą keičia.

AMD siekia pakeisti požiūrį į tai, kaip ir kur kuriamas dirbtinis intelektas: darbą iš nutolusių serverių spintų perkelti atgal ant darbo stalo, neaukojant našumo ar plėtros galimybių.

Tačiau dar ne viskas aišku. „Threadripper Halo Station“ kaina kol kas nepaskelbta. Istoriškai „DGX Station“ kainavo beveik šešiaženklę sumą, o pramonės stebėtojai tikisi, kad AMD „Halo Station“ šiame segmente kainodarą formuos konkurencingai – sieks prilygti NVIDIA arba, priklausomai nuo rinkos strategijos, pasiūlyti mažesnę kainą.

AMD komponentų strategija turi ir praktinį pranašumą: daugelis „Halo Station“ dalių yra iš įprastų serverių ir darbo stočių ekosistemų, todėl priežiūra bei būsimi atnaujinimai mažiau priklauso nuo vieno tiekėjo ir yra moduliškesni. Tai patrauklu laboratorijoms ir studijoms, kurios techninės įrangos planus rengia keleriems metams į priekį.

Trumpai tariant, AMD siūlo inžinerinį pragmatizmą, derinamą su ambicija: suteikti kūrėjams pažįstamus įrankius, leisti jiems vietoje vykdyti milžiniškus modelius ir pasiūlyti aparatinę įrangą, kurią galima prižiūrėti bei plėsti nepriklausant nuo konkretaus tiekėjo. Jei rinka į tai reaguos palankiai, 2027-ieji gali tapti metais, kai stalinis dirbtinis intelektas nustos būti nišinis ir taps racionaliu pasirinkimu rimtoms komandoms.