xAI „Colossus“: 100 000 GPU klasteris per 19 dienų

Devyniolika dienų. Tiek, kaip pranešama, prireikė xAI, kad sumontuotų, sujungtų į tinklą maždaug 100 000 „Nvidia“ grafikos procesorių ir paleistų naują megaklasterį. Trumpas sakinys. Didelė reikšmė.

„Nvidia“ generalinis direktorius Jensenas Huangas nekalbėjo techninėmis schemomis. Jis pateikė vertinimą: tai, ką įgyvendino Elonas Muskas ir jo komanda, buvo išskirtina. Huangas šį pasiekimą pavadino beprecedenčiu, tokiu, kokio pramonė dar nebuvo mačiusi tokiu tempu ir tokiu mastu. Jis ypač pabrėžė „Colossus“, pagrindinės xAI sistemos, diegimo greitį ir koordinaciją, o patį paleidimą įvardijo kaip dėmesio vertą etapą.

Greitis kaip strateginis ginklas

„Colossus“ pradėjo veikti Memfyje 2024 m. ir greitai tapo viena didžiausių eksploatuojamų DI skaičiavimo platformų. xAI ją naudoja „Grok“ modelių šeimai mokyti ir viešai yra pranešusi apie planus aktyvių GPU skaičių padidinti iki kelių šimtų tūkstančių. Tokios infrastruktūros kūrimas paprastai trunka mėnesius ar net metus. Tad kodėl šis atvejis svarbus ne tik dėl įspūdingų skaičių antraštėse?

Nes šiuolaikiniams pamatiniams modeliams reikia milžiniško lygiagretaus skaičiavimo. Dabartinės pažangiausios architektūros dažnai remiasi klasteriais, sudarytais iš dešimčių tūkstančių spartintuvų, kad pasiektų konkurencingą mokymo trukmę. Gebėjimas greičiau nei konkurentams paruošti tokį neapdorotos skaičiavimo galios kiekį suteikia praktinį pranašumą: spartesnes iteracijas, greitesnius eksperimentus ir trumpesnį kelią iki realių produktų, galinčių aplenkti varžovus.

Už tokio greito diegimo slypi sudėtingi logistikos uždaviniai: tiekimo grandinės, energijos tiekimas ir aušinimas, programinės įrangos orkestravimas bei vietoje visą parą dirbančios komandos. xAI sėkmė rodo, kad šias problemas pavyko išspręsti neįprastai dideliu tempu. Nesvarbu, ar tai lėmė projektavimas, ar organizacinė kultūra, rezultatas buvo veikiantis superkompiuteris, galintis palaikyti didelio masto modelių mokymą per savaites, o ne mėnesius.

Huango pagyros atlieka dvi funkcijas. Jos pripažįsta techninę vertę iš lustų pramonės lyderio perspektyvos ir pabrėžia didėjančią skaičiavimo galios ginklavimosi varžybų įtampą. Technologijų bendrovės pažangą dabar vertina ne tik pagal modelių kokybę, bet ir pagal tai, kaip greitai gali išplėsti aparatinę įrangą, kuri leidžia tiems modeliams atsirasti. Greitis yra ir logistikos, ir strategijos dalis.

Stebėtojams šis epizodas primena: neapdorota skaičiavimo galia išlieka lemiamas dirbtinio intelekto išteklius. Inžinerinis užmojis ir operacinis meistriškumas gali virsti apčiuopiamu laiko pranašumu. O įmonėms siekiant vis didesnių klasterių, tikroji konkurencija gali būti ne vien dėl lustų, bet dėl to, kas greičiausiai sugebės sujungti mašinas, žmones ir programinę įrangą į veikiančią visumą.