„ByteDance“ tyliai pradėjo mokyti tikrą milžiną: dirbtinio intelekto modelį, turintį maždaug 10 trilijonų parametrų. Tai drąsus žingsnis, įtraukiantis bendrovę į pasaulinių varžybų dėl DI modelių masto ir pajėgumų centrą.

Pasak su šiuo klausimu susipažinusių šaltinių, išankstinis modelio mokymas jau vyksta. Šis etapas, kai modelis apdoroja milžiniškus neapdorotų duomenų kiekius ir mokosi atpažinti dėsningumus, paprastai trunka nuo trijų iki šešių mėnesių, o tik po to atliekamas tikslinamasis mokymas ir rengiamasi viešam pristatymui. Parametrai yra vidiniai modelio nustatymai, kuriais užkoduojamos žinios. Jie neatskleidžia viso vaizdo, tačiau plačiai naudojami kaip trumpas būdas įvertinti DI modelio dydį ir potencialą.

Kodėl mastas toks svarbus? Didesni modeliai gali užfiksuoti daugiau niuansų ir geriau prisitaikyti prie įvairių užduočių, nors grąža nėra tiesinė, o efektyvumas išlieka labai svarbus. Pranešama, kad „ByteDance“ siekiamas 10 trilijonų parametrų tikslas šį modelį padarytų daugiau nei tris kartus didesnį už „Kimi K3“, 2,8 trilijono parametrų sistemą iš Kinijos startuolio, ir gerokai didesnį už ankstesnius vietinius sprendimus, tokius kaip „LongCat-2.0“ ir „V4-Pro“, kurių kiekvienas siekia apie 1,6 trilijono parametrų.

Tiesiogiai lyginti su pirmaujančiomis JAV sukurtomis sistemomis vis dar sudėtinga. Tokios bendrovės kaip „Anthropic“ ir „OpenAI“ retai skelbia tikslius savo pažangiausių modelių parametrų skaičius. Nepriklausomi vertinimai rodo, kad pažangus „Anthropic“ modelis „Mithos 5“ gali turėti apie aštuonis trilijonus parametrų, o „Fable 5“ - beveik penkis trilijonus. Jei šie skaičiavimai pasitvirtins, naujasis „ByteDance“ projektas pateks į tą pačią kategoriją kaip ir sudėtingiausios „Anthropic“ dirbtinio intelekto sistemos.

Šioje istorijoje yra ir dar vienas sluoksnis: logistika bei kaina. Tokio masto mokymas yra brangus ir reikalauja daug energijos. Kinijos technologijų bendrovės skuba trumpinti kūrimo ciklus ir iš savo technologinių infrastruktūrų išspausti daugiau efektyvumo, siekdamos pasiūlyti galingas sistemas be nevaldomai augančių veiklos sąnaudų. Tai pragmatiškas atsakas į negailestingą rinką.

Ar vien parametrų skaičius nulems nugalėtojus, kol kas lieka atviras klausimas, tačiau „ByteDance“ žingsnis aiškiai parodo, kaip pasislinko konkurencijos riba: nuo išmanių mokslinių straipsnių prie pramoninio masto inžinerijos ir diegimo.

Tikėtina, kad sulauksime daugiau pranešimų ir laipsniškų patobulinimų, o ne vieno lemiamo proveržio. Tikroji kova vyks dėl to, kaip šios sistemos bus derinamos, plečiamos ir integruojamos į produktus, kuriais žmonės iš tiesų naudojasi.