Lietuviškas DI proveržis: nauji modeliai Lietuvos rinkai

Lietuvos technologijų ekosistema sulaukė reikšmingo postūmio: Vytauto Didžiojo universiteto vadovaujamas keturių partnerių konsorciumas sukūrė Bendrąjį lietuvių kalbos tekstyną ir du atvirojo kodo dirbtinio intelekto modelius, pritaikytus darbui su lietuvių kalba. Šis projektas svarbus ne tik akademinei bendruomenei, bet ir Lietuvos rinkai – nuo startuolių Vilniuje iki skaitmenines paslaugas kuriančių įmonių Kaune, Klaipėdoje ar kituose šalies miestuose.

Projektą įgyvendino Valstybės skaitmeninių sprendimų agentūra, o praktinius darbus atliko Vytauto Didžiojo universitetas, UAB „Neurotechnology“, UAB „Tilde IT“ ir MB „Krilas“. Darbai vyko nuo 2024 m. gruodžio iki 2026 m. balandžio. Galutinis rezultatas – Bendrasis lietuvių kalbos tekstynas, arba BLKT, ir du lietuvių kalbai pritaikyti DI modeliai, kurie laisvai pasiekiami „Hugging Face“ platformoje. Pats tekstynas taip pat prieinamas CLARIN-LT infrastruktūroje.

Lietuviams tai reiškia daugiau galimybių kurti vietinius DI sprendimus, kurie geriau supranta linksnius, žodžių darybą, sakinių struktūrą ir kultūrinį kontekstą. Iki šiol dauguma pasaulinių kalbos modelių lietuvių kalbą palaikė tik iš dalies, todėl atsakymai dažnai būdavo netikslūs, stilistiškai nenatūralūs arba paremti angliškos kalbos logika.

Kas sukurta: tekstynas ir du skirtingi DI modeliai

Projekto pagrindas – didelės apimties Bendrasis lietuvių kalbos tekstynas. Jame sukaupti įvairių žanrų ir stilių tekstai: grožinė bei negrožinė literatūra, žiniasklaidos turinys, dokumentai, sakytinės kalbos pavyzdžiai ir kiti šaltiniai. Tokia duomenų įvairovė yra būtina norint, kad dirbtinis intelektas suprastų ne tik taisyklingą bendrinę kalbą, bet ir realiai vartojamą lietuvišką tekstą.

MLM modelis semantinei paieškai ir teksto analizei

Pirmasis sukurtas modelis yra maskuotosios kalbos modelis, dar vadinamas MLM. Jis buvo apmokytas naudojant 1,87 mlrd. žodžių tekstyno dalį ir turi apie 200 mln. parametrų. Šio tipo modeliai ypač tinkami semantinei paieškai, teksto klasifikavimui, žodžių reikšmių atpažinimui, informacijos ištraukimui ir kitoms natūralios kalbos apdorojimo užduotims.

Lietuvos verslui tai gali būti naudinga kuriant išmanesnes dokumentų paieškos sistemas, klientų užklausų analizės įrankius, viešojo sektoriaus archyvų paiešką ar e. prekybos turinio filtravimą. Pavyzdžiui, lietuviška semantinė paieška galėtų padėti vartotojui rasti informaciją net tada, kai jis neįveda tikslaus raktažodžio, bet aprašo poreikį natūralia kalba.

LLM modelis lietuviško turinio generavimui

Antrasis modelis – didysis lietuvių kalbos vektorizuotas modelis, arba LLM. Jis sukurtas remiantis „Llama 3“ architektūros principais, tačiau nuo nulio apmokytas su visu BLKT tekstynu, kurio apimtis siekia 3,9 mlrd. žodžių. Modelis turi apie 1,04 mlrd. parametrų ir yra skirtas kalbinio turinio kūrimui, santraukų rengimui, automatiniam atsakymų generavimui, tyrimams ir kitoms pažangesnėms DI funkcijoms.

Nors pasaulyje jau veikia itin galingi modeliai, tokie kaip GPT, Claude ar Gemini, lietuvių kalbai specialiai apmokytas modelis turi aiškų pranašumą vietiniame kontekste. Jis mokytas iš lietuviškų duomenų, todėl geriau atpažįsta šalies žiniasklaidos stilių, viešojo administravimo terminiją, akademinę kalbą ir kasdienius lietuvių vartotojų formuluočių ypatumus.

Kodėl lietuvių kalba DI sistemoms yra sudėtinga

Lietuvių kalba pasižymi sudėtinga gramatika, gausia linksnių sistema, laisvesne žodžių tvarka ir turtinga morfologija. Tai reiškia, kad metodai, kurie gerai veikia anglų kalbai, nebūtinai duoda kokybiškus rezultatus lietuviškai. Dėl šios priežasties projekto komanda neapsiribojo paprastu esamų sprendimų pritaikymu – buvo kuriama speciali modelių treniravimo metodika ir lietuvių kalbai pritaikytas tokenizatorius.

Tokenizatorius yra technologinis sluoksnis, kuris tekstą suskaido į smulkesnius reikšminius vienetus. Lietuvių kalboje tai ypač svarbu, nes vieno žodžio formos gali labai skirtis priklausomai nuo linksnio, skaičiaus, giminės ar laiko. Geresnis tokenizavimas padeda modeliui tiksliau suprasti žodžių ryšius ir generuoti natūralesnius sakinius.

Daugiau nei 2 000 valandų mokymo ir testavimo

DI modelių kūrimas pareikalavo didelių skaičiavimo išteklių. „Neurotechnology“ komanda abiejų modelių apmokymui skyrė daugiau kaip 2 000 valandų. Didysis LLM modelis buvo mokomas beveik 1 920 valandų, o MLM modeliui papildomai prireikė apie 210 valandų. Tai rodo, kad kokybiški lietuviški dirbtinio intelekto sprendimai reikalauja ne tik duomenų, bet ir inžinerinės kompetencijos, infrastruktūros bei nuoseklaus testavimo.

Modelių patikimumą vertino MB „Krilas“, atlikusi validaciją ir bandymus su praktinėmis užduotimis. Buvo tikrinama, kaip sistema apdoroja sudėtingus lietuviškus tekstus, ar geba kurti santraukas, ar išlaiko faktinį tikslumą ir ar nekuria prasimanytos informacijos. Taip pat vertinta, ar tekstyne nėra šališko, diskriminuojančio turinio arba privačių asmens duomenų.

Partnerystė tarp mokslo, verslo ir duomenų tiekėjų

Vienas svarbiausių projekto aspektų – plati partnerystė. Vytauto Didžiojo universitetas ir „Tilde IT“ rūpinosi kalbinių duomenų surinkimu bei tekstyno parengimu. „Neurotechnology“ kūrė, mokė ir optimizavo modelius, taip pat parengė jų treniravimo metodiką. MB „Krilas“ atliko kokybės vertinimą ir testavimą.

Prie tekstyno duomenų prisidėjo daug Lietuvos turinio kūrėjų ir informacijos šaltinių, tarp jų DELFI, LRT.lt, 15min, Lrytas.lt, Bernardinai.lt, ELTA, BNS, „Vakarų ekspresas“, „Kas vyksta Kaune“, VDA ir kiti. Tokia duomenų įvairovė leidžia modeliui geriau atspindėti realią lietuvišką informacinę erdvę – nuo nacionalinių naujienų iki regioninio turinio.

Nauda Lietuvos verslui ir viešajam sektoriui

Atvirojo kodo lietuvių kalbos DI modeliai gali tapti svarbia infrastruktūra organizacijoms, kurios nori kurti produktus lietuviams. Lietuvos rinkoje tai aktualu bankams, telekomunikacijų bendrovėms, draudimo įmonėms, e. prekybos platformoms, žiniasklaidai, švietimo technologijų kūrėjams ir viešajam sektoriui.

Galimi pritaikymo scenarijai apima klientų aptarnavimo pokalbių robotus lietuvių kalba, automatines dokumentų santraukas, vidinių žinių bazių paiešką, teisinės ar administracinės informacijos analizę, naujienų turinio apdorojimą, mokymosi platformų personalizavimą ir kalbos technologijų tyrimus. Kadangi modeliai yra atviri, mažesnės įmonės ir startuoliai gali eksperimentuoti be didelių licencijavimo kaštų.

Kaip tai atrodo pasaulinių DI tendencijų kontekste

Pasaulyje vis daugiau valstybių investuoja į nacionalinius kalbos modelius, nes supranta, kad skaitmeninis suverenumas priklauso ir nuo kalbos technologijų. Anglų kalba dominuojantys modeliai ne visada atitinka mažesnių kalbų poreikius. Todėl Lietuvai svarbu turėti savus išteklius, kurie padėtų kurti konkurencingas paslaugas vietos vartotojams.

Šis projektas sustiprina Lietuvos pozicijas Baltijos šalių technologijų žemėlapyje. Jis gali paskatinti naujus DI produktus Vilniuje, Kaune ir kituose inovacijų centruose, taip pat padėti akademiniams tyrėjams greičiau kurti eksperimentus lietuvių kalba. Ilgainiui tokie modeliai gali prisidėti prie geresnės skaitmeninių paslaugų kokybės ir platesnio dirbtinio intelekto naudojimo kasdienybėje.

Atvirumas – svarbiausias projekto privalumas

Kadangi tekstynas ir modeliai yra viešai prieinami, Lietuvos technologijų bendruomenė gauna bendrą pagrindą tolimesnei plėtrai. Tai ne uždaras komercinis įrankis, o infrastruktūra, kurią gali naudoti mokslininkai, programuotojai, produktų kūrėjai ir organizacijos. Tokia prieiga gali paspartinti lietuviškų DI sprendimų kūrimą ir sumažinti priklausomybę nuo užsienio platformų.

Rezultatai rodo, kad modelis geba sklandžiai apdoroti lietuvių kalbą, daugeliu atvejų generuoja faktiškai teisingą tekstą ir gali būti taikomas realioms problemoms spręsti. Tai svarbus žingsnis kuriant modernesnę, lietuviams patogesnę skaitmeninę aplinką, kurioje dirbtinis intelektas kalba ne tik pasaulio, bet ir Lietuvos vartotojų kalba.