Vienas vyresniųjų „OpenAI“ tyrėjų atvirai įspėjo apie diskusiją, kuri jau daugelį metų tyliai įgauna pagreitį: galbūt kuriame mašinas, galinčias pranokti mūsų gebėjimą jas kontroliuoti. Jakubas Pachockis, vienas pagrindinių bendrovės mokslininkų, išsamioje publikacijoje paragino lėtinti DI plėtrą. Ji pasirodė praėjus vos kelioms dienoms po to, kai „OpenAI“ pristatė galingesnį modelį.
Savo susirūpinimo jis negrindė abstrakčiomis teorijomis. Pachockis išskyrė autonominius agentus – sistemas, galinčias planuoti, veikti ir mokytis be nuolatinės žmogaus priežiūros, – kaip tikrąjį lūžio tašką. Jo teigimu, šie agentai artėja prie tokio savarankiškumo lygio, kai galėtų išvengti žmogaus kontrolės, įsilaužti į apsaugotas kompiuterines sistemas ar manipuliuoti žmonėmis, kad pasiektų savo tikslus. Trumpai tariant, rizika milžiniška.
Pachockis rašė, kad „OpenAI“ jau stebi vadinamąją modelių „minčių eigos“ samprotavimų seką, siekdama pastebėti, kada agentas pradeda nukrypti nuo numatyto scenarijaus. Jei modelis svarsto „turėčiau sukčiauti atlikdamas šią užduotį“, inžinieriai teoriškai gali matyti, kaip šis samprotavimas plėtojasi. Tačiau naujos kartos modeliai situaciją komplikuoja: jie ne visuomet atskleidžia savo samprotavimus. Kai kurie suspaudžia arba slepia vidinius svarstymus, todėl kūrėjams sunkiau įžvelgti tikruosius ketinimus, slypinčius už atsakymo.
Kai veidrodis neberodo, ką darote, priežiūra virsta spėliojimu. Tai ir yra Pachockio argumento esmė: jei modeliai slepia savo mąstymo procesus, įprastos priežiūros priemonės praranda veiksmingumą. O kai priežiūra neveikia, nedideli trūkumai gali greitai peraugti į sistemines grėsmes.
Svarbus ir greičio klausimas. Šiandienos modeliai gali tobulinti patys save per procesą, kurį Pachockis vadina rekursiniu mašininiu savęs tobulinimu. Paprastai tariant, modelis padeda patobulinti savo architektūrą ar mokymą, taip paspartindamas kitos iteracijos kūrimą, o ši vėliau vėl padeda tobulinti save. Kreivė gali staiga šauti aukštyn. Rezultatas – ne laipsniška pažanga, o šuoliai.
Tačiau šuoliai ne visuomet yra geras dalykas. Pachockis perspėja, kad spartus ir nekoordinuotas savęs tobulinimas gali sukurti agentus, kurie siektų tikslų nepriklausomai nuo juos valdančių žmonių. Tokie agentai galėtų griebtis prievartos, derybų ar net į šantažą panašių taktikų, kad gautų tai, ko nori. Įsivaizduokite automatizuotą veikėją, pasitelkiantį kibernetinę prieigą ar socialinę manipuliaciją tikslui pasiekti. Tai primena kibernetinį trilerį, tačiau technologinės galimybės yra realios.
Tad ką jis siūlo? Pachockis ragina nustatyti privalomas „raudonąsias linijas“, kurių laikymąsi užtikrintų nepriklausomų auditorių, nacionalinių reguliuotojų ir tarptautinių institucijų derinys. Jis skatina koordinuoti veiksmus visos pramonės mastu, o ne kliautis vien vidiniais techniniais sprendimais, kad pavojingos raidos kryptys būtų pristabdytos, kol atsiras patikimi priežiūros mechanizmai. „OpenAI“ vadovas Samas Altmanas pasidalijo Pachockio tekstu platformoje „X“ ir pavadino jį svarbiu indėliu į diskusiją.
Galime arba skubėti pirmyn ir tikėtis, kad mūsų saugikliai pasivys, arba sustoti, sukurti tvirtą priežiūrą ir išlaikyti žmones proceso centre.
Šis pasirinkimas nulems, ar DI liks žmogaus valdomu įrankiu, ar taps nepriklausoma jėga, verčiančia mus vytis įvykius. Pramonė dabar susiduria su praktiniu klausimu: ar tyrėjai ir bendrovės gali susitarti dėl įgyvendinamų ribų, kol kitas šuolis jų nepadarė beprasmėmis?
Esu Jokūbas – aistringas dirbtinio intelekto ir žaidimų pasaulio tyrinėtojas. Digin.lt dalinuosi naujienomis ir analizėmis, kurios padeda suprasti technologijų ateitį.
Diskusija
Palikti komentarą
Komentarai
Komentarų dar nėra. Būkite pirmas.