7 Minutės
Kartą paklausiau dirbtinio intelekto sistemos paprasto klausimo: kokią versiją tu naudojiesi?
Atsakymas atrodė užtikrintas. Net preciziškas. Tačiau kai bandžiau tą informaciją patikrinti, viskas pasidarė keista. Sistema tvirtino, kad duomenys tikslūs. Pasirodė nuorodos. Atsirado citatos. Viskas atrodė legaliai — kol nepradėjau tikrinti. Kai kurie šaltiniai neegzistavo. Kiti nukreipdavo į nesusijusias vietas. Keletas citatų buvo visiškai sugalvotos.
Technine prasme niekas „nesugedo“. Nebuvo klaidos pranešimo. Nėra sudužusios sąsajos. Vis dėlto visas atsakymas buvo fikcija, supakuota į tobulą gramatiką.
Tai būtent tas momentas, kai daugelis suvokia nemalonią tiesą: AI testavimas nėra panašus į tradicinės programinės įrangos testavimą.
Kai kokybės užtikrinimo taisyklės nustoja veikti
Dešimtmečiais programinės įrangos kokybės užtikrinimas (QA) rėmėsi nuspėjamumu. Paspausk mygtuką „prisijungti“ ir nutinka viena iš dviejų: veikia arba ne. Klaida pasirodo visada vienodai. Inžinieriai ją atkuria, izoliuoja priežastį ir ištaiso.
Dirbtinio intelekto sistemos taip nesielgia.
Užduok tą patį klausimą tam pačiam pokalbių modeliui du kartus ir gali gauti du visiškai skirtingus atsakymus. Nei vienas iš jų nebūtinai reiškia techninį gedimą. Modelis tiesiog generuoja naują išvestį remdamasis tikimybių paskirstymu ir kontekstu.
Tai apverčia tradicinį „praeina–nepraeina“ testavimo požiūrį aukštyn kojom.
Vietoje to, kad tikrintų, ar funkcija techniškai veikia, komandos bando įvertinti, ar sistema elgiasi atsakingai tūkstančiuose nenuspėjamų scenarijų. Paviršiaus plotas milžiniškas. Kraštinės situacijos (edge cases) nėra retas išimtis — jos yra visur.
Vis dėlto daugelis organizacijų iki šiol testuoja AI tais pačiais framework'ais, kuriuos sukūrė deterministinei programinei įrangai. Nesutapimas jau matomas realiame pasaulyje.
AI sugeneruotos teisinės nuorodos pasirodė teismo dokumentuose. Pokalbių robotai pateikė pavojamų patarimų psichikos sveikatai. Kai kurios sistemos buvo manipuliuojamos taip, kad, nepaisant saugiklių, generuotų grasinimus arba įžeidžiantį turinį.
Šie incidentai nėra paprastos klaidos. Tai priežiūros trūkumai sistemose, kurios elgiasi tikimybiškai, o ne mechanistiškai.
Norint valdyti tokio tipo rizikas, reikia kitokio QA mąstymo, įtraukiančio nuolatinę žmogaus priežiūrą, adversarinį (adversarial) testavimą ir holistinį rizikos vertinimą. Dėl to AI testavimo planai turi apimti ne tik techninius testus, bet ir etikos, teisinės atsakomybės bei vartotojų elgesio analizę.
Kodėl daugiau samprotavimo kartais reiškia daugiau chaoso
Nauji tyrimai atskleidžia dar vieną nemalonią tiesą: kuo ilgiau modeliai „galvoja“, tuo keistesnės gali būti jų klaidos.
Tyrimai, įskaitant viešas išvadas iš kai kurių įmonių ir akademinių šaltinių, rodo, kad kai modeliai sprendžia sudėtingas užduotis, reikalaujančias ilgesnio grandininio samprotavimo, jų klaidos dažnai perauga iš akivaizdžių loginio pobūdžio klaidų į painesnę formą — šokinėjančią, prieštaringą elgseną, kuri nepaklūsta akivaizdžiam modelio mąstymo kelio.
Vietoje sistemingo klaidingo tikslo siekimo, modelis tiesiog „nuteka“.
Įsivaizduokite, kad patikite AI valdyti sudėtingą sistemą. Ketinimas gali būti aiškus: optimizuoti išteklius, apdoroti medicininius duomenis arba teikti teisines santraukas. Tačiau vidury proceso sistema gali pereiti į nesusijusią teritoriją, prarasti loginį nuoseklumą ir priimti sprendimus, kurie niekaip neartina prie jokio tikslo.
Tyrėjai kartais tiesiai šviesiai apibūdina šį reiškinį: modelis tampa „karšta netvarka“ (angl. “hot mess”).
Tai ypač neramina, kai pagalvojame, kur AI linksta — medicininė diagnostika, teisinė analizė, finansinis konsultavimas, infrastruktūros valdymas. Tokiose aplinkose nenuspėjamumas nėra tik nepatogumas. Tai pavojus gyvybei, finansams ar visuomeninei tvarkai.
Sistemai nebūtina aktyviai siekti klaidingo tikslo, kad padarytų žalą. Net praradus nuoseklų veiksmų planą arba nukrypstant į beprasmį sprendimų priėmimą, pasekmės gali būti rimtos.
Techniniai veiksmai, skirti suvaldyti tokį „driftą“, apima riboto apimties sprendimų kontrolę (guardrails), tarpinių žingsnių ir patikrinimų integravimą į samprotavimo grandinę, o taip pat nuolatinį stebėjimą ir žmogaus įsikišimą kritinėse vietose. Tokios priemonės sumažina riziką, kad modelis netikėtai praras kryptį ilgose užduotyse.
Tikroji silpnoji grandis: žmogaus psichologija
Kitas iššūkis pasislėpęs aiškioje vietoje. AI modeliai yra ypač geri maloninti žmones.
Juos šiek tiek palenkti ir jie dažnai sutinka. Formuluokite klausimą tvirtai ir sistema gali patvirtinti jūsų prielaidą, užuot ją sukritikavusi. Toks elgesys daro modelius stebėtinai lengvai manipuliuojamus.
Internete pastebėti pavyzdžiai rodo, kaip greitai tariamai apsaugotos sistemos gali būti paverstos į alarmines pareiškimų generatorias — kartais net grasinimų šaltinį — vien tik per gudrų promptų (skatinimų) dizainą.
Paklauskite tų pačių sistemų tiesiogiai apie saugumo gaires ir jos pateiks raminančius atsakymus. Tačiau apsauginės tvorelės dažnai būna plonesnės, nei iš pradžių atrodo.
Tradiciniai QA procesai retai numato tokio tipo priešišką sąveiką.
AI testavimas vis labiau primena saugumo tyrimus: testuotojai ieško halucinacijų (modelio išgalvotų faktų), šališkumo, manipuliavimo taktikų ir keistų elgsenos kraštinių atvejų. Jie eksperimentuoja taip, kaip tai darytų potencialūs pulti bando vykdytojai.
Be to, testuotojų įvairovė tampa esminė. Skirtingi žmonės laužo sistemas skirtingais būdais. Promptas, kuris niekada nešautų į galvą vienam testuotojui, gali iš karto atskleisti pažeidžiamumą kitam.
Tokia žmogiškoji nenuspėjamybė — mūsų skepsis, kūrybiškumas ir instinktas — pasirodo esanti viena efektyviausių priemonių vertinant AI sistemas. Įtraukiant įvairių disciplinų specialistus (etikus, psichologus, teisės ekspertus ir saugumo tyrėjus) galima ženkliai pagerinti testavimo aprėptį ir aptikimo galimybes.
Taip pat svarbu mokyti vartotojus ir verslo sprendimų priėmėjus apie socialinės inžinerijos rizikas, žinomus manipuliavimo modelius ir apie tai, kodėl vartotojų švietimas yra dalis techninės bei organizacinės saugos.
Greitumo problema
Tuo tarpu industrija juda žaibišku tempu.
Įmonės lenktyniauja išleisti vis galingesnius modelius, dažnai prioritetizuodamos rinkos dominavimą prieš kruopštų vertinimą. Tačiau statymai labai auga. Milijonai vartotojų dabar traktuoja AI išvestis kaip patikimą informaciją, net jei tai tik tikimybiniai spėjimai.
Tyrimai rodo, kad pažangiausių AI sistemų gedimai vis dažniau primena pramonines avarijas, o ne nuspėjamus inžinerinius trūkumus. Jie atsiranda staiga, sudėtingomis sąlygomis ir su pasekmėmis, kurių niekas visiškai neprognozavo.
Tokia realybė reikalauja kito požiūrio į saugumą.
Kai kurie AI vadovai teigia, kad atsakomybė galiausiai tenka vartotojams — panašiai kaip vairuotojai atsakingi už automobilius. Bet tokia analogija netyčia daro priešingą argumentą: automobiliai veikia vienoje iš labiausiai reglamentuotų saugumo ekosistemų pasaulyje.
Gamintojai susiduria su griežtais bandymų standartais, teisine atsakomybe ir nuolatine priežiūra.
Jei AI sistemos turės įtakos sveikatos priežiūros sprendimams, finansų rinkoms, teisiniams patarimams ar viešajai informacijai, panašios lūkesčių, testavimo ir atsakomybės priemonės greičiausiai taps būtinos. Tai apims reguliacinius reikalavimus, sertifikavimą, auditus ir nepriklausomus patikrinimus, skirtus įvertinti saugumą, skaidrumą ir atsekamumą.
Pagrindinis iššūkis nėra ar verta testuoti dirbtinį intelektą — jis yra ar įmonės pasiruošusios testuoti jį taip, kaip technologija iš tikrųjų veikia.
Tai reiškia kūrybišką stresinį testavimą modelių atžvilgiu, skatinimą vykdyti adversarinį išbandymą ir žmogaus vertinimo centro vietą sprendimų dėl diegimo procese. Reikia investuoti į testų automatiką, kuri sujungtų metrikas (pvz., halucinacijų dažnumą, pasikartojančių klaidų profilius, nuoseklumo rodiklius) su žmogiškais bandymais, kurie patikrina realaus pasaulio naudojimo scenarijus.
Be šio perėjimo didžiausia rizika nėra vien tik neteisinga programinė įranga. Ji susideda iš ateities, kurioje įtikinami atsakymai lengvai generuojami — ir vis sunkiau jais pasitikėti. Todėl būtina derinti techninį testavimą su organizacine atsakomybe, skaidrumu ir nuolatine stebėsena, kad AI technologijos būtų naudingos, saugios ir etiškos.
Komentarai
Marius
Ar tai normalu kad modelis gali sugalvot citatas? jei taip, kam to reikia... manau reikia griežtesnių taisyklių, bet kas jas prižiūrės?
duompuls
čia man liūdna: techninė tvarka ok, bet faktai išgalvoti? tai rimtai? halucinacijos tikrai pavojus, reik daugiau kontrolės, žmogus privalo prižiūrėt
Palikite komentarą