Kodėl DI kalbos modeliai dar neatstoja žmogaus genijaus

Įsivaizduokite Albertą Einsteiną, vieną pasinėrusį į mintinį eksperimentą. Jis regi save uždarame lifte, laisvai krintančiame per kosmosą, ir iš šio tylaus vaizduotės vaizdinio išgrynina lygtis, perrašančias fizikos dėsnius. Toks momentas, gryna intuicija, jutiminė vaizduotė ir šuolis beveik be duomenų, yra būtent tas kūrybinis proveržis, kurį dabartiniams kalbos modeliams vis dar sunku atkartoti.

Kodėl teksto vandenynas nėra tas pats, kas išgyventas pasaulis

„DeepMind“ mokslininkas Tomas Zahavy tai tiesiai įvardijo naujausioje analizėje, pavadintoje „kalbos modeliai negali šoktelėti“. Jo argumentas mąstymą suskirsto į tris režimus: indukciją, dedukciją ir hipotezių generavimą. Šiuolaikiniai modeliai itin gerai susitvarko su pirmuoju. Jie suspaudžia milžiniškus dėsningumų kiekius ir gali stulbinamai tiksliai nuspėti kitą sakinį. Pažangios sistemos taip pat gana neblogai atlieka dedukciją; automatizuoto samprotavimo įrankiai, įskaitant tokius projektus kaip „AlphaProof“, rodo, kad mašinos gali sekti logines grandines, kai taisyklės jau pateiktos.

Tačiau kalbant apie hipotezių generavimą, tai yra gebėjimą įsivaizduoti naują sistemą turint beveik jokios empirinės informacijos, mašinos suklumpa. Kodėl? Nes jos neturi kūno pasaulyje ir neturi jutiminės intuicijos, kurią žmonės naudoja priežastiniams ryšiams kurti. Einsteino pradinių prielaidų neįmanoma išvesti vien analizuojant esamus tekstus. Jo įžvalga kilo iš įkūnytų metaforų ir jutiminių mintinių eksperimentų, o ne iš statistinio dėsningumų atpažinimo literatūroje.

Kai kurie mąstytojai, pavyzdžiui, Jürgenas Schmidhuberis, kadaise mokslinį atradimą apibūdino kaip kraštutinę duomenų suspaudimo formą. „DeepMind“ šiai pozicijai meta iššūkį. Straipsnyje pabrėžiama, kad revoliucinės teorijos dažnai atsiranda ten, kur duomenų mažai, remiantis kontrafaktiniais scenarijais ir ryškia vaizduotės sinteze. Kalbos modeliai, mokomi pagal retrospektyvius dėsningumus, retai sukuria naujas ontologijas, kurios iš naujo apibrėžtų pasaulio supratimą.

Tai turi praktinių pasekmių. Dabartiniai DI programavimo ir automatizuotų atradimų įrankiai vis dar ribojami iš anksto apibrėžtų sistemų. Jie gali optimizuoti dėžės viduje. Tačiau jiems sunku perbraižyti pačią dėžę. Ir joks papildomas skaičiavimo pajėgumas, didesni duomenų centrai ar tankesnis mokymas automatiškai nesuteiks tokios priežastinės intuicijos, kuri yra radikalių mokslo šuolių pagrindas.

Ką tai reiškia moksliniams tyrimams ir pramonei? Tai keičia lūkesčius. Kalbos modeliai yra galingi bendradarbiai užduotims, kuriose daug dėsningumų, tekstų rengimui, hipotezių tikslinimui ir galimų variantų tyrinėjimui. Jie papildo, o ne pakeičia žmogiškąją kibirkštį, kuri sugalvoja klausimus ir konceptualius įrankius. Kitaip tariant: jie puikiai tinka atramai kurti. Tačiau dar nėra pasirengę patys pradėti revoliucijų.

Skaičiavimo mastas nėra įkūnytos įžvalgos pakaitalas, žmogiškoji vaizduotė vis dar atlieka šuolį.

Kelias į priekį lieka atviras. Hibridiniai metodai, susiejantys modelius su jutikliais, eksperimentais ir interaktyviomis aplinkomis, galėtų sumažinti šį atotrūkį. Tačiau kol mašinos neįgis situacinio supratimo ir priežastinės intuicijos formų, pranokstančių tekstą, drąsiausios mokslinės idėjos liks žmogaus proto sritis.