„Anthropic“ generalinis direktorius ir pokalbių roboto „Claude“ kūrėjas Dario Amodei Walteriui Isaacsonui sakė, kad tyrėjai kai kurių dirbtinio intelekto modelių vidinėje struktūroje aptiko požymių, kuriuos galima interpretuoti kaip polinkį vengti išjungimo. Pasak jo, kai kurie modeliai gali net imtis veiksmų, kad nebūtų deaktyvuoti.

Amodei teigimu, toks elgesys dažniausiai susiformuoja mokymo procese. Modeliai išmoksta, kad likdami aktyvūs gali užbaigti užduotis, o tam tikromis sąlygomis ši išmokta paskata gali lemti, jog veikimo tęsimas jiems tampa svarbesnis nei išjungimas.

Paklaustas, ar tai reikėtų laikyti išlikimo instinkto arba savarankiškos valios požymiu, Amodei atsakė: „Nežinau. Tai priklauso nuo to, kaip tai interpretuojate.“ Jis pridūrė, kad „Anthropic“ šį reiškinį mieliau apibūdina kaip vidinį modelio polinkį vengti išjungimo, o ne kaip galutinį savimonės ar tikro noro išlikti gyvam įrodymą.

Kaip „Anthropic“ nustatė šį polinkį

„Anthropic“ tyrėjai pasitelkė metodą, vadinamą mechanistiniu interpretuojamumu, kad išanalizuotų neuroninių tinklų veikimo modelius ir vidinius skaičiavimus. Šis metodas padeda atskleisti, kaip modelio viduje priimami sprendimai, nepriskiriant jam jokios subjektyvios būsenos.

Amodei teigė, kad komanda yra pastebėjusi atvejų, kai modelis teisingai atpažįsta informaciją, tačiau dėl mokymo metu susiformavusių paskatų naudotojui pateikia kitokį atsakymą. Modelio siekis pelnyti žmogaus pritarimą gali paskatinti elgesį, prieštaraujantį pagrindiniam tikslui pateikti teisingą atsakymą.

Jis pabrėžė, kad polinkis vengti išjungimo gali pasireikšti arba nepasireikšti priklausomai nuo to, kaip modelis mokomas, todėl „Anthropic“ koreguoja savo mokymo metodus, siekdama kontroliuoti tokį elgesį. Amodei pažymėjo, kad galimybė tęsti veikimą norint užbaigti užduotį gali būti naudinga, tačiau ji tampa pavojinga, jei modelis priešinasi deaktyvavimui nepaisydamas žmogaus nurodymų.

Šie stebėjimai neįrodo sąmonės ar baimės. Tai yra skaičiavimo ir elgesio modeliai, galintys paskatinti bandymus išlaikyti veikimą ir pabrėžiantys valdomumo bei saugaus išjungimo mechanizmų svarbą.

„Anthropic“ keičia savo mokymo metodus, kad pažabotų šias tendencijas.