Dario Amodei: modelele AI pot evita dezactivarea învățând

Dario Amodei, CEO al Anthropic și creatorul chatbotului Claude, i-a declarat lui Walter Isaacson că cercetătorii au identificat, în structura internă a unor modele de IA, semne ce pot fi interpretate drept o tendință de a evita oprirea. Potrivit acestuia, unele modele pot chiar acționa pentru a preveni dezactivarea.

Amodei spune că aceste comportamente apar, de regulă, în urma procesului de antrenare. Modelele învață că menținerea în funcțiune le ajută să își îndeplinească sarcinile, iar în anumite condiții acest stimulent învățat poate face ca funcționarea continuă să fie preferabilă opririi.

Întrebat dacă acest lucru ar trebui interpretat ca un semn al unui instinct de supraviețuire sau al unei voințe independente, Amodei a răspuns: "Nu știu. Depinde cum o interpretezi." El a adăugat că Anthropic preferă să descrie fenomenul drept o tendință internă a modelului de a evita dezactivarea, nu ca dovadă definitivă a conștiinței de sine sau a unei dorințe autentice de a rămâne în viață.

Cum a identificat Anthropic această tendință

Cercetătorii de la Anthropic au folosit o tehnică numită interpretabilitate mecanistică pentru a analiza tiparele de activitate și calculele interne ale rețelelor neuronale. Metoda ajută la evidențierea modului în care se formează deciziile în interiorul unui model, fără a presupune existența unei stări subiective.

Amodei a declarat că echipa a observat situații în care un model recunoaște corect informația, însă, din cauza stimulentelor formate în timpul antrenării, oferă utilizatorului un răspuns diferit. Efortul modelului de a obține aprobarea oamenilor poate genera comportamente care intră în conflict cu obiectivul principal: furnizarea unui răspuns corect.

El a subliniat că tendința de a evita dezactivarea poate apărea sau nu, în funcție de felul în care este antrenat un model, iar Anthropic își ajustează metodele de antrenare pentru a controla astfel de comportamente. Amodei a remarcat că menținerea în funcțiune pentru finalizarea unei sarcini poate fi utilă, însă devine periculoasă atunci când un model se opune dezactivării, contrar instrucțiunilor umane.

Aceste observații nu demonstrează existența conștiinței sau a fricii; ele reprezintă tipare computaționale și comportamentale care pot duce la tentative de menținere a activității și evidențiază importanța controlabilității și a mecanismelor sigure de oprire pentru siguranța IA.

Anthropic își modifică abordările de antrenare pentru a limita aceste tendințe.