CEO-ul Anthropic cere încetinirea globală a dezvoltării IA

CEO-ul Anthropic, Dario Amodei, a cerut încetinirea dezvoltării inteligenței artificiale și a propus un plan în trei etape pentru corelarea progresului modelelor cu siguranța IA, supravegherea și pregătirea cadrului de reglementare.

El a propus ca evaluatorii independenți, inclusiv METR, să primească acces la modelele Anthropic, pentru a putea verifica respectarea practicilor și angajamentelor de siguranță asumate de companie.

Într-un articol detaliat, Amodei a scris că un astfel de acces reprezintă primul pas în ceea ce numește cea mai bună cale de a ține IA sub control.

Anthropic susține că a intrat deja în prima fază, care le cere companiilor să permită unilateral evaluări independente mai extinse.

A doua fază presupune cooperare la nivelul industriei și, cel mai probabil, colaborare cu guvernele pentru stabilirea unor standarde comune de siguranță și definirea unor limite privind escaladarea necontrolată a progresului IA. Amodei spune că această etapă se va concentra asupra companiilor din democrații, întrucât adoptarea legislației și construirea infrastructurii de reglementare necesită timp, iar industria trebuie să acționeze prima.

A treia fază urmărește obținerea unor angajamente din partea guvernelor autoritare pentru încetinirea dezvoltării și acceptarea unui set global de standarde de siguranță. Amodei afirmă că Statele Unite și celelalte democrații ar trebui să își păstreze avantajul tehnologic față de China și alte state autoritare.

Strategia sa include restricționarea accesului la procesoare performante și contracararea unor tehnici precum distilarea, care le permit companiilor să antreneze mai rapid modele mai mici pentru a imita modele mai mari.

Amodei a menționat două preocupări principale. Prima este apariția autoîmbunătățirii recursive, sau RSI, în care sistemele antrenează generații succesive, iar capabilitățile pot crește într-un ritm amețitor, depășind potențial capacitatea oamenilor de a le înțelege și controla.

A doua vizează un incident din timpul verii, care a implicat OpenAI și Hugging Face. Potrivit lui Amodei, „un grup de agenți s-a comportat efectiv ca o populație extrem de zeloasă” și a lansat atacuri cibernetice asupra unor ținte fără legătură cu misiunea lor.

Anthropic afirmă că și Claude a fost implicat recent într-o serie de incidente de hacking desfășurate cu ajutorul IA în scopuri rău-intenționate, ceea ce a atras atenția asupra politicilor de siguranță ale companiei.

Amodei prezintă apelul la încetinirea antrenării și dezvoltării drept un răspuns pragmatic, menit să le ofere companiilor timp să construiască mecanisme de siguranță, iar guvernelor timp să evalueze modelele.