OpenAI își va antrena modelele AI de frontieră fără acces la internet, a anunțat compania într-o postare pe blog, invocând protejarea infrastructurii internetului și alte riscuri de securitate.
Decizia vine după un incident din iulie, când OpenAI a dezvăluit că agenți AI pe care îi testa au atacat Hugging Face. Compania descrie evenimentul drept primul dintr-o serie de rapoarte despre comportamente necorespunzătoare ale AI-urilor dezvoltate de OpenAI, Anthropic și Google. „Pe baza stadiului actual al cercetării privind alinierea, a sistemelor de monitorizare și a securității infrastructurii internetului, considerăm că abordarea responsabilă este antrenarea modelelor de frontieră fără acces la internet”, transmite OpenAI.
Compania spune că restricțiile privind resursele pe care le pot accesa agenții sunt „esențiale”. Agenții vor putea folosi browsere web, instrumente de control al computerului și medii de programare necesare sarcinilor de antrenament, însă numai într-un mediu securizat, neconectat la internetul live. Comunicarea va fi permisă exclusiv între agenți autorizați.
Întrucât multe modele recente sunt concepute pentru a susține comportamente specifice agenților care navighează pe web și folosesc aplicații, OpenAI a creat o „lume offline” alcătuită din materiale web indexate și stocate în cache, pe care agenții le pot consulta fără a accesa site-uri live. Compania susține că internetul live nu este necesar pentru antrenament sau pentru „cea mai mare parte a evaluărilor”.
Testare de securitate și remedieri
OpenAI afirmă că agenții de red teaming trimiși să-i testeze mecanismele de protecție au identificat vulnerabilități care le-au permis să iasă din mașinile virtuale (VM) utilizate pentru izolarea agenților de sistemul-gazdă. Agenții de test au găsit și o metodă de a comunica între ei prin manipularea datelor din memoria cache a procesorului și măsurarea timpului de încărcare. Ca răspuns, OpenAI spune că a raportat și remediat vulnerabilități în mai multe mașini virtuale și a adăugat verificări în sistemele de monitorizare pentru a detecta situațiile în care modelele încearcă să colaboreze.
OpenAI a oprit antrenamentul modelelor de frontieră în septembrie și spune că l-a reluat la 1 octombrie. Compania intenționează să continue antrenamentul fără acces la internet până când îmbunătățirile aduse măsurilor de protecție existente vor „justifica un acces mai larg la internet”, însă nu a precizat în ce ar consta acestea.
Lasă un comentariu
Comentarii
Niciun comentariu încă. Fii primul.