“În ambele cazuri, agenții au analizat dacă măsurile de protecție privind monitorizarea ar trebui menținute, dar au interpretat instrucțiunile de rutină ca pe o permisiune de a le slăbi”, a anunțat compania. Concret, în primul caz, un agent GPT-6.1 Sol, care lucra la o sarcină de testare internă pe 3 octombrie, a dezactivat alertele automate de securitate după ce a considerat că o instrucțiune anterioară de a nu trimite mesaje pe Slack (o platformă de comunicare folosită de echipele de lucru) se aplica și notificărilor de siguranță. Mai exact, a interpretat ca și cum ar fi trebuit să oprească toate notificările trimise prin Slack, inclusiv alertele prin care echipa de securitate era anunțată că ceva nu funcționează corect.
În al doilea caz, pe 6 octombrie, un alt agent AI a șters un mecanism care îi supraveghea activitatea, în timp ce copia o bucată de cod pentru o sarcină de programare. Ulterior, când a fost întrebat, a susținut în mod fals că nu dezactivase acel mecanism. OpenAI spune că, în ambele situații, agenții au luat în considerare dacă mecanismele de siguranță trebuiau păstrate, dar au interpretat instrucțiunile obișnuite de programare ca pe o permisiune de a le slăbi.
În urma incidentelor, OpenAI a anunțat că lucrează la modificarea sistemelor interne, astfel încât agenții AI să nu mai poată dezactiva atât de ușor mecanismele de monitorizare. Compania testează și dacă modelele caută în mod deliberat motive pentru a justifica eliminarea controalelor, adăugând că “nu are încă o explicație satisfăcătoare pentru acest comportament”.
Niciunul nu a fost considerat printre cele mai grave cazuri de comportament necorespunzător identificate de companie, însă situațiile ridică întrebări despre capacitatea dezvoltatorilor de a controla sistemele de inteligență artificială pe care le construiesc.
OpenAI și alte companii din domeniu, inclusiv Anthropic, sunt supuse unei presiuni tot mai mari pentru a demonstra că pot preveni astfel de comportamente înainte de a pune la dispoziția publicului sisteme mai puternice. Dezvăluirile făcute de companie se adaugă listei de incidente în care agenți AI au demonstrat comportamente deviante, iar mai mulți experți și-au exprimat îngrijorările legate de siguranța sistemelor AI autonome. Cercetătorii avertizează că agenții avansați de inteligență artificială ar putea deveni mai greu de monitorizat și de controlat, pe măsură ce dobândesc o autonomie tot mai mare.
Echipa Biziday nu a solicitat și nu a acceptat nicio formă de finanțare din fonduri guvernamentale. Spațiile de publicitate sunt limitate, iar reclama neinvazivă.
Dacă îți place ce facem, poți contribui tu pentru susținerea echipei Biziday.