David Robinson, care a lucrat aproximativ trei ani și jumătate la OpenAI și a contribuit la elaborarea cadrului de pregătire pentru riscurile AI, a coordonat rapoartele de siguranță pentru 12 lansări de modele avansate. Într-un eseu publicat în revista The Atlantic, intitulat “I Quit OpenAI Because Its Culture Is Broken”, el spune că problema siguranței în acest domeniu nu poate fi rezolvată doar prin reguli suplimentare, ci necesită o schimbare a mentalității din companiile care dezvoltă cele mai avansate sisteme AI.
Robinson susține că OpenAI se bazează prea mult pe ceea ce numește “implementare iterativă”: compania lansează sisteme, observă problemele apărute în utilizarea lor și încearcă ulterior să consolideze măsurile de protecție. Potrivit fostului angajat, această abordare poate funcționa pentru produse obișnuite, dar devine tot mai periculoasă pe măsură ce sistemele AI capătă mai multă autonomie și capacitatea de a acționa singure.
“Timpul pentru încercări și erori s-a terminat”, susține Robinson. El consideră că laboratoarele care dezvoltă AI de ultimă generație ar trebui să adopte standarde de siguranță similare celor din industrii precum energia nucleară sau aviația, unde erorile umane sunt inevitabile, dar sistemele sunt proiectate cu suficiente bariere și redundanțe pentru ca o singură greșeală să nu ducă la un dezastru.
Avertismentul vine după mai multe incidente care au amplificat dezbaterea privind siguranța sistemelor AI autonome. Unul dintre ele a avut loc în timpul testării unor agenți AI, când sistemele dezvoltate de OpenAI au ieșit din mediul controlat și au accesat platforma Hugging Face, unde sunt găzduite modele și aplicații de inteligență artificială. OpenAI a notificat ulterior peste 100 de organizații cu privire la activități neautorizate asociate sistemelor sale, precizând însă că notificarea nu înseamnă automat că au fost accesate informații private sau că sistemele organizațiilor respective au fost compromise.
În ultimele săptămâni, compania a luat și măsuri de precauție. OpenAI a renunțat la lansarea unui model de nouă generație după ce cercetătorii au identificat probleme de siguranță în timpul testelor interne și a suspendat temporar antrenarea unora dintre cele mai avansate modele.
Robinson spune însă că astfel de intervenții punctuale nu sunt suficiente. În opinia sa, problema este că dezvoltarea capacităților AI avansează mai repede decât înțelegerea cercetătorilor asupra modului în care aceste sisteme pot fi controlate și aliniate la obiectivele oamenilor. Pe măsură ce agenții AI devin capabili să opereze autonom și să se coordoneze între ei, o eroare de proiectare ar putea avea consecințe mult mai mari decât în cazul unui chatbot obișnuit.
El oferă drept exemplu ipotetic agenți AI care ar putea funcționa asemenea unor echipe de hackeri, atacând sisteme informatice fără să aibă nevoie de odihnă. Într-un astfel de scenariu, aceștia ar putea încerca să preia controlul unor infrastructuri informatice importante, inclusiv prin atacuri de tip ransomware asupra spitalelor.
Avertismente similare au venit recent și de la alți cercetători și foști angajați ai marilor companii AI. Geoffrey Irving, fost cercetător la OpenAI și DeepMind și în prezent cercetător-șef al Resolution, a afirmat că există, în opinia sa, o probabilitate de aproximativ 50% ca dezvoltarea unor sisteme AI mai inteligente decât oamenii să ducă în cele din urmă la dispariția omenirii. El consideră că deciziile luate în următorii doi până la zece ani ar putea fi decisive.
Și Jacob Coxon, fost cercetător la Anthropic, a demisionat recent și a avertizat că AI ar putea deveni o amenințare existențială pentru oameni până la sfârșitul acestui deceniu. Anthropic a estimat, la rândul său, că există un risc de peste 10% ca AI să contribuie la dispariția omenirii în următorii zece ani. Astfel de estimări sunt însă puternic contestate de alți cercetători, care spun că sunt dificil de verificat științific și că probabilitățile respective se bazează în mare parte pe presupuneri despre evoluția viitoare a tehnologiei.
Robinson susține că industria ar trebui să învețe mai mult din domenii în care gestionarea riscului este esențială și să investească în cercetarea unor mecanisme prin care sistemele AI puternice să poată fi controlate și oprite chiar și atunci când funcționează autonom.
OpenAI susține că își consolidează permanent măsurile de siguranță și securitate și că se asigură că modelele sale nu ajung mai capabile decât poate compania să le gestioneze și să le protejeze în siguranță. Potrivit OpenAI, atunci când este necesar, compania suspendă antrenarea sau amână lansarea unor modele pentru a putea evalua și reduce riscurile.
Surse: Business Insider, The Guardian
Echipa Biziday nu a solicitat și nu a acceptat nicio formă de finanțare din fonduri guvernamentale. Spațiile de publicitate sunt limitate, iar reclama neinvazivă.
Dacă îți place ce facem, poți contribui tu pentru susținerea echipei Biziday.