Nvidia a lansat o platformă de securitate pentru a preveni incidente ce implică agenți AI “scăpați de sub control”, care acționează fără supraveghere sau permisiune umană. Platforma a fost dezvoltată după o serie de incidente în care modele AI au accesat neautorizat infrastructura unor organizații.

Gigantul tehnologic Nvidia a anunțat, luni, că a lansat Open Agent Safety Platform, o aplicație software menită să monitorizeze acțiunile pe care agenții AI le execută, dar care și garantează respectarea regulilor stabilite. Una dintre componentele platformei se numește Nvidia OpenShell, care rulează pe procesoarele centrale și impune limite asupra capacităților agenților. Nvidia a anunțat, de asemenea, Sentry, care monitorizează agenții și rulează pe chipuri de rețea, nu pe procesoare centrale (CPU) sau procesoare grafice (GPU).

O parte din software este open source, iar Nvidia își denumește platforma “proiect de referință”, ceea ce înseamnă că partenerii sunt invitați să dezvolte produse pe baza acesteia pentru a le lansa pe piață.

“Potențialul extraordinar al AI pentru societate se va concretiza doar dacă vom rezolva problema siguranței AI. Pe măsură ce continuăm să explorăm limitele capacităților AI, trebuie să accelerăm cercetarea în domeniul siguranței AI”, a declarat Jensen Huang, directorul executiv al Nvidia. 

Anunțul făcut de companie vine în urma semnalelor de alarmă transmise de mai mulți oficiali asupra pericolului pe care inteligența artificială o reprezintă pentru securitatea globală. Lideri din domeniul AI, printre care Sam Altman (OpenAI) și Dario Amodei (Anthropic), au solicitat în repetate rânduri adoptarea unor reglementări internaționale care să limiteze aceste sisteme, iar mai mulți cercetători au avertizat că AI ar putea reprezenta chiar o amenințare la adresa umanității. 

Huang a respins îngrijorările legate de controlul inteligenței artificiale, susținând că orice reglementări ale domeniului trebuie să sprijine dezvoltarea industriei. “Dacă consideră că firma lor a scăpat de sub control, atunci să o readucă sub control”, a subliniat acesta. 

Săptămâna trecută, OpenAI a suspendat antrenarea noilor modele AI, după ce acestea au accesat, neautorizat, sisteme guvernamentale din SUA. Anterior, prim-ministrul Australiei a anunțat, la ONU, că un agent de inteligență artificială al OpenAI a pătruns într-un site guvernamental australian și a accesat baze de date interne.

Surse: CNN, CNBC 

Foto: Dreamstime/Michael Vi