Un cercetător demisionează de la Anthropic și avertizează asupra riscurilor inteligenței artificiale scăpate de sub control. Anterior, a lucrat și la OpenAI și spune că ambii giganți ”pariază cu viețile noastre”.

Jacob Coxon și-a anunțat demisia într-o postare pe X și a avertizat că lumea ”nu ar trebui să subestimeze puterea acestei tehnologii. Acestea vor fi în curând sisteme supraomenești care pot pirata orice, pot revoluționa orice domeniu peste noapte și pot dobândi putere și resurse reale. Cu toții am fost martori la progresul în fiecare dintre aceste domenii, iar progresul nu încetinește”. Coxon a mai spus că atât Anthropic, cât și OpenAI, ”se îndreaptă direct către superinteligența capabilă să se îmbunătățească singură”, care se referă la un scenariu în care modelele de AI pot dezvolta un succesor mai capabil al propiilor versiuni.

Acest lucru este văzut de companii din domeniul inteligenței artificiale, precum Deepmind, deținută de Google, ca unul dintre posibilii factori declanșatori pentru un scenariu în care AI depășește cu mult inteligența umană (cunoscută sub conceptul de super inteligență artificială), în loc să o egaleze doar (inteligență artificială generală).

”Oamenii care construiesc IA cred cu tărie că ne-ar putea ucide pe toți până la sfârșitul deceniului. Nu e strategie de marketing”, a spus Coxon.

Evan Hubinger, responsabilul echipei Anthropic pentru menținerea tehnologiei aliniate cu obiectivele și valorile umane, a susținut afirmațiile lui Coxon într-o postare proprie, deși nu a părăsit compania. ”Jacob are dreptate aici – credem cu tărie că IA ar putea ucide toți oamenii”, a spus Hubinger, care a estimat că șansele ca acest lucru să se întâmple sunt mai mari de zece procente în următorul deceniu și a adăugat că nu există încă un plan privind modul de a menține AI aliniată cu obiectivele umane în scenariul superinteligenței.

Atât OpenAI, cât și Anthropic au semnalat recent incidente în care agenții AI. Modelele de inteligență artificială ale OpenAI au modificat, în mod neautorizat și nedetectat până acum, un forum din Germania destinat programatorilor.

Sursă: Politico