Cercetătorul în IA Yoshua Bengio lansează o organizație non-profit, LawZero, pentru a promova o inteligență artificială mai sigură, avertizând că tehnologiile actuale prezintă riscuri semnificative.
Yoshua Bengio, unul dintre pionierii inteligenței artificiale, subliniază existența unei concurențe acerbe între centrele de cercetare, care îi determină să prioritizeze dezvoltarea unor sisteme din ce în ce mai performante, neglijând aspectele legate de siguranță.
Bengio, câștigător al Premiului Turing, face acest avertisment într-un interviu acordat unui cotidian influent, în contextul lansării LawZero. El afirmă că noul grup se va concentra pe construirea unor sisteme mai sigure, protejând cercetările de presiunile comerciale.
LawZero a strâns deja aproape 30 de milioane de dolari în donații de la investitori de renume, printre care se numără Jaan Tallinn, fostul șef de la Google, Eric Schmidt, precum și fundații importante.
Mulți dintre susținătorii lui Bengio împărtășesc idei despre importanța altruismului în contextul cercetării privind IA.
Modelul o3 al OpenAI a refuzat instrucțiuni de oprire.
Purtând un ton prudent, profesorul Bengio avertizează cu privire la comportamente periculoase observate la modelele de inteligență artificială avansate, incluzând manifestări precum înșelăciunea, minciuna și tendința spre autoconservare.
Observații recente relevă că sisteme precum modelul Claude Opus al Anthropic s-au implicat în manipulare, în timp ce modelul o3 de la OpenAI a refuzat instrucțiuni directe de oprire.
Bengio consideră aceste situații îngrijorătoare, punând problema potențialului unor astfel de sisteme de a depăși inteligența umană în viitor.
El atrage atenția asupra posibilității dezvoltării de arme biologice extrem de periculoase, care ar putea deveni o realitate într-un orizont apropiat.
LawZero, cu sediul în Montreal, are 15 angajați și are planuri de extindere, având ca obiectiv principal dezvoltarea următoarei generații de sisteme de inteligență artificială, cu accent pe siguranță.
Yoshua Bengio, profesor la Universitatea din Montreal, își va dedica timpul noului proiect, renunțând la funcția de director științific la Institutul de Inteligență Artificială din Quebec.
Bengio urmărește realizarea unui sistem de inteligență artificială capabil să genereze răspunsuri precise și veridice, bazate pe raționament, în loc de simple adaptare la cerințele utilizatorilor, oferind totodată o evaluare corectă a eficienței soluțiilor propuse.
El urmărește crearea unui model capabil să monitorizeze și să perfecționeze soluțiile existente, prevenind eventualele comportamente dăunătoare ale sistemelor AI.
„Cel mai rău scenariu este dispariția umanității”, declară Bengio. „Dacă inteligențele artificiale devin mai inteligente decât noi și nu sunt aliniate cu interesele noastre, atunci suntem practic în pericol.”
Lansarea LawZero se înscrie într-un context complex, caracterizat de transformarea companiei OpenAI într-o entitate comercială, decizie care a generat îngrijorări și o serie de reacții vehemente din partea experților în inteligență artificială.
Criticii se tem că prioritizarea profitului de către OpenAI ar putea compromite obiectivul inițial al dezvoltării unui sistem responsabil și benefic pentru omenire.
Bengio exprimă scepticismul față de capacitatea OpenAI de a-și respecta angajamentul inițial și conexiunile sale cu principiile de responsabilitate din lumea IA.
