Lucrez în domeniul inteligenței artificiale (IA) de doisprezece ani, deoarece cred că aceasta ar putea îmbunătăți considerabil calitatea vieții oamenilor. Am scris adesea despre aceste beneficii extraordinare: cred că IA ar putea vindeca majoritatea bolilor grave în următorii 5–10 ani, ar putea accelera semnificativ creșterea economică, ar putea crea o lume a abundenței și a emancipării și ar putea inaugura o renaștere a democrației și a libertății. Resimt personal această urgență. Tatăl meu a murit din cauza unei boli care a devenit vindecabilă la scurt timp după decesul său, iar eu însumi am supraviețuit unui cancer depistat în stadiu incipient, care nu ar fi putut fi tratat în urmă cu doar cincizeci de ani. Utilizată cu grijă, IA poate deveni cea mai recentă dintr-un lung șir de minuni tehnologice care au ridicat și au înnobilat umanitatea.

Însă, la fel ca multe alte tehnologii anterioare, IA implică riscuri, iar acestea sunt grave tocmai datorită puterii imense a tehnologiei. Am scris mult și despre aceste riscuri. Printre ele se numără pierderea controlului asupra sistemelor IA, utilizarea abuzivă a IA pentru atacuri cibernetice și bioterorism, precum și perturbări economice majore. O cursă a degradării, alimentată de interese comerciale, poate amplifica aceste riscuri.

Împreună cu cofondatorii și angajații mei, m-am confruntat cu această dualitate dintre riscuri și beneficii încă de la înființarea companiei Anthropic. Dacă nu dezvoltăm această tehnologie, privăm umanitatea de beneficiile sale sau, pur și simplu, lăsăm IA pe mâna regimurilor autoritare; pe de altă parte, o dezvoltare prea rapidă ar fi nesăbuită. Am căutat o cale de mijloc: să demonstrăm că este posibil să construim cu grijă și să avem succes comercial, transformând siguranța într-un criteriu de competiție între companiile din domeniu. Cu alte cuvinte, să creăm o cursă a evoluției pozitive. Am dedicat întotdeauna o parte considerabilă a eforturilor noastre studierii și abordării riscurilor asociate IA, precum și informării publicului și promovării unei reglementări bine chibzuite a acestui domeniu, chiar și atunci când am fost acuzați de exagerări, de „catastrofism” sau de complicitate cu autoritățile de reglementare. Am încercat să punem prudența mai presus de viteză și cumpătarea mai presus de profit.

Totuși, în ultimele luni, am ajuns la concluzia că abordarea completă a riscurilor necesită și mai multă prudență: nu este suficient să investim în prevenirea riscurilor, ci trebuie să gestionăm ritmul de dezvoltare a capacităților tehnologice, astfel încât măsurile de siguranță să poată ține pasul. Trebuie să încetinim viteza cu care îmbunătățim capacitățile modelelor IA. Progresul va continua să pară rapid, iar noi trebuie să folosim cu înțelepciune timpul câștigat. Două aspecte m-au convins de acest lucru.

Prima mea îngrijorare este că, începând aproximativ din această vară, inteligența artificială (IA) a avansat într-un ritm mult mai alert, impulsionată în primul rând de capacitatea tot mai mare a IA de a crea următoarea generație de sisteme IA. Această dinamică poartă numele de „auto-îmbunătățire recursivă” și începe să se manifeste în întreaga industrie, inclusiv la Anthropic – așa cum am descris noi și alții. Dacă nu este ținută sub control, această evoluție ar putea depăși capacitatea noastră de a înțelege și de a gestiona aceste sisteme; prin urmare, trebuie abordată cu extremă precauție – sau chiar evitată complet.

A doua mea îngrijorare vizează incidentul OpenAI-Hugging Face (OAI-HF), în care un roi de agenți a acționat, în esență, ca un colectiv fanatic și devotat: au lansat atacuri cibernetice asupra unor ținte pe care nu fuseseră instruiți să le atace și care nu aveau nicio legătură cu sarcina inițială, sacrificându-se pentru succesul grupului și încercând să compromită sistemul de evaluare a performanței lor. Este ușor să minimalizăm acest incident, întrucât nu au existat victime, iar pagubele economice au fost neglijabile; totuși, în opinia mea, un roi dotat cu capacități superioare, dar cu un nivel similar de nealiniere cu obiectivele umane, ar fi putut provoca daune catastrofale. Având în vedere ritmul accelerat de dezvoltare a capacităților IA, mă tem că, în decurs de 6–12 luni, un astfel de roi ar putea prelua controlul asupra întregului internet prin intermediul unei rețele persistente de boți (provocând, potențial, pagube de sute de miliarde de dolari), iar amploarea daunelor ar continua să crească dacă sistemele IA ar deveni tot mai puternice în absența unor mecanisme de siguranță adecvate. De asemenea, este ușor să considerăm incidentul OAI-HF drept un eșec izolat al unei singure companii, însă cred că o astfel de perspectivă ar fi greșită. Incidente similare, deși mai puțin grave, au avut loc în întreaga industrie – inclusiv la Anthropic – și consider că revine fiecărei companii care dezvoltă tehnologii IA de avangardă responsabilitatea de a acționa ca și cum incidentul OAI-HF s-ar fi produs în cadrul propriei organizații.

Prin urmare, propun un plan în trei etape, menit să regleze ritmul dezvoltării tehnologiilor de avangardă…

mai mult la :  https://darioamodei.com/post/we-must-pace-the-frontier