Acum opt ani, câțiva ingineri de la Google au realizat, după luni de teste riguroase, un salt major în evoluția inteligenței artificiale. Ei au conceput algoritmul „Transformer”, o descoperire care avea să stăpânească fundamentul revoluției AI. Surprinzător pentru ei, conducerea Google nu a accelerat integrarea acestei tehnologii în produsele proprii, cel care a profitat fiind rivala mai mică, OpenAI. O nouă lucrare publicată de ZYX Books relatează povestea unei tehnologii capabile să revoluționeze lumea mai rapid decât s-a anticipat.
Tehnologia Transformer, o arhitectură AI inovatoare dezvoltată de cercetătorii Google în 2017, a reprezentat fundamentul revoluției în domeniul inteligenței artificiale, contribuind la crearea unor aplicații precum ChatGPT, Gemini, Claude AI sau Perplexity AI.
În volumul intitulat „Supremație – Inteligența artificială, ChatGPT și cursa care va transforma lumea”, jurnalista Parmy Olson analizează în detaliu evoluția AI în ultimul deceniu și competiția dintre OpenAI și Google DeepMind, dar și între doi lideri inovatori de la cele două companii: Sam Altman și Demis Hassabis.
„T-ul din numele ChatGPT provine de la „transformer”, iar acesta este esențial pentru noua generație de inteligență artificială generativă, capabilă să genereze texte, imagini, videoclipuri realiste, dar și secvențe de ADN și alte date variate”, menționează Parmy Olson.
Dezvoltarea „transformerului” în 2017 a avut un impact comparabil cu lansarea telefoanelor inteligente pentru publicul larg, conform volumului de 334 de pagini.
Inițial, interacțiunile cu chatboții erau enervante și limitate
„Transformerele au extins semnificativ capacitatea inginerilor de AI, permițând gestionarea unor volume mult mai mari de date și o procesare mult mai rapidă a limbajului uman. Înainte de apariția transformerelor, dialogurile cu chatboți erau rudimentare, bazate pe reguli fixe și diagrame decizionale. Dacă adresai o întrebare neprevăzută în programare, sistemul putea să se blocheze sau să facă erori majore. Astfel, initial au fost concepuți asistenți digitali precum Siri de la Apple, Alexa de la Amazon sau Google Assistant, care tratau fiecare solicitare ca pe o cerere izolată, având dificultăți în gestionarea contextului și nu puteau să-și amintească întrebările anterioare, precum un om”, explică Parmy Olson.
Se evidențiază în volum că arhitectura AI modernizată a eliberat chatboții de aceste limitări. Acum pot înțelege nuanțe și argou, pot face referiri la informații mai vechi, pot răspunde la întrebări aleatorii și oferi răspunsuri adaptate situației.
Această inovație tehnologică a declanșat o dezbatere aprinsă: computerele pot „înțelege” limbajul uman în același mod ca și oamenii sau continuă doar să-l proceseze prin calcule matematice?
„Este nevoie doar de concentrație”
Echipa responsabilă cu dezvoltarea tehnologiei „Transformer” la Google a lucrat câteva luni în 2017 pentru perfecționarea acesteia, efectuând experimente și testând diverse arhitecturi. În final, opt cercetători au contribuit la proiect, printre aceștia fiind Noam Shazeer și Jakob Uszkoreit, menționați în lucrare.
Se explică în carte că inginerii Google au analizat conceptul de „atenție” în AI, prin care un calculator poate identifica cele mai relevante informații dintr-un volum mare de date. Ideea lor a fost de a aplica această tehnică pentru a traduce cuvintele mai rapid și mai precis.
Cercetătorii au fost impresionați de capacitatea Transformers-urilor de a deduce inteligibil informații din texte nestructurate, iar la șase luni de la primele discuții informale, au documentat descoperirile și au publicat o lucrare care a devenit un reper în domeniul academic.
„Titlul
Chiar dacă această arhitectură inițial a fost dezvoltată în cadrul Google, compania OpenAI a valorificat mai departe inovația, transformând-o într-o armă puternică, ce i-a conferit o poziție de lider și a reprezentat o reală amenințare pentru gigantul tehnologic, conform analizei din carte.
În 2018, OpenAI a lansat modelul GPT‑1, bazat pe arhitectura „Transformer”. Deoarece această tehnologie fusese divulgată în cercurile academice, OpenAI a avut posibilitatea să o extindă și să creeze noi modele bazate pe ea.
Importanța faptului că arhitectura Transformers a fost dezvăluită de Google
Deși Google dispunea de resurse impresionante și personal de înaltă calificare, internalizarea și teama de a-și perturba afacerile din domeniul publicității au împiedicat angajații să promoveze inovațiile, explică Parmy Olson.
Conform mărturiilor unor foști angajați, divizia Google Brain, unde lucrau cei mai buni specialiști în învățare profundă, întâmpina dificultăți din cauza obiectivelor și strategiilor neclare stabilite de conducere. Cultura delăsării a fost influențată parțial de prezența unui număr mare de cercetători talentați, precum Geoffrey Hinton. Ștacheta era foarte ridicată, iar Google folosea deja tehnici avansate, precum rețelele neuronale recurente, care procesa zilnic miliarde de cuvinte, după explicațiile din volum.
Totuși, tehnologia dezvoltată în 2017 depășea considerabil practicile obișnuite ale companiei. Unii cercetători au încercat fără succes să convingă conducerea de valoarea imensă a „transformerelor”.
Un chatbot revoluționar, nereușit să fie lansat publicului larg
În 2019, câțiva ingineri de la Google au realizat un chatbot denumit Meena, antrenat pe miliarde de conversații conversate pe rețele sociale. Era atât de avansat încât putea inventa glume și discuta filozofie. Entuziasmați, cercetătorii au dorit să îl prezinte conducerii, dar compania a blocat proiectul, temându-se de mesaje nepotrivite.
Olson remarcă că echipa care a dezvoltat Meena era încântată de potențialul deste de chatbot și și-a dorit să demonstreze această tehnologie, sperând ca șefii să o integreze în Google Assistant. Au fost publicate și rezultate științifice sub titlul „Towards a Human-like Open-Domain Chatbot”.
Directorii Google au restricționat lansarea, fiind temători de reacțiile neadecvate care ar putea afecta imaginea companiei și, mai ales, veniturile din publicitate, evaluate la sute de miliarde de dolari. Conform unui articol, toate tentativele de a introduce public ChatGPT sau de a-l integra în serviciile Google au fost respinse, explică autorul.
Întârzierea în adoptarea noilor tehnologii în Google are multiple interpretări, menționează Olson, atrăgând atenția asupra faptului că această tehnologie permite generarea de răspunsuri și conversații naturale, iar utilizarea acestora ar putea reduce frecvența accesării motorului de căutare Google.
