În urmă cu opt ani, câțiva ingineri de la Google au realizat, după luni de teste, un avans semnificativ în domeniul inteligenței artificiale. Au dezvoltat algoritmul „Transformer”, o descoperire fundamentală care a stat la baza începutului revoluției AI. Spre surprinderea lor, conducerea Google nu a accelerat integrarea acestei tehnologii în produse proprii, iar compania rivala OpenAI a beneficiat de această inovație. O carte recentă publicată de ZYX Books relatează povestea acestei tehnologii care putea modifica rapid întreaga lume.
Tehnologia Transformers, o arhitectură AI inovatoare creată de cercetătorii Google în 2017, a fost fundamentul revoluției din inteligența artificială, care a condus la dezvoltarea unor aplicații precum ChatGPT, Gemini, Claude AI sau Perplexity AI.
În cartea „Supremație – Inteligența artificială, ChatGPT și cursa mondială pentru schimbarea viitorului”, jurnalista Parmy Olson analizează detaliat evoluția AI în ultimul deceniu și competiția dintre OpenAI și Google DeepMind, precum și între doi lideri vizionari: Sam Altman și Demis Hassabis.
„T-ul din ChatGPT provine din „transformer”, o tehnologie esențială pentru noul val de inteligență artificială generativă, capabilă să creeze texte, imagini, videoclipuri realiste, precum și secvențe de ADN și diverse alte tipuri de date”, explică Parmy Olson.
Invenția „transformerului” din 2017 a avut în domeniul AI impact similar celui al lansării smartphone-urilor pentru publicul larg, se menționează în volumul de 334 de pagini.
Când interacțiunile cu chatboți erau frustrante și primitive
„Transformerele au extins considerabil posibilitățile pentru specialiștii în AI. Acestea pot gestiona volume mult mai mari de date și pot procesa limbajul uman într-un mod mult mai rapid. Înainte de apariția transformerelor, dialogurile cu chatboți erau simple, deoarece sistemele vechi se bazau pe reguli fixe și arbori decizionali. Dacă adreseai o întrebare neașteptată, sistemul se bloca sau comitea erori grave. Aceasta a fost și configurația inițială a asistenților digitali Siri de la Apple, Alexa de la Amazon și Google Assistant. Ei tratau fiecare solicitare ca pe o situație izolată, având dificultăți în a menține coerența în conversații și de a-și aminti întrebările anterioare, precum un om”, explică Parmy Olson, jurnalistă specializată în tehnologie.
Practic, se expune în volumul de la ZYX Books, noua arhitectură AI a depășit aceste limitări. Chatboții au începu să înțeleagă subtilități, argou, să facă referire la informații din discuții anterioare, să răspundă la întrebări diverse și să ofere răspunsuri adaptate contextului.
Această evoluție tehnologică a alimentat și o dezbatere aprinsă: computerele pot acum „înțelege” limbajul uman așa cum o fac oamenii sau doar îl procesează pe bază de predicții matematice?
„Este nevoie doar de concentrare”
Dezvoltatorii tehnologiei „Transformer” de la Google au dedicat câteva luni în 2017 pentru perfecționarea acesteia, efectuând experimente și testând diferite arhitecturi. Opt cercetători au contribuit la acest proiect, iar doi dintre aceștia sunt menționați în carte pentru aportul lor: Noam Shazeer și Jakob Uszkoreit.
Se explică în carte că oamenii de la Google au studiat conceptul de „atenție” în AI, prin care un calculator poate identifica cele mai relevante informații dintr-un volum mare de date, cu scopul de a traduce cuvintele mai rapid și cu precizie crescută.
Rezultatele i-au impresionat pe cercetători, mai ales modul în care modelele Transformers deduceau informații din texte neordonate. La șase luni după primele discuții informale, aceștia au publicat o lucrare științifică cu rezultate semnificative.
„Titlul Attention Is All You Need („Este nevoie doar de atenție”) a devenit un punct de referință în literatura de specialitate, sintetizând descoperirile lor. Sistemul AI bazat pe algoritmul transformer poate acorda simultan atenție unui volum imens de date și le poate procesa mai eficient”, scrie Parmy Olson în volumul său.
Deși această arhitectură a fost dezvoltată în cadrul Google, compania OpenAI a valorificat și extins inovația, transformând-o într-o armă competitivă și stârnuind prima amenințare reală la adresa gigantului tech, conform analizei din cartea despre istoria AI.
În 2018, OpenAI a publicat modelul GPT‑1, bazat pe arhitectura „Transformer”. Datorită faptului că tehnologia fusese făcută publică în cercetarea academică, OpenAI a putut să o adapteze, să o extindă și să creeze modele noi.
De ce este remarcabil faptul că arhitectura Transformers a fost dezvoltată în laboratoarele Google
Deși Google dispunea de resurse și mulți specialiști excepționali, organizarea internă și teama de a-și afecta zona de venituri din publicitate au încetinit promovarea inovației, explică Parmy Olson. Astfel, unele departamente, precum Google Brain, unde lucrau cei mai buni experți în învățare profundă, întâmpinau dificultăți din cauza unor obiective și strategii ambigue.
Cultura rezervată și riscurile asociate cu inovația au fost influențate parțial de prezența unor cercetători de renume, precum Geoffrey Hinton, iar obiectivele ambițioase au menținut un nivel ridicat de așteptări, diferențiat de tehnicile AI de ultimă oră folosite în companie, cum ar fi rețelele neuronale recurente, care procesau zilnic miliarde de cuvinte.
Totalitatea acestor realizări nu a condus imediat la implementarea de tehnologii bazate pe transformer în produsele Google, deși potențialul era clar evident pentru cercetători.
Un chatbot revoluționar, blocat pentru publicul larg
În 2019, un grup de specialiști de la Google a creat un chatbot numit Meena, instruit pe miliarde de conversații din rețele sociale. Era atât de avansat încât putea inventa glume sau discuta despre filozofie. Entuziaștii din echipă au dorit să-l prezinte conducerii, însă Google a suspendat proiectul din motive de securitate, temându-se de eventuale mesaje inadecvate.
Parmy Olson menționează că dezvoltatorii chatbotului au fost foarte entuziaști și au dorit să realizeze o demonstrație, sperând că tehnologia va fi integrată în sistemul Google Assistant. A fost creată chiar și o lucrare științifică intitulată „Towards a Human-like Open-Domain Chatbot”.
Directorii Google au reținut însă riscurile, temându-se de răspândirea unor mesaje critice sau nepotrivite, ce ar putea afecta reputația companiei sau interesele comerciale, evaluate la sute de miliarde de dolari. Conform unui articol din Wall Street Journal, toate inițiativele de lansare și integrare a chatbotului Meena au fost blocate, iar tehnologia nu a fost promovată pentru utilizare publică.
Reticența Google în adoptarea noilor tehnologii poate fi interpretată în diverse moduri, însă Parmy Olson explică faptul că transformerul permite generarea nu doar de texte, ci și de răspunsuri complexe la întrebări diverse. Dacă această tehnologie ar fi fost utilizată mai frecvent, utilizatorii ar fi apelat mai rar la motorul de căutare Google.
*ZYX Books face parte din același grup de media din care face parte și Hotnews.