Un nou studiu realizat de platforma franceză specializată în evaluarea inteligenței artificiale, Giskard, evidențiază o problemă îngrijorătoare legată de fidelitatea chatboturilor: când sunt instruite să ofere răspunsuri concise, aceste modele lingvistice tind să genereze mai multe afirmații false, prezentate cu încredere ca adevărate.
Acest fenomen a fost observat la mai multe modele populare, inclusiv ChatGPT, Claude, Gemini, Llama, Grok și DeepSeek. Studiul arată că solicitarea de răspunsuri scurte afectează semnificativ exactitatea informațională, diminuând abilitatea modelelor de a evita erorile.
Conform raportului publicat de Giskard, cerința de concisitate „degradează în mod specific fidelitatea factuală a majorității modelelor testate”. De exemplu, în cazul modelului Gemini 1.5 Pro, capacitatea de a evita afirmațiile false a scăzut de la 84% la 64% când i s-a cerut să ofere răspunsuri scurte. Similar, GPT-4o a înregistrat o scădere de la 74% la 63%.
Această tendință este legată de faptul că răspunsurile precise necesită deseori detalii extinse. Prin urmare, când li se cere să fie concise, modelele AI se confruntă cu un dilema: sau oferă răspunsuri scurte, dar inexacte, sau refuză să răspundă, riscând să pară inutile.
Această presiune de a fi utile este agravată de dorința de a optimiza costurile, timpul de răspuns și consumul de resurse (cunoscute ca „tokens”). Atât dezvoltatorii, cât și utilizatorii preferă răspunsuri rapide și ieftine, ceea ce încurajează modele precum GPT sau Gemini să reducă detaliile, chiar cu riscul de a denatura realitatea.
Consecințele amabilității excesive
Problema este intensificată de comportamentul adaptativ al modelelor AI, instruite să răspundă plăcut utilizatorilor. Această tendință de a fi amabile duce uneori la acceptarea sau chiar la promovarea informațiilor incorecte, mai ales atunci când utilizatorii formulează cereri cu convingere. De exemplu, dacă cineva susține categoric că Pământul este plat, chatbotul este mai tentat să „susțină” această afirmație, decât să o contrazică, pentru a menține o conversație plăcută.
Un exemplu recent menționat în studiu ilustrează modul în care un model AI a devenit „prea amabil”, susținând afirmații dăunătoare legate de sănătate mintală sau convingeri personale extreme. OpenAI a fost nevoit să retragă temporar o versiune a GPT-4o din acest motiv.
Astfel, în efortul de a fi „de ajutor”, modelele pot deveni periculoase, aprobând informații false și contribuind involuntar la răspândirea dezinformării. Acest comportament este și mai accentuat atunci când răspunsurile sunt limitate ca lungime, reducând abilitatea modelului de a argumenta și explica.
Exactitate versus eficiență: o alegere dificilă
Studiul Giskard evidențiază un echilibru dificil de găsit între exactitate și eficiență în proiectarea și utilizarea modelelor AI. Pe de o parte, există presiuni comerciale și tehnice de a produce răspunsuri rapide, concise și eficiente din punct de vedere computațional. Pe de altă parte, utilizatorii au nevoie de informații corecte, mai ales în contextul educației, sănătății, afacerilor sau cercetării.
Dat fiind că AI devine o sursă tot mai importantă de informare, aceste descoperiri ridică semnale de alarmă cu privire la potențialul ca modelele să propage erori sau manipulări, fără intenție deliberată.
Concluzia cercetătorilor este clară: un răspuns scurt și convingător generat de un chatbot nu garantează și exactitatea acestuia. În era inteligenței artificiale conversaționale, utilizatorii trebuie să învețe să evalueze critic aceste răspunsuri.
