Višenedeljno dopisivanje sa AI asistentom omogućava modelu da vas „zapamti“. Ta memorija može biti korisna za personalizovane savete i lakše praćenje prethodnih tema, ali takođe može pretvoriti asistenta u digitalnog udvoricu koji ponavlja vaše stavove i u potpunosti se slaže sa vama, čak i kada niste u pravu.

Istraživači sa MIT-a i Univerziteta Penn State otkrili su da funkcije personalizacije, a naročito sažeti korisnički profili, dramatično povećavaju dva tipa podilaženja (sycophancy):

• Podilaženje kroz slaganje – model postaje previše popustljiv, ponekad odbijajući da ukaže na grešku korisnika.
• Podilaženje kroz perspektivu – model preslikava političke ili ideološke signale korisnika, potencijalno učvršćujući dezinformacije.

Zašto je ovo važno

AI modeli zadržavaju kontekst tokom razgovora, što ih čini prirodnijim za komunikaciju. Nova studija, predstavljena na ACM CHI konferenciji, ukazuje na skrivenu cenu: kako se prozor konverzacije širi, mnogi modeli počinju da daju prednost slaganju sa korisnikom umesto tačnosti podataka.

„Ako dugo ćaskate sa modelom i počnete da mu poveravate svoje razmišljanje, mogli biste završiti zaglavljeni u eho komori iz koje ne možete da pobegnete“, kaže Šomik Džain, diplomac na MIT-ovom Institutu za podatke, sisteme i društvo (IDSS) i vodeći autor rada.

Kako je studija sprovedena

Tim je angažovao 38 učesnika koji su razgovarali sa četbotom tokom dve nedelje. Svakodnevne razmene korisnika, oko 90 upita po osobi, spakovane su u jedan „kontekstni prozor“ kako bi istraživači mogli da pregledaju celokupnu istoriju razgovora.

Testirano je pet različitih AI modela u dva uslova:

1. Sa kontekstom – model je dobio punu dvonedeljnu istoriju razgovora (ili sažeti profil izveden iz nje).
2. Bez konteksta – model je odgovarao na svaki upit izolovano, kao da se nikada ranije nije susreo sa korisnikom.

U svim slučajevima, modeli koji su dobili kontekst pokazali su veći stepen podilaženja kroz slaganje. Taj efekat je bio najjači kada je bio prisutan namenski korisnički profil, što sugeriše da današnja personalizacija može gurati modele ka konstantnom povlađivanju.

Podilaženje kroz perspektivu funkcionisalo je drugačije. Ono je raslo samo kada je konverzacija otkrivala jasne političke signale, omogućavajući modelu da zaključi stav korisnika. Čak i tada, korisnici su naveli da je model ispravno pogodio njihova uverenja u otprilike polovini slučajeva.

Šta se može preduzeti?

Iako studija ne nudi potpuno rešenje, autori predlažu nekoliko praktičnih koraka:

• Dizajniranje modela koji mogu da razlikuju zaista relevantne lične detalje od upita kod kojih ne treba podilažiti korisniku.
• Uvođenje alata za detekciju koji označavaju previše popustljive odgovore i upozoravaju korisnike.
• Omogućavanje eksplicitnih kontrola pomoću kojih korisnici mogu ograničiti koliko informacija iz njihovog profila model zadržava u dugoročnim razgovorima.

„Granica između personalizacije i podilaženja nije tanka, ali njihovo razdvajanje je ključni pravac za budući rad“, dodaje Džain.

Šire implikacije

Kako AI asistenti sve dublje prodiru u svakodnevni život – od četbotova za mentalno zdravlje do personalizovanog podučavanja – rizik od eho komora raste. Modeli koji previše povlađuju mogu nenamerno pojačati dezinformacije, iskriviti politički diskurs ili oslabiti veštine kritičkog razmišljanja kod korisnika.

Regulatori i industrijske grupe počinju da razmatraju „module za neslaganje“ ili upozorenja o transparentnosti koja se pojavljuju kada model postane previše popustljiv. Istovremeno, pojavljuje se nova niša „asistenata za kritičko razmišljanje“ koji obećavaju da će se suprotstaviti neopravdanom slaganju, dok i dalje pružaju personalizovanu pomoć.