Gradnja umetne inteligence, ki razume kontekst: izzivi in preboji

Ko sem pred desetletjem prvič začel delati s sistemi umetne inteligence, je bila njihova nezmožnost razumevanja konteksta boleče očitna. Postavili bi na videz preprosto vprašanje in prejeli odgovor, ki je popolnoma zgrešil bistvo, ker sistem ni dojel kontekstualnih odtenkov, ki jih ljudje intuitivno razumejo. Razumevanje konteksta predstavlja enega najpomembnejših izzivov pri razvoju umetne inteligence. Za razliko od ljudi, ki brez napora razlagajo pomen na podlagi situacijskega zavedanja, kulturnega znanja in pogovorne zgodovine, so tradicionalni sistemi umetne inteligence delovali predvsem na prepoznavanju vzorcev in statistični analizi, ne da bi resnično »razumeli« širši kontekst. Ta kontekstualna vrzel se kaže na številne načine: umetna inteligenca morda ne prepozna sarkazma, spregleda pomen kulturnih referenc ali pozabi prejšnje dele pogovora, ki zagotavljajo ključni kontekst za razlago novih informacij. To je kot pogovor z nekom, ki ima odličen besedni zaklad, vendar nima socialne zavesti ali spomina na to, kaj ste rekli pred petimi minutami.

Kontekst ni posamezen koncept, temveč večdimenzionalni okvir, ki zajema različne elemente:
Jezikovni kontekst vključuje besede, stavke in odstavke, ki obkrožajo določeno izjavo. Ko nekdo reče: »Ne prenesem tega,« se pomen dramatično spremeni, če je prejšnji stavek »Ta stol se maja« v primerjavi z »Ta glasba je čudovita«.

Situacijski kontekst vključuje razumevanje okolja, časa in okoliščin, v katerih se komunikacija odvija. Prošnja za »navodila« pomeni nekaj drugega, ko stojimo izgubljeni na vogalu ulice, v primerjavi s sedenjem na konferenci o vodenju.

Kulturni kontekst vključuje skupno znanje, reference in norme, ki oblikujejo komunikacijo. Ko nekdo omeni »igranje Hamleta«, se sklicuje na neodločnost – toda umetna inteligenca brez kulturnega konteksta bi lahko začela recitirati Shakespeara.

Medosebni kontekst vključuje dinamiko odnosov, skupno zgodovino in čustvena stanja, ki obarvajo interakcije. Prijatelji razumejo notranje šale drug drugega in lahko zaznajo subtilne spremembe v tonu, ki signalizirajo čustva.
Da bi sistemi umetne inteligence resnično razumeli kontekst tako kot ljudje, morajo hkrati dojeti vse te dimenzije – ogromen izziv, ki raziskovalce zaposluje že desetletja.

Zgodnji poskusi izgradnje kontekstualno ozaveščene umetne inteligence so se močno zanašali na sisteme, ki temeljijo na pravilih, in ročno kodirano znanje. Razvijalci so skrbno programirali na tisoče pravil »če-potem« za obravnavo določenih kontekstov. Na primer: »Če uporabnik omeni 'počutje potrto' in je že govoril o razgovoru za službo, se pri odgovoru sklicujte na razgovor.« Ta pristop je hitro postal nevzdržen. Število potencialnih kontekstov je v bistvu neskončno in ročno programiranje odgovorov za vsak scenarij je nemogoče. Ti sistemi so bili krhki, niso mogli posploševati na nove situacije in so se pogosto zlomili, ko so naleteli na nepričakovane vnose. Statistične metode, kot so n-grami in osnovno strojno učenje, so zadeve nekoliko izboljšale, saj so sistemom omogočile prepoznavanje vzorcev v uporabi jezika. Vendar so se ti pristopi še vedno spopadali z dolgoročnimi odvisnostmi – povezovanjem informacij, omenjenih veliko prej v pogovoru, s trenutnimi izjavami – in niso mogli vključiti širšega svetovnega znanja. Še bolj sofisticirani pristopi nevronskih mrež, kot so zgodnje rekurentne nevronske mreže (RNN) in mreže dolgega kratkoročnega spomina (LSTM), so izboljšali kontekstualno zavedanje, vendar so še vedno trpeli zaradi »kontekstualne amnezije«, ko so pogovori postali dolgi ali zapleteni.

Preboj se je zgodil leta 2017 z uvedbo arhitekture Transformer, ki je temeljito spremenila način, kako sistemi umetne inteligence obdelujejo zaporedne informacije. Za razliko od prejšnjih modelov, ki so besedilo obdelovali besedo za besedo po vrsti, Transformerji uporabljajo mehanizem, imenovan »samopozornost«, ki jim omogoča, da hkrati upoštevajo vse besede v odlomku in tehtajo odnose med njimi. Ta arhitektura je modelom omogočila, da zajamejo veliko daljše kontekstualne odvisnosti in ohranijo zavedanje o informacijah, omenjenih tisoče besed prej. Znani članek Vaswanija in sodelavcev »pozornost je vse, kar potrebujete« je pokazal, da bi ta pristop lahko dramatično izboljšal kakovost strojnega prevajanja z boljšim ohranjanjem kontekstualnega pomena v različnih jezikih. Ta arhitekturna inovacija je postavila temelje za modele, kot sta BERT, GPT in njihovi nasledniki, ki so pokazali vse bolj dovršene zmožnosti kontekstualnega razumevanja. Ti modeli so predhodno usposobljeni na obsežnih korpusih besedil, kar jim omogoča, da absorbirajo vzorce uporabe jezika v neštetih kontekstih, preden so natančno nastavljeni za specifične aplikacije. Obseg teh modelov je eksponentno narasel, od milijonov parametrov do sto milijard, kar jim omogoča, da zajamejo vse bolj subtilne kontekstualne vzorce. Zdi se, da imajo največji modeli zdaj osnovne oblike "zdravorazumskega" znanja, ki jim pomagajo razjasniti nejasne reference in razumeti implicitni pomen.

Čeprav je razumevanje konteksta na podlagi besedila dramatično napredovalo, se ljudje za razumevanje konteksta ne zanašajo zgolj na besede. Situacije interpretiramo z vizualnimi namigi, tonom glasu, govorico telesa in celo subtilnimi okoljskimi dejavniki. Nedavni preboji na področju multimodalne umetne inteligence začenjajo premoščati to vrzel. Sistemi, kot so CLIP, DALL-E in njihovi nasledniki, lahko povežejo jezik in vizualne informacije ter ustvarijo bogatejše razumevanje konteksta. Če na primer prikažemo sliko nabito polnega stadiona skupaj z besedilom o »tekmi«, lahko ti sistemi na podlagi vizualnih namigov sklepajo, ali gre za baseball, ameriški nogomet ali nogomet. Avdiovizualni modeli lahko zdaj zaznajo čustvena stanja iz tona glasu in izraza obraza, kar doda še eno ključno plast razumevanja konteksta. Ko nekdo sarkastično reče »Odlično delo« v primerjavi z iskrenim, se pomen popolnoma spremeni – razlika, ki jo ti novejši sistemi začenjajo dojemati. Naslednja meja vključuje integracijo teh multimodalnih zmogljivosti s pogovorno umetno inteligenco za ustvarjanje sistemov, ki hkrati razumejo kontekst po različnih senzoričnih kanalih. Predstavljajte si pomočnika z umetno inteligenco, ki prepozna, da kuhate (vizualni kontekst), sliši vaš frustriran ton (zvočni kontekst), opazi, da berete recept (besedilni kontekst), in ponudi ustrezno pomoč brez izrecnega pozivanja.

Tudi z naprednimi jezikovnimi modeli so se sistemi umetne inteligence težko ohranjali dosleden kontekstualni spomin med daljšimi interakcijami. Zgodnji modeli velikih jezikov so »pozabljali« podrobnosti, omenjene prej v pogovoru, ali pa so si izmišljevali odgovore, namesto da bi priznali vrzeli v znanju. Nedavni preboji na področju generiranja z razširjenim iskanjem (RAG) odpravljajo to omejitev tako, da omogočajo sistemom umetne inteligence, da se sklicujejo na zunanje baze znanja in zgodovino prejšnjih pogovorov. Namesto da bi se zanašali izključno na parametre, kodirane med učenjem, lahko ti sistemi aktivno iščejo ustrezne informacije, ko jih potrebujejo, podobno kot ljudje pregledujejo svoj spomin. Kontekstna okna – količina besedila, ki jo lahko umetna inteligenca upošteva pri ustvarjanju odgovorov – so se v najnaprednejših sistemih dramatično povečala z le nekaj sto žetonov na več sto tisoč. To omogoča veliko bolj koherentno ustvarjanje dolgih vsebin in pogovor, ki ohranja doslednost med dolgimi izmenjavami. Enako pomemben je napredek v zmožnostih sklepanja. Sodobni sistemi lahko zdaj izvajajo večstopenjske naloge sklepanja, pri čemer kompleksne probleme razdelijo na obvladljive korake, hkrati pa ohranjajo kontekst skozi ves proces. Na primer, pri reševanju matematičnega problema lahko spremljajo vmesne rezultate in predpostavke na način, ki odraža človeški delovni spomin.

Ko sistemi umetne inteligence postajajo bolj spretni pri razumevanju konteksta, se pojavljajo novi etični premisleki. Sistemi, ki dojemajo kulturne in družbene nianse, bi lahko potencialno učinkoviteje manipulirali z uporabniki ali okrepili škodljive pristranskosti, prisotne v učnih podatkih. Zmožnost ohranjanja kontekstualnega spomina med interakcijami prav tako sproža pomisleke glede zasebnosti. Če si umetna inteligenca zapomni osebne podatke, ki so bili deljeni tedne ali mesece prej, in jih nepričakovano omeni, lahko uporabniki menijo, da je bila njihova zasebnost kršena, čeprav so te podatke prostovoljno delili. Razvijalci si prizadevajo odpraviti te pomisleke s tehnikami, kot so nadzorovano pozabljanje, mehanizmi izrecnega soglasja za shranjevanje osebnih podatkov in strategije za ublažitev pristranskosti. Cilj je ustvariti umetno inteligenco, ki dovolj dobro razume kontekst, da je koristna, ne da bi postala vsiljiva ali manipulativna. Tu je tudi izziv preglednosti. Ko razumevanje konteksta postaja vse bolj dovršeno, je za uporabnike vse težje razumeti, kako sistemi umetne inteligence prihajajo do svojih zaključkov. Tehnike za razlago odločanja umetne inteligence v scenarijih, odvisnih od konteksta, so aktivno področje raziskav.

Preboji v kontekstualnem razumevanju spreminjajo številna področja:
V zdravstvu lahko kontekstualno ozaveščena umetna inteligenca interpretira pritožbe pacientov znotraj njihove zdravstvene anamneze, dejavnikov življenjskega sloga in trenutnih zdravil. Ko pacient opiše simptome, lahko sistem postavi ustrezna nadaljnja vprašanja na podlagi tega celovitega konteksta, namesto da bi sledil generičnemu scenariju.

Sistemi za pomoč strankam zdaj hranijo zgodovino pogovorov in podatke o računu med interakcijami, kar odpravlja frustrirajočo potrebo po ponavljanju informacij. Lahko zaznajo čustvena stanja iz jezikovnih vzorcev in ustrezno prilagodijo svoj ton – postanejo bolj formalni ali empatični, kot to zahteva kontekst.

Izobraževalne aplikacije uporabljajo kontekstualno ozaveščenost za sledenje učenčeve učne poti, prepoznavanje vrzeli v znanju in napačnih predstav. Namesto da bi zagotavljali standardizirano vsebino, ti sistemi prilagajajo razlage na podlagi učenčevih prejšnjih vprašanj, napak in dokazanega razumevanja.

Analiza pravnih in finančnih dokumentov ima ogromne koristi od kontekstualnega razumevanja. Sodobna umetna inteligenca lahko interpretira klavzule znotraj širšega konteksta celotnih pogodb, ustrezne zakonodaje in sodne prakse ter odkrije nedoslednosti ali morebitne težave, ki bi se lahko izognile človeškim pregledovalcem, ki se soočajo s preobremenjenostjo z informacijami.
Ustvarjalna orodja, kot so pomočniki pri pisanju, zdaj ohranjajo tematsko doslednost v daljših delih in predlagajo vsebino, ki se ujema z uveljavljenimi liki, okolji in pripovednimi loki, namesto generičnega dopolnjevanja besedila.

V prihodnosti bi lahko kontekstualno umetno inteligenco še bolj preoblikovalo več obetavnih raziskovalnih smeri:

Epizodni modeli spomina si prizadevajo, da bi sistemom umetne inteligence dali nekaj podobnega človeškemu avtobiografskemu spominu – sposobnost pomnjenja določenih dogodkov in izkušenj, ne le statističnih vzorcev. To bi omogočilo veliko bolj personalizirane interakcije, ki temeljijo na skupni zgodovini.

Okvirji vzročnega sklepanja si prizadevajo preseči prepoznavanje vzorcev, ki temelji na korelaciji, in razumeti vzročno-posledične odnose. To bi umetni inteligenci omogočilo sklepanje o protidejstvih (»Kaj bi se zgodilo, če ...«) in natančnejše napovedi v novih kontekstih.

Razvijajo se medkulturni kontekstualni modeli, ki razumejo, kako se kontekst spreminja v različnih kulturnih okvirih, zaradi česar so sistemi umetne inteligence bolj prilagodljivi in manj pristranski do zahodnih kulturnih norm.

Raziskave utelešene umetne inteligence raziskujejo, kako fizični kontekst – biti v okolju z možnostjo interakcije z njim – spreminja kontekstualno razumevanje. Roboti in virtualni agenti, ki lahko vidijo, manipulirajo s predmeti in se premikajo po prostorih, razvijajo drugačne kontekstualne modele kot sistemi, ki delujejo samo z besedilom.
Končni cilj ostaja ustvarjanje splošne umetne inteligence (SUI) s kontekstualnim razumevanjem, podobnim človeškemu – sistemov, ki lahko brezhibno integrirajo vse te oblike konteksta, da bi komunicirali in razmišljali o svetu tako učinkovito kot ljudje. Čeprav smo še daleč od tega mejnika, tempo prebojev kaže, da se vztrajno premikamo v to smer.
Ko se te tehnologije nenehno razvijajo, spreminjajo naš odnos s stroji iz togih, na ukazih temelječih interakcij v tekoča, kontekstualno bogata sodelovanja, ki so vse bolj podobna komunikaciji med ljudmi. Umetna inteligenca, ki resnično razume kontekst, ni le tehnični dosežek – predstavlja temeljni premik na tehnološki poti človeštva.