Gradnja umetne inteligence, ki razume kontekst: izzivi in preboji

Ko sem pred desetletjem prvič začel delati s sistemi AI, je bila njihova nezmožnost razumevanja konteksta boleče očitna. Postavili bi na videz preprosto vprašanje, samo da bi prejeli odgovor, ki je popolnoma zgrešil cilj, ker sistem ni uspel dojeti kontekstualnih odtenkov, ki jih ljudje intuitivno razumejo.
Razumevanje konteksta predstavlja enega najpomembnejših izzivov pri razvoju umetne inteligence. Za razliko od ljudi, ki brez težav razlagajo pomen na podlagi zavedanja situacije, kulturnega znanja in pogovorne zgodovine, so tradicionalni sistemi AI delovali predvsem na prepoznavanju vzorcev in statistični analizi, ne da bi resnično "razumeli" širši kontekst.
Ta kontekstualna vrzel se kaže na številne načine: umetna inteligenca morda ne prepozna sarkazma, spregleda pomen kulturnih referenc ali pozabi prejšnje dele pogovora, ki zagotavljajo ključni kontekst za interpretacijo novih informacij. Kot bi se pogovarjali z nekom z odličnim besednim zakladom, vendar brez družbene zavesti ali spomina na to, kar ste rekli pred petimi minutami.

Kontekst ni en sam koncept, temveč večdimenzionalni okvir, ki zajema različne elemente:
Jezikovni kontekst vključuje besede, stavke in odstavke, ki obdajajo določeno izjavo. Ko nekdo reče: "Ne prenesem," se pomen dramatično spremeni, če je prejšnji stavek "Ta stol je majav" v primerjavi z "Ta glasba je lepa."
Situacijski kontekst vključuje razumevanje okolja, časa in okoliščin, v katerih poteka komunikacija. Zahteva za "napotke" pomeni nekaj drugega, ko izgubljeno stojiš na uličnem vogalu, v primerjavi s sedenjem na konferenci o voditeljstvu.
Kulturni kontekst vključuje skupno znanje, reference in norme, ki oblikujejo komunikacijo. Ko nekdo omeni "vlečenje Hamleta", se sklicuje na neodločnost - toda AI brez kulturnega konteksta lahko začne recitirati Shakespeareja.
Medosebni kontekst vključuje dinamiko odnosov, skupno zgodovino in čustvena stanja, ki obarvajo interakcije. Prijatelji razumejo šale drug drugega in lahko zaznajo subtilne spremembe v tonu, ki signalizirajo čustva.
Da bi sistemi umetne inteligence resnično razumeli kontekst na način, kot ga ljudje, morajo dojeti vse te razsežnosti hkrati – monumentalen izziv, ki že desetletja najeda raziskovalce.

Zgodnji poskusi izdelave umetne inteligence, ki se zaveda konteksta, so se močno zanašali na sisteme, ki temeljijo na pravilih, in ročno kodirano znanje. Razvijalci bi skrbno programirali na tisoče pravil če-potem za obravnavo specifičnih kontekstov. Na primer: "Če uporabnik omeni 'počutje slabo' in je že govoril o razgovoru za službo, se pri odgovoru sklicujte na intervju."
Ta pristop je hitro postal nevzdržen. Število potencialnih kontekstov je v bistvu neskončno in ročno programiranje odzivov za vsak scenarij je nemogoče. Ti sistemi so bili krhki, niso se mogli posplošiti na nove situacije in so se pogosto zlomili, ko so naleteli na nepričakovane vnose.
Statistične metode, kot so n-grami in osnovno strojno učenje, so zadeve nekoliko izboljšale, saj so sistemom omogočile prepoznavanje vzorcev v uporabi jezika. Vendar so se ti pristopi še vedno spopadali z dolgoročnimi odvisnostmi – povezovanjem informacij, omenjenih veliko prej v pogovoru, s trenutnimi izjavami – in niso mogli vključiti širšega svetovnega znanja.
Še bolj izpopolnjeni pristopi nevronskih mrež, kot so zgodnje ponavljajoče se nevronske mreže (RNN) in omrežja dolgotrajnega kratkoročnega spomina (LSTM), so izboljšali kontekstualno zavedanje, vendar so še vedno trpeli zaradi "kontekstne amnezije", ko so pogovori postali dolgotrajni ali zapleteni.

Preboj se je zgodil leta 2017 z uvedbo arhitekture Transformer, ki je temeljito spremenila način, kako sistemi umetne inteligence obdelujejo zaporedne informacije. Za razliko od prejšnjih modelov, ki so besedilo obdelovali besedo za besedo po vrsti, Transformerji uporabljajo mehanizem, imenovan »samopozornost«, ki jim omogoča, da hkrati upoštevajo vse besede v odlomku in tehtajo odnose med njimi. Ta arhitektura je modelom omogočila, da zajamejo veliko daljše kontekstualne odvisnosti in ohranijo zavedanje o informacijah, omenjenih tisoče besed prej. Znani članek Vaswanija in sodelavcev »pozornost je vse, kar potrebujete« je pokazal, da bi ta pristop lahko dramatično izboljšal kakovost strojnega prevajanja z boljšim ohranjanjem kontekstualnega pomena v različnih jezikih. Ta arhitekturna inovacija je postavila temelje za modele, kot sta BERT, GPT in njihovi nasledniki, ki so pokazali vse bolj dovršene zmožnosti kontekstualnega razumevanja. Ti modeli so predhodno usposobljeni na obsežnih korpusih besedil, kar jim omogoča, da absorbirajo vzorce uporabe jezika v neštetih kontekstih, preden so natančno nastavljeni za specifične aplikacije. Obseg teh modelov je eksponentno narasel, od milijonov parametrov do sto milijard, kar jim omogoča, da zajamejo vse bolj subtilne kontekstualne vzorce. Zdi se, da imajo največji modeli zdaj osnovne oblike "zdravorazumskega" znanja, ki jim pomagajo razjasniti nejasne reference in razumeti implicitni pomen.

Medtem ko je razumevanje konteksta na podlagi besedila dramatično napredovalo, se ljudje za razumevanje konteksta ne zanašajo samo na besede. Razlagamo situacije z vizualnimi namigi, tonom glasu, govorico telesa in celo subtilnimi okoljskimi dejavniki.
Nedavni preboji na področju multimodalne umetne inteligence začenjajo premostiti to vrzel. Sistemi, kot so CLIP, DALL-E in njihovi nasledniki, lahko povežejo jezik in vizualne informacije ter ustvarijo bogatejše kontekstualno razumevanje. Če jim je na primer prikazana slika polnega stadiona skupaj z besedilom o "igri", lahko ti sistemi na podlagi vizualnih namigov sklepajo, ali se nanaša na baseball, nogomet ali nogomet.
Avdiovizualni modeli lahko zdaj zaznajo čustvena stanja iz tona glasu in obrazne mimike ter dodajo še eno ključno plast kontekstualnega razumevanja. Ko nekdo reče "Super delo" sarkastično namesto iskreno, se pomen popolnoma spremeni – razliko, ki jo ti novejši sistemi začenjajo dojemati.
Naslednja meja vključuje integracijo teh multimodalnih zmožnosti s pogovorno umetno inteligenco za ustvarjanje sistemov, ki razumejo kontekst v različnih senzoričnih kanalih hkrati. Predstavljajte si pomočnika z umetno inteligenco, ki prepozna, da kuhate (vizualni kontekst), sliši vaš razočarani ton (zvočni kontekst), opazi, da berete recept (besedilni kontekst), in ponudi ustrezno pomoč brez izrecnega poziva.

Tudi z naprednimi jezikovnimi modeli so se sistemi umetne inteligence težko ohranjali dosleden kontekstualni spomin med daljšimi interakcijami. Zgodnji modeli velikih jezikov so »pozabljali« podrobnosti, omenjene prej v pogovoru, ali pa so si izmišljevali odgovore, namesto da bi priznali vrzeli v znanju. Nedavni preboji na področju generiranja z razširjenim iskanjem (RAG) odpravljajo to omejitev tako, da omogočajo sistemom umetne inteligence, da se sklicujejo na zunanje baze znanja in zgodovino prejšnjih pogovorov. Namesto da bi se zanašali izključno na parametre, kodirane med učenjem, lahko ti sistemi aktivno iščejo ustrezne informacije, ko jih potrebujejo, podobno kot ljudje pregledujejo svoj spomin. Kontekstna okna – količina besedila, ki jo lahko umetna inteligenca upošteva pri ustvarjanju odgovorov – so se v najnaprednejših sistemih dramatično povečala z le nekaj sto žetonov na več sto tisoč. To omogoča veliko bolj koherentno ustvarjanje dolgih vsebin in pogovor, ki ohranja doslednost med dolgimi izmenjavami. Enako pomemben je napredek v zmožnostih sklepanja. Sodobni sistemi lahko zdaj izvajajo večstopenjske naloge sklepanja, pri čemer kompleksne probleme razdelijo na obvladljive korake, hkrati pa ohranjajo kontekst skozi ves proces. Na primer, pri reševanju matematičnega problema lahko spremljajo vmesne rezultate in predpostavke na način, ki odraža človeški delovni spomin.

Ko postajajo sistemi umetne inteligence bolj spretni pri razumevanju konteksta, se pojavljajo novi etični premisleki. Sistemi, ki dojamejo kulturne in družbene nianse, bi lahko učinkoviteje manipulirali z uporabniki ali povečali škodljive pristranskosti, prisotne v podatkih o usposabljanju.
Zmožnost ohranjanja kontekstualnega spomina med interakcijami povzroča tudi pomisleke glede zasebnosti. Če si AI zapomni osebne podatke, ki so bili posredovani tedne ali mesece prej, in jih nepričakovano prikaže, lahko uporabniki menijo, da je bila kršena njihova zasebnost, čeprav so te informacije delili prostovoljno.
Razvijalci si prizadevajo odpraviti te pomisleke s tehnikami, kot so nadzorovano pozabljanje, mehanizmi izrecne privolitve za shranjevanje osebnih podatkov in strategije za ublažitev pristranskosti. Cilj je ustvariti AI, ki dovolj dobro razume kontekst, da je v pomoč, ne da bi postal vsiljiv ali manipulativen.
Tu je tudi izziv preglednosti. Ko kontekstualno razumevanje postaja vse bolj sofisticirano, postaja uporabnikom vedno težje razumeti, kako sistemi AI pridejo do svojih zaključkov. Tehnike za razlago odločanja z umetno inteligenco v kontekstno odvisnih scenarijih so aktivno področje raziskav.

Preboji v kontekstualnem razumevanju spreminjajo številna področja:
V zdravstvu lahko kontekstualno ozaveščena umetna inteligenca razlaga pritožbe bolnikov v okviru njihove zdravstvene anamneze, dejavnikov življenjskega sloga in trenutnih zdravil. Ko pacient opiše simptome, lahko sistem postavi ustrezna nadaljnja vprašanja, ki temeljijo na tem celovitem kontekstu, namesto da sledi splošnemu scenariju.
Sistemi za pomoč uporabnikom zdaj vzdržujejo zgodovino pogovorov in podatke o računu med interakcijami, s čimer se odpravi frustrirajoča potreba po ponavljanju informacij. Lahko zaznajo čustvena stanja iz jezikovnih vzorcev in temu primerno prilagodijo svoj ton – postanejo bolj formalni ali empatični, kot zahteva kontekst.
Izobraževalne aplikacije uporabljajo kontekstualno zavedanje za sledenje študentovemu učnemu potovanju ter odkrivanje vrzeli v znanju in napačnih predstav. Namesto zagotavljanja standardizirane vsebine ti sistemi prilagajajo razlage na podlagi študentovih prejšnjih vprašanj, napak in izkazanega razumevanja.
Analiza pravnih in finančnih dokumentov ima ogromno koristi od kontekstualnega razumevanja. Sodobna umetna inteligenca lahko razlaga klavzule znotraj širšega konteksta celotnih pogodb, ustrezne zakonodaje in sodne prakse ter odkriva nedoslednosti ali morebitne težave, ki bi lahko ušle pregledovalcem, ki se ukvarjajo s preobremenitvijo informacij.
Ustvarjalna orodja, kot so pomočniki pri pisanju, zdaj ohranjajo tematsko doslednost v daljših delih in predlagajo vsebino, ki je usklajena z uveljavljenimi liki, nastavitvami in pripovednimi loki, namesto splošnega dokončanja besedila.

Če pogledamo naprej, bi lahko več obetavnih raziskovalnih smeri dodatno preoblikovalo kontekstualno umetno inteligenco:
Namen modelov epizodnega spomina je sistemom umetne inteligence dati nekaj podobnega človeškemu avtobiografskemu spominu – zmožnost zapomniti si določene dogodke in izkušnje namesto le statističnih vzorcev. To bi omogočilo veliko bolj prilagojene interakcije na podlagi skupne zgodovine.
Okviri vzročnega sklepanja poskušajo preseči prepoznavanje vzorcev, ki temelji na korelaciji, k razumevanju vzročno-posledičnih odnosov. To bi omogočilo umetni inteligenci, da sklepa o nasprotnih dejstvih ("Kaj bi se zgodilo, če ...") in naredi natančnejše napovedi v novih kontekstih.
Razvijajo se medkulturni kontekstualni modeli, da bi razumeli, kako se kontekst spreminja v različnih kulturnih okvirih, zaradi česar so sistemi umetne inteligence bolj prilagodljivi in manj pristranski do zahodnih kulturnih norm.
Raziskava utelešene umetne inteligence raziskuje, kako fizični kontekst – biti v okolju z zmožnostjo interakcije z njim – spreminja kontekstualno razumevanje. Roboti in virtualni agenti, ki lahko vidijo, manipulirajo s predmeti in krmarijo po prostorih, razvijajo drugačne kontekstualne modele kot sistemi samo z besedilom.
Končni cilj ostaja ustvarjanje umetne splošne inteligence (AGI) s človeškim razumevanjem konteksta – sistemi, ki lahko neopazno integrirajo vse te oblike konteksta za komuniciranje in razmišljanje o svetu tako učinkovito, kot to počnejo ljudje. Čeprav smo še daleč od tega mejnika, hitrost prebojev kaže, da se vztrajno premikamo v to smer.
Ko se te tehnologije še naprej razvijajo, spreminjajo naš odnos s stroji iz togih interakcij, ki temeljijo na ukazih, v tekoča, kontekstualno bogata sodelovanja, ki vse bolj spominjajo na komunikacijo med človekom. Umetna inteligenca, ki resnično razume kontekst, ni le tehnični dosežek – predstavlja temeljni premik na tehnološkem potovanju človeštva.