Kako sem zgradil svojega klepetalnega robota z umetno inteligenco: Pot razvijalca

Začelo se je s preprosto težavo – utapljal sem se v povpraševanjih strank. Kot edini razvijalec moje rastoče spletne strani za tehnološko svetovanje sem vsak dan ure in ure odgovarjal na ista vprašanja. Moja produktivnost je padala in vedel sem, da se mora nekaj spremeniti. Trenutek razsvetljenja se je zgodil v torek ob 2. uri zjutraj, ko sem bil omamljen od odgovora na še eno e-poštno sporočilo »Kako ponastavim geslo?«. Zakaj ne bi mogel zgraditi nečesa, kar bi obvladovalo te ponavljajoče se interakcije? Z zanimanjem sem spremljal eksplozijo umetne inteligence in velikih jezikovnih modelov, predvsem pa kot opazovalec. Seveda sem se igral s ChatGPT in Claudeom kot vsi drugi, toda ustvarjanje lastnega pomočnika z umetno inteligenco se mi je zdelo nekaj, kar je rezervirano za ekipe z globokim žepom in globljim strokovnim znanjem. Kljub temu se nisem mogel otresti ideje, da bi lahko bil klepetalni robot po meri – tak, ki pozna moje podjetje od znotraj in od zunaj – rešitev, ki sem jo obupno potreboval. Kar se je začelo kot vikend projekt, da bi si prihranil nekaj časa, se je razvilo v šestmesečno obsesijo, ki je temeljito spremenila moj pristop k razvoju programske opreme, uporabniški izkušnji in sami naravi interakcije med človekom in računalnikom. To je zgodba o tem, kako sem zgradil svojega klepetalnega robota, kaj sem se naučil na tej poti in zakaj bi ga morda želeli ustvariti tudi vi.

Prva večja ovira je bila odločitev o mojem tehnološkem skladu. Takoj sem bil preobremenjen z možnostmi – ali naj gradim na obstoječih API-jih, kot sta OpenAI-jev GPT ali Anthropic-ov Claude? Ali naj natančno izpopolnim odprtokodni model? Ali naj ciljam na manjše s sistemom, ki temelji na pravilih in sploh ne zahteva najsodobnejše umetne inteligence?
Po tednih raziskav in več preizkusih koncepta sem se odločil za hibridni pristop. Kot možgane bi uporabil natančno izpopolnjen odprtokodni jezikovni model, povezan s sistemom za generiranje z razširjenim iskanjem (RAG), ki bi mu omogočil dostop do dokumentacije in vsebine pogostih vprašanj mojega spletnega mesta. To bi klepetalnemu robotu omogočilo splošno inteligenco, hkrati pa bi imel še vedno specifično znanje o mojem podjetju.
Za sam model sem izbral Mistralov 7B parametrični model – dovolj majhen, da bi deloval na moji skromni strežniški nastavitvi, a dovolj zmogljiv, da bi z impresivno tekočnostjo obvladoval naravni jezik. Komponenta RAG bi uporabljala vektorsko bazo podatkov (Pinecone) za shranjevanje vdelanih delov moje dokumentacije, kar bi klepetalnemu robotu omogočilo, da pri odgovarjanju na vprašanja pridobi ustrezne informacije.
Sprednji del je bil zgrajen z Reactom, zaledni del Node.js pa je skrbel za klice in obdelavo API-ja. Za WebSockets sem se odločil za vzdrževanje pogovorne povezave z uporabniki, kar je omogočilo bolj naravno izmenjavo brez ponovnega nalaganja strani.
Ta paket mi je dal potrebno fleksibilnost, hkrati pa je ohranil obvladljive stroške. Odprtokodna osnova je pomenila, da nisem bil vezan na cene API-jev, ki bi lahko poskočile, če bi moje spletno mesto nenadoma postalo priljubljeno, medtem ko je pristop z vektorsko podatkovno bazo zagotavljal, da je imel moj klepetalni robot vedno dostop do najnovejših informacij o mojih storitvah.

Kar loči generičnega klepetalnega robota od resnično uporabnega pomočnika, so podatki – natančneje vaši podatki. Hitro sem spoznal, da bo moj klepetalni robot le tako dober, kot so informacije, ki mu jih posredujem. To je pomenilo, da moram iti dlje od zgolj strganja vsebine mojega spletnega mesta; moral sem zajeti bistvo moje komunikacije s strankami. Začel sem s pregledovanjem stotin e-poštnih izmenjav, zahtevkov za podporo in dnevnikov klepetov v živo. Te podatke sem anonimiziral, izluščil vzorce vprašanj, ki so jih ljudje postavljali, in – kar je ključno – kako sem se nanje odzval. To mi je dalo primere usposabljanja, ki so odražali moj dejanski ton, raven tehničnih podrobnosti in pristop k reševanju problemov. Za strukturirano znanje sem ustvaril obsežen dokument s pogostimi vprašanji, ki je zajemal vse od vprašanj o cenah do tehničnih specifikacij. Dokumentiral sem tudi pogoste poteke dela za odpravljanje težav, pri čemer sem zajel odločitvena drevesa, ki jim podzavestno sledim, ko pomagam strankam pri diagnosticiranju težav. Sam proces usposabljanja je bil iterativen in ponižen. Moj prvi poskus je privedel do klepetalnega robota, ki je poznal dejstva o mojem podjetju, a se je odzival kot korporativni priročnik. Manjkala mu je toplina in občasen humor, ki sta bila značilna za moje lastne interakcije. Vrnil sem se k risalni deski, tokrat pa sem se osredotočil na vključitev primerov, ki so poleg informacij prikazovali tudi osebnost. Nepričakovan izziv je bil naučiti klepetalnega robota, kdaj naj reče »Ne vem« – bistvena veščina za vsak sistem umetne inteligence. Moral sem ga posebej usposobiti, da prepozna meje svojega znanja in po potrebi zagotovi jasne poti do človeške podpore. To je zahtevalo ustvarjanje negativnih primerov in robnih primerov, kjer je bil pravilen odziv stopnjevanje in ne improvizacija odgovora. Po treh ponovitvah učenja sem končno imel model, ki je lahko prestal tako imenovani »polnočni test« – ali je lahko obravnaval vprašanja, na katera sem ostal pozno pokonci? Ko je uspešno vodil uporabnika skozi naš postopek preverjanja pristnosti API z enako jasnostjo, kot bi jo uporabil jaz, sem vedel, da smo na dobrem poti.

Razlika med poveličanim iskanjem po pogostih vprašanjih in pravim pogovornim pomočnikom je zavedanje konteksta – sposobnost zapomniti si, kaj je bilo povedano prej, in graditi na tem. To se je izkazalo za enega tehnično najbolj zahtevnih vidikov celotnega projekta.
Moja prva implementacija je uporabljala preprosto kontekstno okno, ki je vsaki novi poizvedbi preprosto dodalo zadnjih nekaj izmenjav. To je delovalo za osnovna nadaljnja vprašanja, vendar se je v zapletenih scenarijih hitro pokvarilo. Če je uporabnik vprašal o funkciji A, nato o funkciji B in nato spet dobil nadaljnje vprašanje o funkciji A, se je klepetalni robot zmedel.
Sčasoma sem uvedel bolj dovršen sistem za upravljanje konteksta, ki je uporabljal kombinacijo tehnik:

Drsno kontekstno okno, ki je dajalo prednost nedavnim izmenjavam, hkrati pa je ohranjalo pomembne prejšnje informacije
Sledenje entitetam za prepoznavanje, kdaj so se uporabniki sklicevali na prej omenjene izdelke ali funkcije
Upravljanje stanja seje za sledenje, kje so bili uporabniki v večstopenjskih procesih, kot je nastavitev računa

Preboj se je zgodil, ko sem dodal točkovanje ustreznosti, da bi ugotovil, kateri deli zgodovine pogovorov so bili najpomembnejši za trenutno poizvedbo. Namesto slepega vključevanja zadnjih N izmenjav je sistem zdaj ocenil, kateri prejšnji deli pogovora so bili semantično najbolj povezani z novim vprašanjem. To je bistveno vplivalo na zadovoljstvo uporabnikov. Klepetalni robot je zdaj lahko obvladoval naravne pogovorne tokove, kot so: »Koliko stane osnovni paket?« → »Katere funkcije vključuje?« → »In premium paket?« → »Ali ima funkcijo deljenja datotek, ki ste jo omenili prej?« Brez izpuščanja konteksta ali zmede. Opazovanje uporabnikov, kako brez frustracij komunicirajo s sistemom, je bilo izjemno zadovoljivo – niso se prilagajali omejitvam klepetalnega robota; klepetalni robot se je prilagajal njihovemu naravnemu pogovornemu slogu.

Ne glede na to, kako dobro usposobite svoj model, se bodo pojavili robni primeri – pogosto na načine, ki jih niste nikoli pričakovali. Kmalu po zagonu klepetalnega robota na svoji spletni strani sem začel opažati nekaj fascinantnih in občasno smešnih napak, ki so me vrnile nazaj na risalno desko. En obiskovalec je 15 minut poskušal prepričati mojega klepetalnega robota, da napiše pesem o kibernetski varnosti (nekaj, kar presega njegov predvideni namen). Drug ga je poskušal uporabiti kot splošnega programerskega pomočnika, pri čemer je vanj vstavljal delčke kode in prosil za pomoč pri odpravljanju napak za tehnologije, ki niso bile povsem povezane z mojim poslovanjem. Najbolj zaskrbljujoče so bile občasne »halucinacije« – primeri, ko je klepetalni robot samozavestno posredoval napačne informacije z napačno interpretacijo dokumentacije ali pretiranim posploševanjem iz primerov učenja. Te izzive sem obravnaval z večplastnim pristopom:
Prvič, v sistemski poziv sem uvedel jasnejše meje obsega, pri čemer sem modelu izrecno navedel njegov namen in omejitve. To je zmanjšalo število uporabnikov, ki bi ga poskušali uporabiti za nenamerne namene. Drugič, dodal sem mehanizem za ocenjevanje zaupanja. Ko je izhod modela kazal znake negotovosti (z jezikovnimi označevalci ali nizko stopnjo zaupanja v napoved), je uporabniku to negotovost priznal, namesto da bi ugibanja predstavil kot dejstva. Tretjič, ustvaril sem pot eskalacije z jasnimi sprožilci. Določene teme ali zaznavanje uporabnikove frustracije so spodbudile klepetalni robot, da je uporabniku ponudil neposredno povezavo z mano, kar je ustvarilo nemoteno izkušnjo predaje. Nazadnje sem vzpostavil povratno zanko, kjer so lahko uporabniki označili problematične odgovore, ki so bili samodejno dodani v čakalno vrsto za pregled. To mi je dalo sistematičen način za prepoznavanje in odpravljanje težav, namesto da bi se igral udarec krta z robnimi primeri. Morda je bila najdragocenejša lekcija pridobljena iz analize teh robnih primerov: popoln klepetalni robot ni bil tisti, ki nikoli ni delal napak, ampak tisti, ki je elegantno obravnaval svoje omejitve in vedel, kdaj vključiti človeka. Ta premik v perspektivi je spremenil način, kako sem ocenjeval uspeh in vodil svoje nadaljnje izboljšave.

Tehnično briljanten klepetalni robot z nerodnim vmesnikom je kot Ferrari s kvadratnimi kolesi – vsa ta moč gre v nič, če uporabniki ne morejo udobno komunicirati z njim. To lekcijo sem se naučil na težji način, potem ko so se moji začetni beta preizkuševalci pritoževali nad vsem, od počasnih odzivnih časov do zmedenih tokov pogovorov.
Prvi vmesnik, ki sem ga zgradil, je bil tehnično funkcionalen, vendar se je zdel sterilen in mehaničen. Uporabniško testiranje je pokazalo, da so ljudje oklevali pri interakciji z njim – preprosto se ni zdel privlačen. Vrnil sem se k risalni deski z mislijo na ta načela:
Osebnost je pomembna: Dodal sem subtilne oblikovne elemente, ki so odražali osebnost klepetalnega robota – prijazen avatar, indikatorje tipkanja, ki so posnemali človeške ritme, in občasne animacije, ki so mu dajale občutek živosti, ne da bi pri tem zašel v zlobno dolino.
Postavite jasna pričakovanja: Ustvaril sem uvodno sporočilo, ki je jasno pojasnilo, pri čem lahko klepetalni robot pomaga in kakšne so njegove omejitve, ter že od samega začetka postavil ustrezna pričakovanja uporabnikov.
Postopno razkritje: Namesto da bi uporabnike vnaprej zasul z vsemi možnostmi, sem uvedel sistem, v katerem bi klepetalni robot predlagal ustrezna nadaljnja dejanja glede na kontekst pogovora.
Oblikovanje, usmerjeno v mobilne naprave: Ko sem ugotovil, da več kot 60 % mojih uporabnikov dostopa do spletnega mesta na mobilnih napravah, sem popolnoma preoblikoval vmesnik za klepet, da bi brezhibno deloval na manjših zaslonih – večje ciljne površine na dotik, celozaslonski način klepeta in možnosti glasovnega vnosa. Vizualne povratne informacije: Dodal sem subtilne indikatorje stanja, da so uporabniki vedno vedeli, kaj se dogaja – ali klepetalni robot »razmišlja«, ali so bile težave s povezavo ali ali je bil v pogovor vpleten človek. En poseben element uporabniškega vmesnika je naredil presenetljivo razliko: gumb za »pojasnilo«, ki so ga lahko uporabniki tapnili, če so menili, da jih klepetalni robot narobe razume. Ta preprosta funkcija je dramatično izboljšala zadovoljstvo uporabnikov, saj jim je dala očitno pot naprej, ko je komunikacija prekinjena, namesto da bi jih prisilila, da bi svoje vprašanje preoblikovali od začetka. Meritve pred in po so bile presenetljive – povprečna dolžina pogovora se je povečala za 340 %, število uporabnikov, ki so se večkrat vrnili k uporabi klepetalnega robota, pa se je podvojilo. Lekcija je bila jasna: tehnična zmogljivost pomeni malo, če človeški vmesnik ustvarja trenje.

Klepetalni robot ne obstaja sam po sebi – da bi bil resnično koristen, se mora integrirati z vašim obstoječim digitalnim ekosistemom. V mojem primeru je to pomenilo povezavo z mojo bazo podatkov strank, dokumentacijskim sistemom in platformo za zahteve za podporo. Začetna integracija je bila osnovna – klepetalni robot je lahko iskal dokumentacijo in imel dostop samo za branje do pogostih vprašanj. Vendar so uporabniki hitro želeli več: »Ali lahko preverite stanje mojega naročila?« »Ali lahko posodobite moj e-poštni naslov?« »Ali lahko ustvarite zahtevek za podporo zame?« Te zahteve so bile z vidika uporabnika popolnoma smiselne, vendar so zahtevale globljo sistemsko integracijo. Uporabil sem pristop mikroservisov in ustvaril posebne končne točke API-ja, ki jih je klepetalni robot lahko poklical z ustrezno avtentikacijo. Vsaka integracija je imela svoje varnostne vidike. Za operacije samo za branje, kot je preverjanje stanja naročila, sem uvedel tok preverjanja, kjer bi morali uporabniki navesti številke naročil in povezane e-poštne naslove. Za operacije pisanja, kot je posodabljanje podatkov o računu, sem zgradil robustnejši korak avtentikacije. Še posebej uporabna integracija je bila z mojim sistemom za izdajo zahtevkov. Ko je klepetalni robot zaznal, da težave ne more ustrezno rešiti, je ponudil ustvarjanje zahteve za podporo, ki je bila predhodno izpolnjena z zgodovino pogovorov (z dovoljenjem uporabnika). To je pomenilo, da sem imel ob končnem odgovoru na zahtevo na voljo celoten kontekst, ne da bi se uporabnik moral ponavljati. Integracije so klepetalni robota iz samostojnega sistema za vprašanja in odgovore spremenile v pravega poslovnega asistenta. Povprečni čas reševanja pogostih težav se je skrajšal z 8 ur (čakanje na odgovor na e-pošto) na manj kot 3 minute. Morda še pomembneje, uporabniki so poročali o večjem zadovoljstvu, tudi ko klepetalni robot ni mogel v celoti rešiti njihove težave, preprosto zato, ker je lahko zagotovil takojšnje posodobitve stanja in ustvaril odgovornost prek sistema za izdajo zahtevkov. Lekcija: vrednost klepetalnega robota se pomnoži, ko lahko izkoristi vaše obstoječe sisteme in dejansko izvede koristna dejanja v imenu uporabnikov, ne le govori o njih.

Kako veste, ali je vaš klepetalni robot dejansko uspešen? To vprašanje se je izkazalo za bolj zapleteno, kot sem sprva mislil. Surove številke uporabe niso povedale celotne zgodbe – klepetalni robot, ki se pogosto uporablja, lahko dejansko kaže na slabo navigacijo po spletnem mestu in ne na koristnega pomočnika. Uvedel sem večplasten analitični pristop:
Metrike pogovorov: Spremljal sem stopnje dokončanja (ali so uporabniki dobili odgovore na svoja vprašanja?), dolžino pogovora, točke opustitve in porazdelitev tem, da bi razumel, za kaj ljudje dejansko uporabljajo klepetalni robot.
Metrike poslovnega vpliva: Meril sem zmanjšan obseg e-pošte za pogosta vprašanja, stopnjo preusmeritve zahtevkov za podporo (težave rešene brez ustvarjanja zahtevkov) in čas do rešitve za poizvedbe strank. Zadovoljstvo uporabnikov: Po vsakem pogovoru so lahko uporabniki ocenili svojo izkušnjo, te ocene pa sem analiziral glede na prepise pogovorov, da bi ugotovil vzorce pozitivnih in negativnih izkušenj.
Vpliv na prihodek: Spremljal sem stopnje konverzije za uporabnike, ki so sodelovali s klepetalnim robotom, v primerjavi s tistimi, ki niso, zlasti pri pogovorih, kjer je klepetalni robot priporočil določene storitve. Podatki so razkrili presenetljive vpoglede. Klepetalni robot je bil na primer najbolj dragocen ne za najpreprostejša vprašanja (ki bi jih bilo mogoče rešiti z boljšo dokumentacijo) ali najzahtevnejša (ki so na koncu zahtevala človeško posredovanje), temveč za osrednja vprašanja, ki so zahtevala nekaj poenostavljenih pojasnil, vendar so sledila ustaljenim vzorcem. Ugotovil sem tudi, da so se uporabniki, ki so komunicirali s klepetalnim robotom, za 37 % pogosteje prijavili na premium storitve, ne nujno zato, ker je bil klepetalni robot odličen prodajalec, temveč zato, ker je zmanjšal trenje v fazi zbiranja informacij v strankini poti. Te meritve so vodile moj načrt izboljšav. Prednost sem dal izboljšanju področij, kjer se je klepetalni robot že izkazal za koristnega, namesto da bi ga poskušal prisiliti, da naredi vse. Vsaka dva tedna sem pregledal dnevnike pogovorov, kjer so uporabniki izrazili nezadovoljstvo, prepoznal vzorce in uvedel ciljno usmerjene izboljšave – pa naj bo to pomenilo dodatne podatke za usposabljanje, prilagoditve uporabniške izkušnje ali nove sistemske integracije. Ta pristop, ki temelji na podatkih, je klepetalni robot iz kul tehnološkega projekta spremenil v resnično poslovno sredstvo z merljivo donosnostjo naložbe.

Izdelava lastnega klepetalnega robota z umetno inteligenco je bila pot nenehnega odkrivanja. Če se ozrem nazaj, so tukaj ključne lekcije, ki bi lahko pomagale drugim na podobnih poteh:

Začni ozko, nato razširi: Moj najuspešnejši pristop je bil, da sem klepetalnega robota osredotočil na izjemno dobro opravljanje nekaj stvari, preden sem razširil njegove zmogljivosti. Začetna različica je obravnavala le osnovna vprašanja o izdelkih, vendar z visoko natančnostjo.

Prenos med človekom in umetno inteligenco je ključnega pomena: Že od samega začetka oblikujte za elegantno eskalacijo. Trenutki, ko vaš klepetalni robot prepozna svoje omejitve in gladko preide na človeško podporo, so prav tako pomembni kot vprašanja, na katera lahko neposredno odgovori.

Vlagajte v dobro zasnovo pogovora: Kakovost vaših pozivov, podatkov za učenje in potekov pogovora je pomembnejša od surovih zmogljivosti modela. Dobro zasnovan sistem, ki uporablja manjši model, pogosto prekaša zmogljiv model s slabim vodenjem.

Uporabniki odpuščajo omejitve, ne pa zmede: Uporabniki so razumeli, kdaj klepetalni robot nečesa ni mogel storiti, vendar so postali razočarani, ko se je zdel zmeden ali si je nasprotoval. Jasnost glede zmogljivosti se je izkazala za pomembnejšo od širine funkcij.
Varnostni in zasebnostni vidiki se razvijajo: Ko se je klepetalni robot bolj integriral s poslovnimi sistemi, so varnostni vidiki postali vse pomembnejši. Moral sem uvesti ustrezno preverjanje pristnosti, prakse zmanjševanja podatkov in jasne mehanizme za soglasje uporabnikov. Kar zadeva prihodnost, raziskujem več vznemirljivih smeri:
Multimodalne zmogljivosti: Dodatek možnosti za nalaganje posnetkov zaslona ali fotografij sporočil o napakah uporabnikom, pri čemer klepetalni robot v zameno zagotavlja vizualno vodenje. Proaktivna pomoč: Preseganje reaktivnih vprašanj in odgovorov za prepoznavanje trenutkov, ko lahko klepetalni robot proaktivno ponudi pomoč na podlagi vedenja uporabnikov. Prilagajanje: Uporaba zgodovine pogovorov in podatkov o računu za prilagajanje odgovorov uporabnikom, ki se vračajo, pri čemer si zapomni njihove nastavitve in prejšnje težave. Glasovni vmesnik: Mnogi uporabniki so izrazili zanimanje za pogovor s asistentom namesto za tipkanje, zlasti na mobilnih napravah. Izdelava tega klepetalnega robota ni spremenila le mojega poslovnega delovanja, temveč tudi moje razumevanje interakcije med človekom in računalnikom. Tehnologija se bo še naprej hitro razvijala, vendar temelji ostajajo: razumevanje potreb uporabnikov, oblikovanje premišljenih pogovorov in ustvarjanje sistemov, ki poznajo tako njihove zmogljivosti kot omejitve. Če razmišljate o izdelavi lastnega klepetalnega robota, vas spodbujam, da se potrudite. Začnite z majhnimi koraki, osredotočite se na resnične potrebe uporabnikov in ne pozabite, da cilj ni opraviti Turingov test – temveč rešiti resnične probleme za resnične ljudi. Najuspešnejši pomočniki umetne inteligence niso tisti, ki popolnoma posnemajo ljudi, temveč tisti, ki na smiseln način izboljšujejo človeške zmogljivosti.