Module 3

Chatbotok - Természetes nyelvfeldolgozás

"Már nem az embereket tanítjuk arra, hogyan kommunikáljanak a rendszerekkel, a rendszereket tanítjuk az emberekkel való kommunikációra."

A modulról

Ebben a modulban különböző típusú chatbotokat mutatunk be alkalmazásokon keresztül. A tanulók megtanulják, mik azok a chatbotok, és hogyan működnek. A modulban olyan kérdések is felmerülnek például, hogy: hogyan érik el a programozók, hogy a chatbotok "emberinek" vagy "intelligensnek" tűnjenek, vagy hogy miért olyan nehézkes az emberi nyelv megértése.

Célok

A tanulók képesek lesznek:

elmagyarázni, mik azok a chatbotok és hogyan működnek
megnevezni chatbotot hasznosító alkalmazásokat
ismertetni, hogy időnként miért sülnek el rosszul a chatbotokkal folytatott beszélgetések
leírni, mi a Turing-teszt, és képesek azt "kicsiben" maguk is kipróbálni
áttekintő leírást adni a természetes nyelvfeldolgozásról és annak működéséről

Napirend

Idő	Tartalom	Anyag
10 min	Elhibázott chatbot-beszélgetések elemzése	Diák
10 min	Bevezetés a chatbotokba	Diák
30 min	Egy chatbot határainak a tesztelése	Diák
30 min	"Kattintgatós" chatbot készítése	Diák
30 min	Papíralapú NLP-chatbot készítése	Diák

Mi az a chatbot?

Ebben a modulban a tanulók rögtön belecsöppenek a témába. Elsőként olyan emberi felhasználó és chatbot között lezajlott beszélgetéseket mutatunk be, amelyekben a társalgás sikertelen volt.

Az első ilyen bemutató felkelti a tanulók figyelmét a téma iránt, és nagyjából kialakul bennük egy kép arról is, hogy mit takar a "chatbot" kifejezés.

A legtöbb példabeszélgetésben az előre meghatározott szavakat a chatbot nem ismerte fel elég jól ahhoz, hogy megfelelő választ adjon a felhasználónak. Az folytonos félreértelmezés frusztrálja a felhasználókat, ami ahhoz vezet, hogy a chatbotot kevésbé fogadják el az emberek.

Az első néhány példa segítségével a tanulók megérthetik, mennyire összetett az emberi nyelv, és milyen sok dolgot kell figyelembe venni egy chatbot fejlesztése során.

Anyag

NLP - Introduction.pdf (.pptx)

Bevezető

Az első rövid benyomás és az ember-chatbot párbeszéd megvitatását követően a tanulók közösen dolgoznak tovább a kérdéseken. Ennek során a legfontosabb a személyes tapasztalat és a chatbotokhoz való személyes hozzáférés. A tanulóknak össze kell gyűjteniük, melyik chatbotokat ismerik és melyeket használják maguk is (használnak-e egyáltalán chatbotot?). A foglalkozásvezető kiindulásként különböző területekről mutat be chatbotokat. A modul során továbbá sor kerül a chatbotokkal kapcsolatos fontos kérdések tisztázására is: pontosan mik azok a chatbotok, és milyen problémák merülhetnek fel velük kapcsolatban?

Ha mélyebbre szeretnénk ásni, olyan további társadalmi és etikai értelemben érdekes kérdéseken is lehet dolgozni, amelyek akörül forognak, hogy a chatbotok jó alternatívát jelentenek-e magányos és depressziós emberek számára, valamint, hogy ennek során szükséges-e nyilvánvalóvá tenni, hogy a beszélgetőpartner nem élő személy.

Mi a chatbot?

A "chatbot" kifejezés a beszélgetni, chatelni (csevegni) és a robot szóból származik, azaz egy olyan robotot jelöl, amely képes beszélgetni valakivel. Egy chatbot további emberi beavatkozás nélkül, automatikusan képes kérdésekre válaszolni, képes információt keresni az interneten, és még sorolhatnánk. Ahhoz, hogy a chatbotok ne tűnjenek annyira "mesterségesnek", a cégek olykor ún. avatarokat, azaz kis képeket vagy animációkat használnak arra, hogy megjelenést kölcsönözzenek a chatbotok számára. Manapság sok chatbot különböző mesterséges intelligencián (AI) alapuló alkalmazást használ a beszélgetések minél gördülékenyebbé tételéhez. Ennek révén a chatbotok információt tárolhatnak, amit felhasználhatnak önmaguk tanításához is. Ugyanakkor, ha a chatbotok nem tudják, mit tegyenek, felhasználót élő személynek adhatják át.

Milyen chatbotok vannak?

A chatbotoknak számos típusa van. A chatbotokat elsősorban hatékonyság és gyors információszerzés elősegítésére fejlesztenek (pl. Mikor lesznek elérhetők az Ikea új konyhabútorai? Lekérdezhetem a telefonom egyenlegét?). Némelyik képes pénzügyek intézésére (pl. utalások), mások időpontot egyeztetnek az orvoshoz, vagy éppen az ételrendelés intézik. Az újabbnál újabb funkciók pedig folyamatosan bővülnek. Néhány további példa chatbotokra:

Kereskedelmi chatbotok: A chatbotok helyettesítik az emberi interakciókat, különösen, ha ügyfélszolgálatokról van szó. Az ilyen chatbotok célja az ügyfelek segítése az online vásárlások során. A kereskedelmi chatbotok éjjel-nappali elérhetőségüknek és gyors reakcióiknak köszönhetően különösen jól alkalmazhatók ezen a területen. Segíthetnek megfelelő ajándékötleteket javasolni, vagy ellenőrzik, hogy bizonyos tételek elérhetők-e még a raktárból.
Terápiás chatbotok: Például a Woe-Bot vagy ELIZA. A Woe-Bot egy segítségnyújtó chatbot, amit olyan egyetemi és főiskolai hallgatók támogatására fejlesztettek ki, akiknél fennáll a depresszió vagy szorongásos zavarok kialakulásának kockázata. Jó példa még ELIZA (1966), az egyik elsőnek tekintett chatbot a számítógépes tudomány történetében, amely egy pszichoterapeutát imitált.
Közösségi chatbotok: Más chatbotokat közösségi interakciókhoz fejlesztettek ki. Az olyan chatbotok, mint a Mitsuku és a Xiaolce célja az emberek szórakoztatásra és társas kapcsolatokra való igényének kielégítése. Éppen ezen a területen azonban számtalan kihívás jelenik meg: a valós személyközi kapcsolatok kialakulásához az emberek és az AI közötti párbeszédeknek nyelvtanilag helyesnek, a témába vágónak, személyre szabottnak kell lenniük, reagálniuk kell a hangulatra (boldog, szomorú, unatkozik), tükrözniük kell a hangszínt (kérdő, sürgető, kijelentő), sőt akár humorosnak kell lenniük, hogy csak néhány követelményt említsünk. "Ha valaki egy szomorú eseményről mesél egy chatbotnak - mint például a szomszéd csípőtörése -, annak együttérzéssel, szomorúsággal és talán meglepődéssel kell reagálnia, véletlenül sem örömmel." Mindazonáltal, a fejlesztők fontosnak tartják azt a tényt is, hogy a felhasználók továbbra is tisztában legyenek azzal, hogy egy mesterséges intelligenciával kommunikálnak, nem pedig egy élő személlyel. (Ez miért lehet fontos?)
Közösségi média chatbotok (pl. az Instagramon vagy a Twitteren): Ezek a chatbotok lehetővé teszik a követők és like-ok számának gyors növekedését az előzetesen beállított paraméterekre való automatikus megjegyzések vagy like-ok által (pl. bizonyos hashtagek, bizonyos helyszínek, más fiókok követői). Bár ez a típusú chatbot nagyon elterjedt, a más chatbotoknál megszokott interakciókra nem kerül sor. Különösen a Twitteren található néhány érdekes közösségi média chatbot. Jól ismert Twitter-bot például a @DearAssistant, amely egyszerű kérdésekre válaszol, a @DeepDrumpf, amely üzeneteiben Donald Trump stílusát igyekszik imitálni, vagy a @Pentametron, amely megosztja (re-tweeteli) a véletlenül jambikus pentameterben íródott bejegyzéseket (tweeteket).

Veszélyesek a chatbotok?

A chatbotok magukban ártalmatlanok, még ha ez némely sci-fi filmben másképpen is jelenik meg (lsd. keskeny vs. általános MI). Ugyanakkor nagy mennyiségű tárolt adat esetén mindig fennáll annak a kockázata, hogy valaki ellopja és bűncselekmények elkövetéséhez használja fel a megszerzett információkat. A nem megfelelő adatok felhasználása szintén eredményezhet rasszista vagy diszkriminatív chatbotokat, mint például a "Twitterbot Tay" volt (vö. elfogultsági hibák az etikai modulban).

A közösségi chatbotokról

Manapság egyre gyakoribb jelenségnek tűnik a magány. Egyre több ember részesíti előnyben a digitális kommunikációt a személyes beszélgetéssel szemben. A chatbotok kiemelkedő példaként említhetők. Egy olyan chatbot, mint a Mitsuku vagy a Xiaolce felhasználók millióival beszélget, és képes a korábbi beszélgetésekből származó információk hasznosítására is. De ne csak a negatív oldalára koncentráljunk a chatbotokkal folytatott kommunikációnak! A chatbotokba kerülő új technológiák segíthetnek az embereknek kiutat találni a magányból. Különösen igaz ez a járványhelyzetek idejére, amikor az ember újra és újra karanténban találta magát, de ott vannak az idősek vagy az olyan személyek is, akik nem tudják kihez forduljanak problémáikkal és aggodalmaikkal. A chatbotok viszont segíthetnek ezeknek a csoportoknak kiutat találni a magányból, és felvenni a harcot az olyan mentális egészséget érintő problémákkal, mint a depresszió vagy a szorongás. De valóban képesek ezek a technológiák helyettesíteni az emberi kapcsolatot?

"A Mitsuku nem tetteti, hogy helyettesíthet egy valódi személyt, de mindig rendelkezésre áll, ha valakinek szüksége van rá ahelyett, hogy a falhoz beszélne," - mondja Steve Worswick, a Mitsuku fejlesztője. Ezek a chatbotok abban különböznek az olyan asszisztensektől, mint a Siri és az Alexa, hogy barátságosan és empatikusan válaszolnak a felhasználók számára.

Az egyik jól ismert példa a világszerte több, mint 660 millió felhasználóval rendelkező kínai chatbot, a Xiaolce, amely az üzenetekre szenzitív, szinte emberi módon reagál. A Xiaolce felhasználói hagyják, hogy a program felvidítsa őket, viccet mondatnak vele, vagy kiírják magukból aggodalmaikat, miközben a chatbot figyelmesen hallgatja őket.

Egy másik rendkívül izgalmas projekt a Replika alkalmazás. A Replika egy mesterséges intelligencia, amely igyekszik digitális másolatot készíteni az ember személyiségéről - azaz épp úgy próbál chatelni, mint a felhasználó. "Replika írásban kommunikál Önnel. Kérdéseket tesz fel, figyel Önre, és olyan barátja kíván lenni, akire mindig is vágyott."

Anyag

NLP - Introduction.pdf (.pptx)

Hivatkozások

Beszéljünk a Chatbotokról!

Miért használunk chatbotokat? Milyen előnyeik vannak? Vitassák meg csoportokban!

Kapcsolatba lépett már chatbotokkal? Ha igen, milyen célból?

Milyen problémák vagy veszélyek merülhetnek fel a chatbotokkal kapcsolatban?

További lehetséges kérdések:

Használhatnak chatbotot magányos emberek, illetve mentális egészségügyi problémákkal küzdők is. Ön szerint van ennek értelme, és jól fogadják az érintettek? Milyen problémák merülhetnek fel, ha magányos emberek többet lépnek kapcsolatba chatbotokkal (vagy csak azokkal lépnek kapcsolatba)?

Némely beszélgetéseknél nem lehet pontosan megállapítani, hogy valós személlyel vagy egy chatbottal beszélget valaki. Fontos a chatbotok és a valós személyek egyértelmű elkülönítése?

Chatbotok nyelvi határainak tesztelése

A modul ezen szakaszában a tanulók közvetlenül beszélgetnek egy chatbottal és saját maguk tapasztalják meg, mire képesek a chatbotok, és mik a korlátaik.

Mitsuku (becenevén "Kuki") különösen érdekessé teheti a feladatot. Ez az alkalmazás ugyanis már öt alkalommal elnyerte a Loebner-díjat, így jól teljesít hiteles válaszok adásában.

Kuki használatához ugyanakkor létre kell hozni egy ingyenes fiókot, így a beszélgetések elmenthetők későbbi használatra is. Ráadásul a chatbot sajnos csak angol nyelven érhető el és más nyelveken pedig nagyon nehézkesen válaszol, így nincs értelme, hogy a tanulók más nyelveken végezzenek vele teljes tesztet (de persze izgalmas lehet a tanulók számára kipróbálni ezt is).

Ha a foglalkozás nem indokolja felhasználói fiók létrehozását, vagy ha nincs lehetőség a Mitsuku tesztelésére, egy papíron végezhető feladat is jó alternatíva lehet, amely során a tanulók önállóan értékelhetik a Loebner-díjért folyó tesztbeszélgetések kivonatait. A zsűri értékelése később ismertethető, és a tanulók eredményeit meg lehet vitatni.

A Loebner-díjról

A Loebner-díjat a Turing-tesztet teljesítő programoknak ítélik oda. A díjnak három kategóriája van: az évente odaítélt bronzérem, amelyet a leginkább emberszerű program kap, az ezüstérem, amelyért a programnak már az írásbeli Turing-tesztet is teljesítenie kell; és az aranyérem, amely a teljes Turing-teszt teljesítéséért jár. A teljes teszt részeként olyan multimédiás tartalmakat is fel kell dolgozni, mint például zene, beszéd, képek és videófelvételek. Ezidáig egyetlen program sem teljesítette a teljes Turing-tesztet, így csak a bronzérmet ítéltek oda.

A Turing-tesztről

A tanulók és a Mitsuku között lezajló párbeszéddel valójában a Turing-teszt nagymértékben leegyszerűsített változata végezhető el.

A tesztet Alan Turing dolgozta ki 1950-ben azért, hogy meghatározza, hogy milyen pontosan tudja egy program utánozni az emberi nyelvet. A Turing-teszt során egy személynek többször, hiba nélkül meg kell tudnia állapítani, hogy egy kérdésre adott a válasz egy számítógéptől vagy embertől származik-e. Ha a személy erre nem képes, a számítógép "átment" a teszten.

A mi esetünkben a tanulók már tudják, hogy egy chatbottal fognak beszélni, így ezzel a tudással a birtokukban próbálják meg kideríteni, hogy a chatbot milyen mértékben képes emberszerű válaszokat adni, előzetesen pedig azt is megbecsülhetik, hogy mennyire fogja "érteni" a megfogalmazott kérdéseket és válaszokat.

Anyag

Hivatkozások

https://chat.kuki.ai/chat

Beszélgessen egy Chatbottal!

A feladat során ismerje meg közelebbről Mitsuku chatbotot (becenév: Kuki): https://chat.kuki.ai

Állítsa meg az órát!

Mennyi idő után jött rá, hogy nem emberrel beszélget? Miből jött rá, hogy egy számítógépes rendszerrel kommunikál?

Mi történik az állítások megismétlésekor?
Mi történik, ha ugyanazt a kérdést átfogalmazva teszi fel?
Miből vehető észre, hogy géppel beszélget?
A chatbot mindig logikus választ ad a kérdésekre? Hogyan reagál a chatbot, ha nem ért valamit?
Egész mondatokat kell leírnia vagy néhány szó is elegendő a chatbot számára? A különálló szavakat megfelelően értelmezi?
Adjon meg konkrét példákat/idézeteket a chatbottal folytatott beszélgetésből! Min lehetne javítani, hogy még emberszerűbbnek tűnjön? Kell egyáltalán még emberszerűbbnek tűnnie?

Anyag

NLP - Worksheet Talk to a Chatbot.pdf (.docx)

Mitsuku és a Loebner-díj

Ebben a rövidített feladatban a tanulók olyan állításokkal dolgozhatnak, amelyeket a Loebner-díj zsűrije használt a Mitsuku-val végzett Turing-teszt során. A feladatot a résztvevők egyszerűen kinyomtathatják és kitölthetik, végül pedig a zsűri értékelése is megjeleníthető PowerPointban vagy egy táblára felírva.

Steve Worswick Mitsuku nevű chatbotja egy 20 évesnek tűnő chatbot, amit egy verseny során Turing-tesztnek vetettek alá.

20 kérdést tettek fel Mitsukunak, ebből néhány megtalálható az alábbi táblázatban.

Olvassa el figyelmesen a kérdéseket és a válaszokat! Páros munkában vitassák meg, önök szerint mennyire "emberiek" a különböző válaszok, majd minden választ pontozzanak a következők szerint:

0 pont - teljesen helytelen, nem emberi válasz
1 pont - bizonytalan válasz, például "nem tudom", vagy hasonló
2 pont - embertől elvárható válasz

Anyag

NLP - Worksheet Mitsuku.pdf (.docx)

Papíralapú chatbotok

Ebben az utolsó nagyobb lélegzetvételű szakaszban a tanulók maguk próbálják megtervezni egy chatbot elméleti alapjait. Egy tényleges chatbot programozása nem célja a modulnak, mivel az egyrészt meghaladná az időkeretet, másrészt pedig túlmutatna a chatbotok alapvető felépítésének a megértésén.

Ebben a modulban a chatbotok felépítésére vonatkozóan két különböző megközelítést vizsgálunk részletesen. Elméletben mindkét rész elvégezhető, de ha kevés az idő, vagy szeretné meghatározni a nehézség szintjét, a két papíralapú chatbotos feladatból végrehajtható csak az egyik feladat is.

Alapvetően két különböző kivitelezési lehetőséggel van dolgunk:

A szabályalapú chatbotok fix kattintás-szerkezetet használnak, így a felhasználó nem írhat be szabadon szöveget, csak "végigkattintja a beszélgetést" gombok segítségével.
A chatbotok szabad szövegbevitelt tesznek lehetővé, és általában a természetes nyelvfeldolgozáson alapulnak.

Ebben a két feladatban a tanulók felismerik, hogy a folyékony, hiteles beszélgetéshez számos eshetőséget kell számba venni.

Folyamatábra-alapú Chatbot készítése

Ebben a feladatban a tanulók egy folyamatábrán alapuló chatbotot készítenek plakátpapír (nagyméretű rajzlap), toll és jelölőcímkék (post-it) használatával. Lehetséges digitális gondolattérképek készítése olyan eszközök vagy weboldalak segítségével, mint a Canva vagy a Miro.

A döntési fán alapuló chatbotok a legkevésbé beszélgetős chatbot-fajták, amelyek egy előre programozott folyamatot követnek, ami lehet nagyon egyszerű vagy összetett is. Az ilyen chatbotok előre kiválasztott widgeteket használnak a feleletválasztás különböző módjait felkínálva. Ez a mód lehetőséget nyújt ugyan a chatbot szövegeinek és a megjelenítési lehetőségek kreatív megoldására, de a felhasználónak az előre meghatározott lehetőségek közül kell választania. Azért használják ezeket a cégek, mert olcsóbb létrehozni őket, gyorsabb a működésbe állításuk, ugyanakkor hasznosak, szórakoztatóak és edukatív jellegűek.

A feladat elején a tanulóknak ki kell találniuk a chatbot célját (pl. lehessen vele a fodrásznál időpontot foglalni, az időjárásról érdeklődni, vagy pizzát rendelni...).

Keressen egy területet, amire a chatbot specializálódhat. Szeretné egy fodrászatnál időpontegyeztetésre használni? Pizzát kíván rendelni vele? Vagy öltse magára egy terapeuta szerepét? Előzetes diagnózist állítson fel beteg emberekről? Vagy a költségvetését kívánja kiszámítani és kezelni a segítségével?
Miután kiválasztotta a chatbot típusát, át kell gondolnia, milyen feladatokat végezzen el a chatbot. Tegyük fel, hogy egy fodrászüzlet chatbotját időpontok foglalására készítették. Milyen információkra kérdezzen rá a chatbot, hogy az időpontfoglalás végrehajtható legyen? Pontos dátum, személyes adatok, - mint a név és telefonszám - a fodrászati szolgáltatás fajtája stb.. Továbbá, számba kell venni olyan funkciókat is, mint az időpont törlése vagy élő személlyel való kapcsolatba lépés.
A következő lépésben fel kell építeni egy folyamatábrát, amelyen minden információra vonatkozó kérdés szerepel. Az ilyen chatbotok épp olyanok, mint az interaktív folyamatábrák.

Folyamatábra készítése

Kezdjen hozzá egy toll és papír segítségével a folyamatábra megrajzolásához. Használhat öntapadós jegyzettömböt a táblán, vagy ceruzával is megrajzolhatja az ábrákat egy nagy lapra. Ezzel az egyes pontok áthelyezhetők vagy kicserélhetők.
Gondoskodjon arról, hogy a döntéshozatali folyamatnak minden lépésének legyen értelme, valamint, hogy a felhasználó ne kerülhessen olyan (végtelen) ciklusba, amiből nem tud kijutni.
Kerülje a folyamatábrán a zsákutcákat! A felhasználónak végül el kell jutnia egy befejező ponthoz.
Legyen a folyamatábra a lehető legegyszerűbb, ám egyúttal adjon elég értelmes választási lehetőséget a felhasználónak.
Ne feledkezzen meg egy zárómondat beillesztéséről sem, hogy a felhasználó ne kerülhessen zsákutcába. A zárásnak ugyanakkor eléggé nyitottnak kell lennie ahhoz, hogy a felhasználó tudja, bármikor tehet fel kérdést. Egy lehetséges példa: "Itt vagyok, ha szükséged van rám. Ne légy szégyenlős!" vagy "Most elmegyek, de csak szólj, ha szükséged van valamire. :)"

Ha több idő van a chatbot felépítésére, figyelmet fordíthat a chatbot személyiségére is. A chatbot jellemének nem kell túl összetettnek lennie. Egy hiteles, humoros chatbot erősítheti a felhasználók bizalmát, és jobb móka használni is. A chatbotja gyors felfogású, középkorú hölgy, vagy inkább egy alacsony, szégyenlős fiú, esetleg egy komoly idősebb úr? Ne feledje, hogy a chatbot kit képvisel (pl. cég), hogy a chatbot lényegileg illeszkedhessen a kitalált márkájához.

Amikor elkészült a chatbot, kérje ki másik csoport véleményét és játssza végig a chatbot összes lehetőségét! Minden rendben megy vagy előfordulnak problémák?

Anyag

NLP-alapú Chatbot készítése

Ebben a feladatban a tanulók egy papíralapú chatbotot fejlesztenek, amely úgy reagál a kulcsszavakra, mint az NLP-modellek, így helyes válaszokat is ad. A tanulók kapnak egy táblázatot a lehetséges bemeneti és kimeneti szavakkal, amely alapján az adott bemenetnek megfelelően kell válaszolniuk. A tanulók hamar felismerik, hogy a lehetőségek széles skáláját kell lefedni és a tartalék kulcsoknak is játékba kell kerülniük, hogy a beszélgetés simán folyjon.

Hogyan működik egy NLP-Chatbot?

Egy természetes nyelvfeldolgozáson (NLP) alapuló chatbot használatához verbális bemenetre van szükség billentyűzet vagy hangos beszéd által. A chatbot elemzi a kapott szavakat és információvá alakítja azokat. Mindez a természetes nyelv megértéséből (Natural Language Understanding, NLU) és a természetes nyelv létrehozásából (Natural Language Generation, NLG) áll.

Egy chatbot ugyan látja a beírt betűket, de nem ismeri a szavak jelentését. nem ismeri a szavak jelentését. Az "Időpontot szeretnék foglalni" mondat jelentése teljesen világos egy ember számára, de a számítógép részére csupán egy sor betű. Elsőre ez pontosan annyi jelentéssel bír számára, mint az értelmetlen "mis sdaijhw wek“ szöveg.

Tegyük fel, hogy van egy chatbotunk, amely képes egy fodrászatnál az időpontok foglalására és törlésére. A chatbot megkérdi "Miben segíthetek fodrászatunkban?" a felhasználó pedig válaszol: "Időpontot szeretnék foglalni.". Így ez a válasz lesz a bemenet a chatbot számára. Ekkor a chatbot elkezdi lépésről lépésre haladó folyamatát (amit csővezetéknek - pipeline - is hívnak) az ahhoz szükséges szövegbeli szerkezeti elemek felismeréséhez, hogy a program helyes választ adhasson.

Tokenizálás: Az első felismert szerkezeti elem a mondatok és szavak kezdete és vége. Számunkra mindig világos, mik a szavak, de a számítógép számára nem. A külön szavakra választás a tokenizálás. A chatbotnak "tudnia" kell, hogy az írásjelek nem képezik a szó részét, tehát az "időpont" a szó, és nem az "időpont.". Ugyanígy tudnia kell azt is, hogy nem minden pont jelöl mondatvéget, szükség esetén pedig fel kell oldania a rövidítéseket.
Lemmatizálás: A második lépés a szavak szótári alakjának megtalálása. Nekünk, embereknek nem kell minden szó szótári alakját megkeresnünk ahhoz, hogy megértsük azt. Azonban, a számítógép számára nagyon hasznos a különböző szóalakok számának csökkentése. Ez ugyanis azt jelenti, hogy a program rájön, hogy az "időpont" és az "időpontok" szavakat sok esetben egyformán kezelheti. Például a "Lehet most időpontokat foglalni?" mondatban a legtöbb fontos szó esetében ugyanazok a szótári alakok szerepelnek, mint a fenti példamondatunkban. Ennek megfelelően, a számítógép felismeri, hogy ez a 2 mondat valószínűleg ugyanúgy kezelendő. A szótári alak meghatározása a lemmatizálás.
Szófaj (pozíció) címkézése: A harmadik szerkezeti elem a szófaj. Emberként nem foglalkozunk a szófajokkal túl sokat. Azonban ez a számítógép számára nagy segítség, mivel a főnevek és az igék általában fontosabbak egy mondat elnagyolt jelentésének megállapításához, mint a többi szófaj. A szófaj meghatározása segít a következő lépésben is. A szófaj meghatározását szófaj (pozíció) címkézésként is használjuk.
Szintaktikai elemzés: Az alany, tárgy és az ige, valamint egyéb mondatrészek felismerése az utolsó előtti fontos szerkezeti elem. A számítógép egy szintaktikus elemző segítségével végzi el a mondatelemzést. A már létrehozott három szerkezeti elem segítségével létrehoz egy modellt, amely elemzi a mondaton belül a szavak függőségi viszonyait. A legegyszerűbb esetben meghatározásra kerül az alany, tárgy és a jelentéssel bíró ige a mondat legfontosabb részeinek felismeréséhez.
Szemantikai elemzés: Az utolsó szerkezeti elem a bemenet jelentésére vonatkozik. Amint már említettem, a számítógép nem tudja, mit jelent az "időpont", vagy a "foglalni" szó. De a helyes válasz megadásához csak az alábbi információ szükséges: Foglalni vagy töröltetni kíván egy időpontot, vagy valami mást szeretne? (Szándék) Mit szükséges foglalni? (Paraméter/Entitás) Számunkra ez hordozza a jelentést. A szemantikai elemzéshez a chatbotnak a lehetséges elemek listájára van szüksége (pl. időpont) arra vonatkozóan, amire válaszolni tudunk, valamint az egyes szándékokra vonatkozóan egy-egy példára (foglalni, törölni).
A kulcsszavakat összehasonlításra kerülnek a listával, a chatbot pedig a kulcsszavakhoz illeszkedő helyes választ ad.

Az olyan nyelvi asszisztensek, mint az Alexa vagy a Google Assistant is így működnek. Ezek esetében a beszédfelismerés az első végrehajtott lépés. Ez alakítja a mikrofon bemeneti jelét karaktersorozattá. Ezt követően az egyes szerkezeti elemek (struktúrák) létrehozása ugyanígy történik.

Hivatkozások

(DE) Wie funktioniert Natural Language Processing in Chatbots?

Papír-ceruza feladat egy chatbot készítéséhez és teszteléséhez

Beszélgessen egy papíralapú chatbottal!

Amint már korábban hallhatta, egy állítás jelentésének megértéséhez sok olyan lépésre van szükség, melyet mi emberek természetesnek veszünk.

Az egyik tanuló a felhasználó, a másik tanuló a chatbot szerepét tölti be.
Az élő felhasználó szerepét játszó tanuló időpontot kíván lefoglalni a fodrásznál, kérését pedig leírja egy darab papírra.
Az ember-chatbot ekkor átfutja a mondatot, és a táblázata alapján kiválogatja a fontos kulcsszavakat.
Az ember-chatbot a táblázatban található kulcsszavak felhasználásával válaszolhat.
Ha az emberi chatbot nem talál egyetlen kulcsszót sem a táblázatban, ki kell választani egy megfelelő választ.

Próbálja megoldani a következő feladatokat:

Próbáljon meg időpontot foglalni a fodrásznál ennek a táblázatnak a használatával! Sikerül vagy problémákba ütközik? Hogyan kellene kitölteni a táblázatot ahhoz, hogy gördülékeny legyen a beszélgetés?
Mi történik, ha az ügyfél tagadást alkalmaz? (pl.: nem akarok több időpontot)
Képzeljen el egy olyan ügyfelet, aki panaszt tesz, mert elveszett az időpontja, vagy zaklatott, amiért rosszul vágták le a haját. Mi alapján állapíthatja meg a chatbot, hogy az ügyfél zaklatott? Hogyan reagáljon a chatbot az esetleges sértegetésekre?
Mit kellene tenni ahhoz, hogy a chatbot hitelesebb legyen? Mit gondol, átmenne a Turing-teszten?

Anyag

Konklúzió

A modul befejezéseként ismét általánosságban a nyelvről lesz szó. Meglévő alkalmazások felfedezésével és saját papíralapú chatbotjaik fejlesztésével a tanulók megértették, mennyire összetett lehet a nyelv, miközben egy olyan programot is fejlesztettek, amely képes reagálni erre az összetettségre. Az emberi nyelv bizonyosan nagy kihívás a mesterséges intelligencia számára. "Minden kettősségével, apróságával és félreérthetőségével, valószínűleg a leginkább összetett rendszer, amit az ember valaha kifejlesztett." Ezért nem sikerült még senkinek olyan gépet építeni, amely hitelesen szimulálja egy ember beszélgetőpartnerét.

Azonban, amint a modul prezentációjának utolsó képe is mutatja, a nyelv szerkezete gyakran még emberek között sem működik tökéletesen. Az olyan modellek, mint például Schulz von Thun négyoldalas modellje szintén beágyazhatók a foglalkozásokba annak bemutatására, hogy mennyire összetett lehet a nyelv az emberek számára, s hogy a küldő és a vevő elképzelései sokszor jelentősen eltérnek egymástól.