Rengeteg matematika és semmi varázslat: hogyan is működnek a hangasszisztensek

Zuckerberg asszisztens és a "Samantha" operációs rendszer: kétféle hangrendszer

Laboratóriumban dolgozom

gépi tanulási adatábrázolás.Két tantárgyblokkot tanítok az egyetemen: az egyik az alkalmazott gépi tanuláshoz és a mesterséges intelligenciához kapcsolódik. A második a kereséssel és annak fajtáival kapcsolatos. E témák metszéspontjában található az a terület, amelyről ma megpróbálok beszélni.

Kétféleképpen lehet megnézni, mi vanhangsegéd. Képzeld el, hogy van egy virtuális komornyik. Például körülbelül öt évvel ezelőtt Mark Zuckerberg okos asszisztenst készített otthonában, "Jarvis"-nek hívta. Tudta, hogyan kell beengedni az embereket a házba, kinyitni és bezárni az ajtókat, függönyöket, felkapcsolni a villanyt. További példák az ilyen eszközökre: "Alexa" és "Alice", ezek az eszközben élnek, és képesek javítani az életet. Vezérelhetik a sütőt, a mosógépet, a porszívót és így tovább.

Az asszisztensek egy másik módja a következőképpen néz kifelület. A "She" című filmben volt egy "Samantha" nevű operációs rendszer, az orosz hangjátékban ugyanaz a hangja volt, mint a Yandex "Alice"-nek. Interfészként működött az operációs rendszer kezelésében, és nem asszisztensnek készült. Az Apple ezt a megközelítést alkalmazza - Siri, Microsoft - Сortana, Google - Google Assistant.

Hogyan működnek?

Minden asszisztens nagyon hasonlóra épülelv. Az első dolga, hogy hallja a hangot. Ez a felhasználó eszközén történik – mobiltelefonon vagy intelligens hangszórón. A felhasználó azt mondja: "Alice", "Alexa", "OK Google". E varázsszavak után a készülék készen áll a felhasználó hangjának rögzítésére. Ez egy bizonyos pontig megtörténik - amíg az ügyfél el nem hallgat, vagy az eszköz belefárad a várakozásba, amíg elhallgat. Ezt követően az adatok elküldésre kerülnek a szolgáltatást nyújtó cég szerverére.

Itt kezdődik a varázslat.Az első művelet a beszéd-szöveg átalakítás. Mindenki mást mond, hogyan tudom ezt szöveggé alakítani? Ezután kezdődik, amire a hangasszisztenseket használjuk – a szolgáltatás nyújtása. Ez minden olyan művelet, amely online elérhető – jegyvásárlás, asztalfoglalás egy étteremben. A kérdés csak az, hogyan biztosítsunk felhasználóbarát felületet. Ha nincs ott, a készülék beszélővé változik.

A szolgáltatás felhívása után a felhasználónak meg kell tennieküldje vissza az eredményeket, ehhez megfelelően be kell csomagolnia azokat. Valószínűleg ez egy szöveg, egy internetes oldal probléma, egy dal, adat, amelyet a számológép kiszámított. Az adatokat visszaalakítják beszéddé és továbbítják az ügyfélnek.

Beszéd szöveggé

Kommunikációnk a beszéden keresztül történik, a hang azlégmozgás körül. Ezek a rezgések a dobhártyára esnek, három csontot lök – a kengyelt, az üllőt és a kalapácsot. Azok pedig egy csigának nevezett orgonát ringatnak. A csigát halból kaptuk, tele van vízzel és szőrsejtek élnek benne, a vízzel együtt oszcillálnak a csigában. A felső szőrsejtek felerősítik a folyadék ingadozásait és továbbítják a szőrsejtek alsó részére, amelyek elektromos impulzust képeznek. Ez az impulzus az agyba kerül.

Ezenkívül a fülkagyló különböző helyein a szőrsejtek különböző frekvenciákért felelősek. A magas frekvenciák feldolgozása a széles részben, a közepes frekvenciák középen, az alacsony frekvenciák pedig közelebb a középponthoz kerülnek.

Hogyan tudjuk elérni, hogy a gép ilyen hangokat érzékeljenugyanúgy - nem nyers jel formájában, hanem frekvenciakészlet formájában? Erre a kérdésre Jean Baptiste Fourier francia matematikus adta meg a választ, ő a XVIII-XIX. század határán élt. A tudós egy ilyen matematikai transzformációt javasolt, amelynek segítségével minden ugyanaz, mint a fülben - nyers jelet vesznek, és frekvenciakomponensekre bontják.

Mi a teendő a frekvenciakomponensekkel?A spektrális reprezentációt leképezhetjük fonémára, vagyis a beszédet fonémákká alakíthatjuk. Algoritmikusan többé-kevésbé könnyen betűkké alakíthatók. Vagyis fonetikus ábrázolásból kaphatunk szót.

De mindez pontatlan.Vannak fonémák, amelyek kissé különböznek egymástól, az egyik hangról a másikra való átmenet eltérően hangzik. Szenonoknak hívják őket, körülbelül 10 ezer van belőlük, de amikor ilyen sok van belőlük, a szavak meghatározása sokkal nehezebbé válik.

Küzdelem a hibákkal

Hogyan kezelik a kutatók a hibákat?Erre a kérdésre Andrej Markov orosz matematikus adta meg a választ, aki a 19-20. század fordulóján élt. Kidolgozott egy elméletet, amely olyan folyamatokat ír le, ahol az egyik a másikból következik. És elméletének köszönhetően rejtett Markov-modelleket fejlesztettek ki. Ez az egyik első módja az ilyen jellegű hibák kijavításának.

Például, amikor egy személy homályosan beszél, őakcentussal, vagy rosszul ejti ki a szót - van egy matematikai mechanizmus, amely lehetővé teszi, hogy visszaállítsa és nagy pontossággal meghatározza, mire gondolt a személy. Hiszen az emberek is hibáznak, de megértik egymást, ami azt jelenti, hogy a fejünkben van egy mechanizmus a hibák kijavítására.

De a szöveges megjelenítés nem elég -Számítógép működik a számokkal. Hogyan lehet megszerezni őket? Noam Chomskynak van egy hipotézise, ​​miszerint van egy olyan struktúra az agyban, ráadásul születési szinten elérhető, ami segít gyorsan megtanulni a természetes nyelveket. Chomsky egész életében egy olyan modellt épít, finomít és azon dolgozik, amely meghatározza, hogy milyen közös minták vannak egy nyelvben, függetlenül attól, hogy mi legyen – orosz, angol vagy kínai.

A dián - Chomsky nyelvtana.Ez nagyjából ugyanaz, mint amit az orosz nyelvórákon csinálnak, amikor összetételenként elemeznek egy mondatot. Vannak főnevek, melléknevek, alanyok, állítmányok, igecsoportok - mindez formalizált, és megmutatható a gépnek. Ez a szerkezet könnyen ábrázolható számok formájában.

A gép képes megérteni, hogy miről van szójavaslatot és milyen intézkedéseket kell tenni. Például, ha az ügyfél azt mondja: „Alice, kapcsolj be egy kis zenét”, akkor a „bekapcsolás” lesz a művelet, a „zene” pedig az az objektum, amelyen a művelet zajlik. "Alice" megérti az ügyfelet, és elkezd cselekedni.

De maguk a szavak betűk gyűjteménye, mint plérti a jelentésüket? Vannak hasonló szavak - "play" és "play", vajon a készülék megérti, hogy ez ugyanaz? Erre a kérdésre Leonardo Bloomfield amerikai nyelvész adta meg a választ. A huszadik század elején olyan elméletet javasolt, amely szerint egy szó jelentését az a szövegkörnyezet határozza meg, amelyben ez a szó található. Nézze meg a diát, és gondolja át, hogy melyik szóval helyettesíthető három pont.

A válaszom az lenne, hogy egy elefánt, de amikor megkérdeztemdiákok, azt mondják, lehet egy orrszarvú vagy akár egy zsiráf. De általában megértjük, hogy ez egy nagy állat, amely Afrikában él, és dühös lehet. Ha mindezt kombináljuk, akkor ennek az objektumnak valamilyen szemantikai leírását kapjuk anélkül, hogy magát a szót használnánk.

De ha ezt digitalizáljuk, akkor megkapjuktöbb tízezer szám. És hála Gene Golub amerikai matematikusnak sikerült kitalálnia, hogyan lehet jelentősen csökkenteni a számjegyek számát. A számok használata helyett egy vektornak nevezett számgyűjteményt használtak. Ez a vektor pedig felhasználható a jelentésbeli közelség vagy távolság, a szemantikai rokonság megértésére. Így megértheti, hogy a „játék” megközelítőleg ugyanaz, mint a „játék”.

Mostantól vannak olyan eszközök, amelyek segítségével szavakat írhat be,és kiderül, hogyan oszlanak meg a jelentéstérképen. Például a „zsiráf”, „elefánt” és „orrszarvú” szavak csoportosulnak, és egymás mellé kerülnek a jelentésterekben. Ezek a módszerek fejlődtek, és mára sokkal fejlettebbnek tűnnek.

A szavakat szerkezet formájában, a mondatokat szerkezet formájában, a szavakat jelentések formájában mutattuk be, mindezt számok formájában, mi lesz ezután?

Szolgáltatások

Minden szolgáltatásnak százezrei, milliói,tárgyak milliárdjai. Ha az interneten történő keresésről beszélünk, akkor ez több százmilliárd oldal, több tízmilliárd kép. Zene streaming esetén több millió dal.

Az adatindexelés egyik első megközelítése −bináris keresőfák építése. Ugyanezt használják a szótárak is: középen kinyitod, és ha kihagytad a megfelelő szót, görgess vissza, ha nem érted, menj tovább. De 1962-ben a szovjet matematikusok, Georgij Adelson-Velszkij és Jevgenyij Landis olyan adatszerkezettel álltak elő, amely a gyors keresés állapotában tartja magát.

Ez a rendszer csak lineáris adatokon működik −számok vagy szavak. És mi lesz a többdimenziós adatokkal, ha térképen vagy háromdimenziós térben akarunk keresni valamit? Ehhez olyan struktúrákat találtak ki, mint a kd-fák, amelyek tökéletesen megbirkóznak a háromdimenziós térben történő keresés feladataival. De abbahagyták a munkát a modern feladatoknál, ahol a szöveget több száz szám írja le.

De hála a huszadik század végének elméleti munkájánakEric Berninson javasolta az Anna nevű keresőfák kifejlesztését, amelyek segítségével jó keresési minőséget lehet garantálni hatalmas gyűjteményekben. Ez az egész hatalmas Spotify-bázison működik – ez egy csodálatos eredmény, amelyet mindössze öt évvel ezelőtt értek el.

Vannak más megközelítések is:például Stanley Milgram szociológus bizarr és olykor embertelen kísérleteket végzett. Ő szülte meg a hat kézfogás elméletét, miszerint a Föld minden embere legfeljebb hat kézfogáson keresztül ismeri egymást. Ennek érdekében arra kérte az embereket, hogy küldjenek levelet egy idegennek. Ezután ki kellett választaniuk ismerőseik közül azokat, akik ismerhetik ezt a személyt. És kiderült, hogy ehhez hat levél kellett nekik. A kísérletet kritizálták, de a 2000-es években megismételték – és megerősítették az eredményeket.

Ez egy csodálatos tulajdonság, amely a matematikábanmegszerezte a "Kisvilág" gróf nevet. Orosz tudósok - Jurij Malkov csoportja - érdekes algoritmust javasoltak. Arra használták, hogy bárhol bármit megtaláljanak. A grafikonon a csomópontok már nem emberek, hanem dokumentumok.

Ezen a grafikonon - a legrövidebb távolság bármely közöttpár tárgyat. A felhasználók nagyon gyorsan megtalálják, amire szükségünk van. Ezt az adatstruktúrát ma már számos oroszországi és külföldi vállalat használja - Facebook, Mail.ru, Yandex. Kiváló matematikai modell, amely nemcsak a keresési és ajánlási szolgáltatásokat, hanem a hangsegédeket is megváltoztatta.

Olvass tovább

Tekintse meg a világ első egylépcsős, jövőbeli orbitális hajóját

A tudósok három évig azt hitték, hogy van víz a Mars déli részén. Kiderült, hogy nem

Egy hiperszonikus hidrogénüzemű repülőgép akár 12 Mach sebességet is elérhet. Majdnem 15.000 km/h