Asistent Zuckerberg a operační systém "Samantha": dva typy hlasových systémů
Pracuji v laboratoři
Existují dva způsoby, jak se dívat na to, co jehlasový asistent. Představte si, že máte virtuálního komorníka. Například asi před pěti lety vyrobil Mark Zuckerberg ve svém domě chytrého asistenta, který mu říkal „Jarvis“. Věděl, jak pustit lidi do domu, otevírat a zavírat dveře, závěsy, rozsvítit. Dalšími příklady takových zařízení jsou "Alexa" a "Alice", žijí v zařízení a jsou schopny zlepšit život. Mohou ovládat troubu, pračku, vysavač a tak dále.
Dalším způsobem, jak se dívat na asistenty, je asrozhraní. Ve filmu „Ona“ byl operační systém zvaný „Samantha“, v ruském hlasovém herectví měla stejný hlas jako „Alice“ z Yandexu. Fungovala jako rozhraní pro správu operačního systému a nebyla navržena jako asistent. Apple má tento přístup - Siri, Microsoft - Сortana, Google - Google Assistant.
jak fungují?
Všichni asistenti jsou postaveni na velmi podobnémzásada. První věc, kterou musí udělat, je slyšet hlas. Děje se tak na zařízení uživatele – mobilním telefonu nebo chytrém reproduktoru. Uživatel říká: "Alice", "Alexa", "OK Google". Po těchto kouzelných slovech je zařízení připraveno zaznamenat hlas uživatele. K tomu dochází až do určitého okamžiku – dokud klient neutichne nebo dokud zařízení nebaví čekat, až ztichne. Poté jsou data odeslána na server společnosti, která služby poskytuje.
Tady začíná kouzlo.První operací je převod řeči na text. Každý říká jinak, jak to převedu na text? Pak začíná to, k čemu hlasové asistenty využíváme – poskytování služby. Jedná se o jakoukoli operaci, která je dostupná online – nákup vstupenek, rezervace stolu v restauraci. Jedinou otázkou je, jak poskytnout uživatelsky přívětivé rozhraní. Pokud tam není, zařízení se změní na reproduktor.
Po zavolání služby uživatel potřebujevrátit výsledky, k tomu je třeba je řádně zabalit. S největší pravděpodobností to bude text, problém ze stránky na internetu, písnička, data, která vypočítala kalkulačka. Data jsou převedena zpět na řeč a přenesena ke klientovi.
Řeč na text
Naše komunikace probíhá prostřednictvím řeči, hlasu jepohyb vzduchu kolem. Tyto vibrace dopadají na ušní bubínek, ten tlačí tři kůstky – třmínek, kovadlinu a kladívko. Ti zase rozhoupávají orgán zvaný hlemýžď. Šneka jsme získali z ryb, je naplněný vodou a žijí v něm vláskové buňky, které oscilují spolu s vodou v šnekovi. Horní vláskové buňky zesilují kolísání tekutiny a přenášejí je do spodní části vláskových buněk, které tvoří elektrický impuls. Tento impuls se přenáší do mozku.
Navíc na různých místech kochley jsou vláskové buňky zodpovědné za různé frekvence. Vysoké frekvence jsou zpracovány v široké části, střední frekvence budou uprostřed a nízké frekvence blíže středu.
Jak můžeme přimět stroj vnímat zvuk takto?stejně - ne ve formě surového signálu, ale ve formě sady frekvencí? Odpověď na tuto otázku dal francouzský matematik Jean Baptiste Fourier, který žil na hranici XVIII-XIX století. Vědec navrhl takovou matematickou transformaci, s jejíž pomocí je vše jako v uchu – vezme se surový signál a rozloží se na frekvenční složky.
Co dělat s frekvenčními složkami?Můžeme mapovat spektrální reprezentaci na foném, to znamená, že můžeme převádět řeč na fonémy. Jsou více či méně snadno algoritmicky převedeny na písmena. To znamená, že slovo můžeme získat z fonetické reprezentace.
To vše je ale nepřesné.Existují fonémy, které se mírně liší, přechody z jednoho zvuku do druhého mohou znít odlišně. Říká se jim senony, je jich asi 10 000. Ale když je jich tolik, je úkol definovat slova mnohem obtížnější.
Boj s chybami
Jak se výzkumníci vypořádávají s chybami?Odpověď na tuto otázku dal ruský matematik Andrej Markov, který žil na přelomu 19.-20. Vyvinul teorii popisující procesy, kde jeden navazuje na druhý. A díky jeho teorii byly vyvinuty skryté Markovovy modely. Toto je jeden z prvních způsobů, jak opravit chyby tohoto druhu.
Například když člověk mluví nezřetelně, onpřízvuk nebo to slovo špatně vysloví - existuje matematický mechanismus, který vám umožňuje obnovit a s vysokou přesností určit, co tím daná osoba myslela. Lidé totiž také chybují, ale rozumí si, což znamená, že máme v hlavě mechanismus, jak chyby napravovat.
Ale reprezentace textu nestačí -počítač pracuje s čísly. jak je získat? Noam Chomsky má hypotézu, že v mozku máme strukturu, navíc dostupnou na úrovni narození, což nám pomáhá rychle se učit přirozené jazyky. Chomsky po celý svůj život buduje, zdokonaluje a pracuje na modelu, který určuje, jaké společné vzorce existují v jazyce, bez ohledu na to, jaký - ruština, angličtina nebo čínština.
Na snímku - Chomského gramatika.To je asi to samé, co dělají v hodinách ruského jazyka, když rozebírají větu po složení. Existují podstatná jména, přídavná jména, předměty, predikáty, slovesné skupiny - to vše je formalizováno a může být zobrazeno stroji. Tato struktura je snadno znázorněna ve formě čísel.
Stroj dokáže pochopit, v čem je předmětnávrh a jaké kroky podniknout. Pokud například klient řekne: „Alice, zapni nějakou hudbu“, pak „zapnout“ bude akce, „hudba“ bude objekt, na kterém se akce odehraje. "Alice" pochopí klienta a začne jednat.
Ale slova samotná jsou sbírkou písmen, jakopochopit jejich význam? Existují podobná slova - "play" a "play", pochopí zařízení, že jde o totéž? Odpověď na tuto otázku dal americký lingvista Leonardo Bloomfield. Na začátku dvacátého století navrhl teorii, kde je význam slova určován kontextem, ve kterém se toto slovo nachází. Podívejte se na snímek a přemýšlejte o tom, jakým slovem lze nahradit tři tečky.
Moje odpověď by byla slon, ale když jsem se zeptalstudenti, říkají, že by tam mohl být nosorožec nebo dokonce žirafa. Obecně ale chápeme, že jde o velké zvíře, které žije v Africe a které umí zlobit. Pokud toto vše zkombinujeme, pak dostaneme nějaký sémantický popis tohoto objektu bez použití samotného slova.
Ale pokud to digitalizujeme, dostanemedesítky tisíc čísel. A díky americkému matematikovi Gene Golubovi se mu podařilo přijít na to, jak výrazně snížit počet číslic. Namísto čísel použili sbírku čísel nazývanou vektor. A tento vektor lze použít k pochopení blízkosti nebo vzdálenosti ve významu, sémantické příbuznosti. Můžete tedy pochopit, že „hrát“ je přibližně totéž jako „hrát si“.
Nyní existují nástroje, do kterých můžete zadávat slova,a ukáže se, jak jsou rozmístěny na mapě významů. Například slova „žirafa“, „slon“ a „nosorožec“ jsou seskupena a končí vedle sebe v prostoru významů. Tyto metody se vyvinuly a nyní vypadají mnohem pokročilejší.
Představili jsme slova ve formě struktury, věty ve formě struktury, představili jsme slova ve formě významů, to vše je ve formě čísel, co dál?
Služby
Každá služba má stovky tisíc, miliony,miliardy objektů. Pokud se bavíme o vyhledávání na internetu, jedná se o stovky miliard stránek, desítky miliard obrázků. Pokud streamujete hudbu, miliony skladeb.
Jeden z prvních přístupů k indexování dat −vytváření binárních vyhledávacích stromů. Totéž se používá ve slovnících: otevřete jej uprostřed, a pokud jste přeskočili správné slovo, přejděte zpět, pokud jste jej nedostali, pokračujte. Ale v roce 1962 sovětští matematici Georgy Adelson-Velsky a Evgeniy Landis přišli s datovou strukturou, která se sama udržuje ve stavu rychlého vyhledávání.
Tento systém funguje pouze na lineárních datech −čísla nebo slova. A co se stane s vícerozměrnými daty, když budeme chtít něco hledat na mapě nebo v trojrozměrném prostoru? K tomu přišli s takovými strukturami, jako jsou kd-stromy, dokonale zvládají úkoly hledání v trojrozměrném prostoru. Ty ale přestaly fungovat u moderních úloh, kde je text popsán stovkami čísel.
Ale díky teoretické práci z konce dvacátého stoletíEric Berninson navrhl vývoj vyhledávacích stromů nazvaných Anna, které lze použít k zaručení dobré kvality vyhledávání v rozsáhlých sbírkách. Funguje to pro celou rozsáhlou základnu Spotify – skvělý výsledek, kterého bylo dosaženo teprve před pěti lety.
Existují i další přístupy:například sociolog Stanley Milgram prováděl bizarní a někdy i nelidské experimenty. Zrodil teorii šesti podání rukou, že všichni lidé na Zemi se navzájem znají prostřednictvím maximálně šesti podání rukou. Aby to udělal, požádal lidi, aby poslali dopis neznámému člověku. Mezi svými známými si pak museli vybrat ty, kterým by tato osoba mohla být povědomá. A ukázalo se, že na to potřebovali šest písmen. Experiment byl kritizován, ale opakován v roce 2000 - a potvrdil výsledky.
To je úžasná vlastnost, která v matematicezískal jméno Count "Small World". Ruští vědci – skupina Jurije Malkova – navrhli zajímavý algoritmus. Použili to k nalezení čehokoli kdekoli. Uzly v tomto grafu již nejsou lidé, ale dokumenty.
V tomto grafu - nejkratší vzdálenost mezi libovolnýmipár předmětů. Uživatelé mohou velmi rychle najít to, co potřebujeme. Tato datová struktura se nyní používá v mnoha společnostech v Rusku i v zahraničí – Facebook, Mail.ru, Yandex. Vynikající matematický model, který změnil nejen vyhledávací a doporučovací služby, ale také hlasové asistenty.
Přečtěte si více
Podívejte se na světově první jednostupňovou orbitální loď budoucnosti
Vědci tři roky věřili, že na jihu Marsu je voda. Ukázalo se, že ne
Hypersonický letoun na vodíkový pohon vyvine rychlost až 12 Mach. Je to skoro 15 000 km/h