Assistant Zuckerberg und das Betriebssystem "Samantha": zwei Arten von Sprachsystemen
Ich arbeite in einem Labor
Es gibt zwei Möglichkeiten, um zu sehen, was istSprachassistent. Stellen Sie sich vor, Sie haben einen virtuellen Butler. Zum Beispiel hat Mark Zuckerberg vor etwa fünf Jahren einen intelligenten Assistenten in seinem Haus gebaut, der ihn "Jarvis" nannte. Er verstand es, Menschen ins Haus zu lassen, Türen und Vorhänge zu öffnen und zu schließen, das Licht anzuschalten. Andere Beispiele für solche Geräte sind "Alexa" und "Alice", sie leben im Gerät und können das Leben verbessern. Sie können den Ofen, die Waschmaschine, den Staubsauger und so weiter steuern.
Eine andere Möglichkeit, Assistenten zu betrachten, ist alsSchnittstelle. Im Film "She" gab es ein Betriebssystem namens "Samantha", in der russischen Sprachausgabe hatte sie die gleiche Stimme wie "Alice" von Yandex. Sie fungierte als Schnittstelle zur Betriebssystemverwaltung und war nicht als Assistent konzipiert. Apple hat diesen Ansatz - Siri, Microsoft - Сortana, Google - Google Assistant.
Wie arbeiten Sie?
Alle Assistenten sind sehr ähnlich aufgebautPrinzip. Das erste, was er tun muss, ist die Stimme zu hören. Dies geschieht auf dem Gerät des Benutzers – einem Mobiltelefon oder einem intelligenten Lautsprecher. Der Benutzer sagt: „Alice“, „Alexa“, „OK Google“. Nach diesen magischen Worten ist das Gerät bereit, die Stimme des Benutzers aufzunehmen. Dies passiert bis zu einem gewissen Punkt - bis der Client schweigt oder das Gerät es satt hat, zu warten, bis es schweigt. Danach werden die Daten an den Server des Unternehmens gesendet, das die Dienste bereitstellt.
Hier beginnt die Magie.Die erste Operation ist die Umwandlung von Sprache in Text. Jeder sagt etwas anderes, wie konvertiere ich das in Text? Dann beginnt das, wofür wir Sprachassistenten einsetzen – die Bereitstellung einer Dienstleistung. Dies ist jeder Vorgang, der online verfügbar ist - Tickets kaufen, einen Tisch in einem Restaurant reservieren. Die einzige Frage ist, wie man eine benutzerfreundliche Oberfläche bereitstellt. Wenn es nicht da ist, verwandelt sich das Gerät in einen Sprecher.
Nach dem Aufruf des Dienstes muss der BenutzerSenden Sie die Ergebnisse zurück, dazu müssen Sie sie ordnungsgemäß verpacken. Höchstwahrscheinlich handelt es sich um einen Text, eine Ausgabe von einer Seite im Internet, ein Lied, Daten, die der Taschenrechner berechnet hat. Die Daten werden wieder in Sprache umgewandelt und an den Client übertragen.
Sprache zu Text
Unsere Kommunikation findet durch Sprache statt, die Stimme istLuftbewegung herum. Diese Schwingungen treffen auf das Trommelfell, es drückt drei Knochen - den Steigbügel, den Amboss und den Hammer. Diese wiederum schaukeln ein Organ namens Schnecke. Wir haben die Schnecke von Fischen, sie ist mit Wasser gefüllt und darin leben Haarzellen, die mit dem Wasser in der Schnecke oszillieren. Die oberen Haarzellen verstärken die Schwankungen in der Flüssigkeit und leiten sie an den unteren Teil der Haarzellen weiter, die einen elektrischen Impuls bilden. Dieser Impuls wird an das Gehirn weitergeleitet.
Außerdem sind an verschiedenen Stellen der Cochlea Haarzellen für unterschiedliche Frequenzen verantwortlich. Hohe Frequenzen werden im breiten Teil verarbeitet, mittlere Frequenzen liegen in der Mitte und tiefe Frequenzen näher an der Mitte.
Wie können wir die Maschine dazu bringen, solche Geräusche wahrzunehmen?auf die gleiche Weise - nicht in Form eines Rohsignals, sondern in Form einer Reihe von Frequenzen? Die Antwort auf diese Frage gab der französische Mathematiker Jean Baptiste Fourier, er lebte an der Grenze des XVIII-XIX Jahrhunderts. Der Wissenschaftler schlug eine solche mathematische Transformation vor, mit deren Hilfe alles wie im Ohr ist - ein Rohsignal wird genommen und in Frequenzkomponenten zerlegt.
Was tun mit Frequenzkomponenten?Wir können einem Phonem eine Spektraldarstellung zuordnen, das heißt, wir können Sprache in Phoneme umwandeln. Sie werden mehr oder weniger einfach algorithmisch in Buchstaben umgewandelt. Das heißt, wir können ein Wort aus einer phonetischen Darstellung erhalten.
Aber all das ist ungenau.Es gibt Phoneme, die sich leicht unterscheiden, Übergänge von einem Ton zum anderen können unterschiedlich klingen. Sie werden Senonen genannt, es gibt ungefähr 10.000 von ihnen, aber wenn es so viele von ihnen gibt, wird die Aufgabe, Wörter zu definieren, viel schwieriger.
Käfer bekämpfen
Wie gehen Forscher mit Fehlern um?Die Antwort auf diese Frage gab der russische Mathematiker Andrei Markov, der um die Jahrhundertwende vom 19. zum 20. Jahrhundert lebte. Er entwickelte eine Theorie, die Prozesse beschreibt, bei denen das eine aus dem anderen folgt. Und dank seiner Theorie wurden Hidden-Markov-Modelle entwickelt. Dies ist eine der ersten Möglichkeiten, Fehler dieser Art zu beheben.
Zum Beispiel, wenn eine Person undeutlich spricht, erAkzent oder er spricht das Wort falsch aus - es gibt einen mathematischen Mechanismus, mit dem Sie mit hoher Genauigkeit wiederherstellen und bestimmen können, was die Person gemeint hat. Menschen machen schließlich auch Fehler, aber sie verstehen einander, was bedeutet, dass wir einen Mechanismus zur Fehlerkorrektur im Kopf haben.
Aber Textdarstellung ist nicht genug -computer arbeitet mit zahlen. Wie bekomme ich sie? Noam Chomsky hat eine Hypothese, dass wir zudem bereits auf Geburtsebene eine Struktur im Gehirn haben, die uns hilft, natürliche Sprachen schnell zu lernen. Chomsky baut, verfeinert und arbeitet sein ganzes Leben lang an einem Modell, das bestimmt, welche gemeinsamen Muster es in einer Sprache gibt, egal welche - Russisch, Englisch oder Chinesisch.
Auf der Folie - Chomskys Grammatik.Das ist ungefähr dasselbe, was sie im Russischunterricht tun, wenn sie einen Satz nach Zusammensetzung analysieren. Es gibt Substantive, Adjektive, Subjekte, Prädikate, Verbgruppen – all das ist formalisiert und kann der Maschine gezeigt werden. Diese Struktur lässt sich leicht in Form von Zahlen darstellen.
Die Maschine kann verstehen, was das Thema istVorschlag und welche Maßnahmen zu ergreifen sind. Wenn der Klient zum Beispiel sagt: „Alice, mach Musik an“, dann ist „Schalte an“ die Aktion, „Musik“ ist das Objekt, auf dem die Aktion stattfindet. „Alice“ wird den Kunden verstehen und anfangen zu handeln.
Aber die Wörter selbst sind eine Ansammlung von Buchstaben, wie zihre Bedeutung verstehen? Es gibt ähnliche Wörter - "spielen" und "spielen". Wird das Gerät verstehen, dass dies dasselbe ist? Die Antwort auf diese Frage gab der amerikanische Linguist Leonardo Bloomfield. Zu Beginn des zwanzigsten Jahrhunderts schlug er eine Theorie vor, bei der die Bedeutung eines Wortes durch den Kontext bestimmt wird, in dem sich dieses Wort befindet. Sehen Sie sich die Folie an und überlegen Sie, welches Wort die drei Punkte ersetzen kann.
Meine Antwort wäre ein Elefant, aber wenn ich fragteStudenten sagen, es könnte ein Nashorn oder sogar eine Giraffe geben. Aber im Allgemeinen verstehen wir, dass dies ein großes Tier ist, das in Afrika lebt und wütend sein kann. Wenn wir all dies kombinieren, erhalten wir eine semantische Beschreibung dieses Objekts, ohne das Wort selbst zu verwenden.
Aber wenn wir das digitalisieren, werden wir es schaffenZehntausende Zahlen. Und dank des amerikanischen Mathematikers Gene Golub gelang es ihm, herauszufinden, wie man die Anzahl der Ziffern deutlich reduzieren kann. Anstatt Zahlen zu verwenden, verwendeten sie eine Sammlung von Zahlen, die als Vektor bezeichnet wurden. Und dieser Vektor kann verwendet werden, um Nähe oder Distanz in der Bedeutung und semantischen Beziehung zu verstehen. Sie können also verstehen, dass „spielen“ ungefähr dasselbe ist wie „spielen“.
Jetzt gibt es Tools, mit denen Sie Wörter eingeben können,und es wird deutlich, wie sie auf der Bedeutungskarte verteilt sind. Beispielsweise werden die Wörter „Giraffe“, „Elefant“ und „Nashorn“ gruppiert und landen nebeneinander im Bedeutungsraum. Diese Methoden haben sich weiterentwickelt und sehen nun viel fortschrittlicher aus.
Wir haben Wörter in Form einer Struktur präsentiert, Sätze in Form einer Struktur, wir haben Wörter in Form von Bedeutungen präsentiert, all dies in Form von Zahlen, was kommt als nächstes?
Dienstleistungen
Jeder Dienst hat Hunderttausende, Millionen,Milliarden von Objekten. Wenn wir über die Suche im Internet sprechen, sind das Hunderte von Milliarden Seiten, zig Milliarden Bilder. Beim Musik-Streaming Millionen von Songs.
Einer der ersten Ansätze zur Datenindizierung −Erstellen von binären Suchbäumen. Dasselbe wird in Wörterbüchern verwendet: Sie öffnen es in der Mitte, und wenn Sie das richtige Wort übersprungen haben, blättern Sie zurück, wenn Sie es nicht verstanden haben, fahren Sie fort. Aber 1962 entwickelten die sowjetischen Mathematiker Georgy Adelson-Velsky und Evgeniy Landis eine Datenstruktur, die sich selbst in einem Zustand des schnellen Abrufs hält.
Dieses System funktioniert nur mit linearen Daten −Zahlen oder Wörter. Und was passiert mit mehrdimensionalen Daten, wenn wir etwas auf einer Karte oder im dreidimensionalen Raum suchen wollen? Dazu haben sie sich Strukturen wie kd-Bäume ausgedacht, die die Aufgaben der Suche im dreidimensionalen Raum perfekt bewältigen. Aber sie haben aufgehört, für moderne Aufgaben zu arbeiten, bei denen der Text durch Hunderte von Zahlen beschrieben wird.
Aber dank der theoretischen Arbeit des späten zwanzigsten JahrhundertsEric Berninson schlug die Entwicklung von Suchbäumen namens Anna vor, die verwendet werden können, um eine gute Suchqualität in riesigen Sammlungen zu gewährleisten. Dies funktioniert für die gesamte riesige Spotify-Basis – ein wunderbares Ergebnis, das erst vor fünf Jahren erzielt wurde.
Es gibt auch andere Ansätze:zum Beispiel führte der Soziologe Stanley Milgram bizarre und teilweise menschenverachtende Experimente durch. Er brachte die Theorie der sechs Handshakes hervor, dass alle Menschen auf der Erde einander durch nicht mehr als sechs Handshakes kennen. Dazu bat er die Leute, einen Brief an einen Fremden zu schicken. Sie mussten dann unter ihren Bekannten diejenigen auswählen, die mit dieser Person vertraut sein könnten. Und es stellte sich heraus, dass sie dafür sechs Buchstaben brauchten. Das Experiment wurde kritisiert, aber in den 2000er Jahren wiederholt – und die Ergebnisse bestätigt.
Dies ist eine erstaunliche Eigenschaft, die in der Mathematikerwarb den Namen Graf "Kleine Welt". Russische Wissenschaftler - die Gruppe von Yuri Malkov - schlugen einen interessanten Algorithmus vor. Sie benutzten es, um überall etwas zu finden. Die Knoten in diesem Diagramm sind nicht mehr Personen, sondern Dokumente.
In diesem Diagramm - der kürzeste Abstand zwischen allenein paar Objekte. Benutzer können sehr schnell finden, was wir brauchen. Diese Datenstruktur wird jetzt in vielen Unternehmen in Russland und im Ausland verwendet - Facebook, Mail.ru, Yandex. Ein hervorragendes mathematisches Modell, das nicht nur Such- und Empfehlungsdienste, sondern auch Sprachassistenten verändert hat.
weiter lesen
Sehen Sie das weltweit erste einstufige Orbitalschiff der Zukunft
Drei Jahre lang glaubten Wissenschaftler, dass es im Süden des Mars Wasser gebe. Es stellte sich heraus, dass es nicht so war
Ein wasserstoffbetriebenes Hyperschallflugzeug kann Geschwindigkeiten von bis zu Mach 12 erreichen. Es sind fast 15.000 km/h