Assistant Zuckerberg et le système d'exploitation "Samantha": deux types de systèmes vocaux
Je travaille dans un laboratoire
Il y a deux façons de voir ce qui estassistant vocal. Imaginez que vous avez un majordome virtuel. Par exemple, il y a environ cinq ans, Mark Zuckerberg a créé un assistant intelligent chez lui, appelé "Jarvis". Il savait faire entrer les gens dans la maison, ouvrir et fermer les portes, les rideaux, allumer la lumière. D'autres exemples de tels appareils sont "Alexa" et "Alice", ils vivent dans l'appareil et sont capables d'améliorer la vie. Ils peuvent contrôler le four, la machine à laver, l'aspirateur, etc.
Une autre façon de voir les assistants est commeinterface. Dans le film "She", il y avait un système d'exploitation appelé "Samantha", dans le doublage russe, elle avait la même voix que "Alice" de Yandex. Elle a agi comme une interface avec la gestion du système d'exploitation et n'a pas été conçue comme une assistante. Apple a cette approche - Siri, Microsoft - Сortana, Google - Google Assistant.
Comment travaillent-ils?
Tous les assistants sont construits sur un modèle très similaireprincipe. La première chose qu'il doit faire est d'entendre la voix. Cela se produit sur l'appareil de l'utilisateur - un téléphone portable ou un haut-parleur intelligent. L'utilisateur dit : "Alice", "Alexa", "OK Google". Après ces mots magiques, l'appareil est prêt à enregistrer la voix de l'utilisateur. Cela se produit jusqu'à un certain point - jusqu'à ce que le client soit silencieux ou que l'appareil en ait assez d'attendre qu'il soit silencieux. Après cela, les données sont envoyées au serveur de l'entreprise, qui fournit les services.
C'est là que la magie commence.La première opération est la conversion parole-texte. Tout le monde dit différemment, comment puis-je convertir cela en texte ? Commence alors ce pour quoi nous utilisons les assistants vocaux - la fourniture d'un service. Il s'agit de toute opération disponible en ligne - achat de billets, réservation d'une table dans un restaurant. La seule question est de savoir comment fournir une interface conviviale. S'il n'y est pas, l'appareil se transforme en locuteur.
Après avoir appelé le service, l'utilisateur doitrenvoyer les résultats, pour cela, vous devez les emballer correctement. Il s'agira très probablement d'un texte, d'un numéro d'une page sur Internet, d'une chanson, de données calculées par la calculatrice. Les données sont reconverties en paroles et transmises au client.
Discours au texte
Notre communication passe par la parole, la voix estcirculation de l'air autour. Ces vibrations tombent sur le tympan, il pousse trois os - l'étrier, l'enclume et le marteau. Ceux-ci, à leur tour, font vibrer un organe appelé escargot. Nous avons obtenu l'escargot du poisson, il est rempli d'eau et des cellules ciliées y vivent, elles oscillent avec l'eau de l'escargot. Les cellules ciliées supérieures amplifient les fluctuations du fluide et les transmettent à la partie inférieure des cellules ciliées, qui forment une impulsion électrique. Cette impulsion est transmise au cerveau.
De plus, à différents endroits de la cochlée, les cellules ciliées sont responsables de fréquences différentes. Les hautes fréquences sont traitées dans la partie large, les fréquences moyennes seront au milieu et les basses fréquences plus proches du centre.
Comment pouvons-nous faire en sorte que la machine perçoive un son comme celui-cide la même manière - non pas sous la forme d'un signal brut, mais sous la forme d'un ensemble de fréquences ? La réponse à cette question a été donnée par le mathématicien français Jean Baptiste Fourier, il a vécu à la frontière des XVIII-XIX siècles. Le scientifique a proposé une telle transformation mathématique, à l'aide de laquelle tout est le même que dans l'oreille - un signal brut est pris et décomposé en composantes de fréquence.
Que faire des composantes fréquentielles ?Nous pouvons mapper une représentation spectrale sur un phonème, c'est-à-dire que nous pouvons convertir la parole en phonèmes. Ils sont plus ou moins facilement convertis algorithmiquement en lettres. Autrement dit, nous pouvons obtenir un mot à partir d'une représentation phonétique.
Mais tout cela est inexact.Il y a des phonèmes qui diffèrent légèrement, les transitions d'un son à l'autre peuvent sonner différemment. On les appelle des senones, il y en a environ 10 000. Mais quand ils sont si nombreux, la tâche de définir les mots devient beaucoup plus difficile.
Combattre les bogues
Comment les chercheurs gèrent-ils les erreurs ?La réponse à cette question a été donnée par le mathématicien russe Andrei Markov, qui a vécu au tournant des XIXe et XXe siècles. Il a développé une théorie décrivant les processus où l'un découle de l'autre. Et grâce à sa théorie, des modèles de Markov cachés ont été développés. C'est l'un des premiers moyens de corriger les erreurs de ce type.
Par exemple, lorsqu'une personne parle indistinctement, elleaccent ou il prononce mal le mot - il existe un mécanisme mathématique qui vous permet de restaurer et de déterminer avec une grande précision ce que la personne voulait dire. Après tout, les gens font aussi des erreurs, mais ils se comprennent, ce qui signifie que nous avons un mécanisme pour corriger les erreurs dans notre tête.
Mais la représentation textuelle ne suffit pas -l'ordinateur fonctionne avec des nombres. Comment les obtenir ? Noam Chomsky a une hypothèse selon laquelle nous avons une structure dans le cerveau, de plus, disponible au niveau de la naissance, qui nous aide à apprendre rapidement les langues naturelles. Tout au long de sa vie, Chomsky construit, affine et travaille sur un modèle qui détermine les modèles communs à une langue, quelle qu'elle soit - russe, anglais ou chinois.
Sur la diapositive - la grammaire de Chomsky.C'est à peu près la même chose qu'ils font dans les cours de russe lorsqu'ils analysent une phrase par composition. Il y a des noms, des adjectifs, des sujets, des prédicats, des groupes de verbes - tout cela est formalisé et peut être montré à la machine. Cette structure est facilement représentée sous forme de nombres.
La machine peut comprendre quel est le sujet dansproposition et les mesures à prendre. Par exemple, si le client dit : « Alice, allume de la musique », alors « allume » sera l'action, « musique » sera l'objet sur lequel l'action se déroule. "Alice" comprendra le client et commencera à agir.
Mais les mots eux-mêmes sont une collection de lettres, commecomprendre leur signification ? Il existe des mots similaires - "jouer" et "jouer", l'appareil comprendra-t-il que c'est la même chose ? La réponse à cette question a été donnée par le linguiste américain Leonardo Bloomfield. Au début du XXe siècle, il a proposé une théorie où le sens d'un mot est déterminé par le contexte dans lequel se situe ce mot. Regardez la diapositive et réfléchissez au mot qui peut remplacer trois points.
Ma réponse serait un éléphant, mais quand j'ai demandéétudiants, ils disent qu'il pourrait y avoir un rhinocéros ou même une girafe. Mais en général, on comprend que c'est un gros animal qui vit en Afrique et qui peut être colérique. Si nous combinons tout cela, nous obtenons une description sémantique de cet objet sans utiliser le mot lui-même.
Mais si nous le numérisons, nous obtenons des dizaines de milliers de chiffres.Et grâce au mathématicien américain Gene Golub, il a réussi à comprendre comment réduire considérablement le nombre de chiffres.Au lieu d’utiliser des nombres, ils ont utilisé une collection de chiffres appelée vecteur.Et ce vecteur peut être utilisé pour comprendre la proximité ou la distance dans le sens, la cohérence sémantique.De cette façon, vous pouvez comprendre que « jouer » est à peu près la même chose que « jouer ».
Maintenant, il existe des outils où vous pouvez entrer des mots, et il deviendra clair comment ils sont distribués sur la carte des significations.Par exemple, les mots « girafe », « éléphant » et « rhinocéros » sont regroupés dans l’espace des significations.Ces méthodes ont évolué et semblent maintenant beaucoup plus avancées.
Nous avons présenté les mots sous forme de structure, les phrases sous forme de structure, nous avons présenté les mots sous forme de significations, tout cela est sous forme de chiffres, et après ?
Les services
Chaque service compte des centaines de milliers, des millions,des milliards d'objets. Si nous parlons de recherche sur Internet, ce sont des centaines de milliards de pages, des dizaines de milliards d'images. Si la musique en streaming, des millions de chansons.
L'une des premières approches d'indexation des données −construire des arbres de recherche binaires. La même chose est utilisée dans les dictionnaires : vous l'ouvrez au milieu, et si vous avez sauté le bon mot, faites défiler vers l'arrière, si vous ne l'avez pas compris, continuez. Mais en 1962, les mathématiciens soviétiques Georgy Adelson-Velsky et Evgeniy Landis ont proposé une structure de données qui se maintient dans un état de recherche rapide.
Ce système ne fonctionne que sur des données linéaires −chiffres ou mots. Et qu'adviendra-t-il des données multidimensionnelles si nous voulons rechercher quelque chose sur une carte ou dans un espace tridimensionnel ? Pour ce faire, ils ont mis au point des structures telles que les kd-trees, ils font parfaitement face aux tâches de recherche dans l'espace tridimensionnel. Mais ils ont cessé de travailler pour des tâches modernes, où le texte est décrit par des centaines de chiffres.
Mais grâce aux travaux théoriques de la fin du XXe siècleEric Berninson a proposé le développement d'arbres de recherche, appelés Anna, qui peuvent être utilisés pour garantir une bonne qualité de recherche sur de vastes collections. Cela fonctionne pour l'ensemble de la vaste base Spotify - un résultat magnifique obtenu il y a seulement cinq ans.
Il existe également d'autres approches :par exemple, le sociologue Stanley Milgram a réalisé des expériences bizarres et parfois inhumaines. Il a donné naissance à la théorie des six poignées de main, selon laquelle tous les habitants de la Terre se connaissent à travers pas plus de six poignées de main. Pour ce faire, il a demandé aux gens d'envoyer une lettre à un étranger. Ils devaient alors choisir parmi leurs connaissances celles qui pouvaient connaître cette personne. Et il s'est avéré qu'il leur a fallu six lettres pour le faire. L'expérience a été critiquée, mais répétée dans les années 2000 - et a confirmé les résultats.
C'est une propriété étonnante, qui en mathématiquesa acquis le nom de comte "Small World". Des scientifiques russes - le groupe de Yuri Malkov - ont proposé un algorithme intéressant. Ils l'utilisaient pour trouver n'importe quoi n'importe où. Les nœuds de ce graphe ne sont plus des personnes, mais des documents.
Dans ce graphique - la distance la plus courte entre n'importe quelquelques objets. Les utilisateurs peuvent trouver ce dont nous avons besoin très rapidement. Cette structure de données est maintenant utilisée dans de nombreuses entreprises en Russie et à l'étranger - Facebook, Mail.ru, Yandex. Un excellent modèle mathématique qui a changé non seulement les services de recherche et de recommandation, mais aussi les assistants vocaux.
Lire la suite
Découvrez le premier navire orbital à un étage du futur
Pendant trois ans, les scientifiques ont cru qu'il y avait de l'eau au sud de Mars. Il s'est avéré que ce n'était pas
Les avions hypersoniques à hydrogène développent des vitesses allant jusqu'à Mach 12. C'est presque 15 000 km/h