Qu'est-ce que le traitement du langage naturel?
Traitement de texte en langage naturel : orientation générale
Analyse appliquée à l'intelligence artificiellesignifie comprendre la langue et la synthèse signifie produire un texte alphabétisé. Pour résoudre ces problèmes, il faudra créer une forme d'interaction plus pratique entre un ordinateur et une personne.
Objectifs et limites
Théoriquement, la construction d'un langage naturell'interface pour ordinateurs est une cible très attractive. Les premiers systèmes comme SHRDLU, travaillant avec un «monde cubique» limité et utilisant un vocabulaire limité, semblaient extrêmement bons, inspirant leurs créateurs. Cependant, l'optimisme s'est rapidement affaibli lorsque ces systèmes ont été confrontés à la complexité et à l'ambiguïté du monde réel.
La compréhension du langage naturel est parfois considéréeL'IA est une tâche complète, car la reconnaissance d'une langue vivante nécessite une énorme connaissance du système sur le monde environnant et la capacité d'interagir avec lui. La définition même du sens du mot «comprendre» est l'une des tâches principales de l'intelligence artificielle.
Difficultés à comprendre la langue russe
La qualité de la compréhension dépend de nombreux facteurs: de la langue, de la culture nationale, de l'interlocuteur lui-même, etc. Voici quelques exemples des difficultés que rencontrent les systèmes de compréhension de texte.
- Difficultés à révéler les anaphores (reconnaissance,ce que l'on entend par utilisation des pronoms) : les phrases « Nous avons donné les bananes aux singes parce qu'ils avaient faim » et « Nous avons donné les bananes aux singes parce qu'elles étaient trop mûres » ont une structure syntaxique similaire. Dans l'un d'eux, le pronomils sontfait référence aux singes, et dans un autre aux bananes. Une compréhension correcte dépend de la connaissance qu'a l'ordinateur de ce que peuvent être les bananes et les singes.
- L'ordre libre des mots peut conduire à une interprétation complètement différente de la phrase: «L'être détermine la conscience» - qu'est-ce qui détermine quoi?
- En russe, la commande libre est compensée par une morphologie développée, des mots officiels et des signes de ponctuation, mais dans la plupart des cas, cela pose un problème supplémentaire pour un ordinateur.
- Les néologismes peuvent être rencontrés dans le discours, par exemple, le verbe "Cinquante rouble" - c'est-à-dire envoyer 50 roubles. Le système doit être capable de distinguer ces cas des fautes de frappe et de les comprendre correctement.
- La compréhension correcte des homonymes est un autre problème. En reconnaissance vocale, entre autres, se pose le problème des homonymes phonétiques. Dans la phrase « Le loup gris dans le désertforêtj'ai rencontré une rousseRenard»Les mots surlignés sont entendus de la même manière, et sansla connaissance de qui est sourd et qui est rouge est indispensable (sauf que le renard peut être rouge et la forêt peut être sourde, la forêt peut aussi être rouge (une caractéristique, dans ce cas, désignant la couleur prédominante du feuillage dans la forêt ), alors que le renard peut être sourd, ce qui pose un problème supplémentaire découlant du précédent, bien qu'il soit partiellement compensé par la morphologie - les adjectifs de cette phrase sont clairement différents par sexe).
Tâches populaires:
- Reconnaissance de la parole
- Analyse de texte:
- Extraction d'informations,
- Recherche d'information,
- Analyse des déclarations,
- Analyse des sentiments du texte,
- Systèmes de questions-réponses.
- Générer du texte
- Synthèse de discours
Classification générale:
- Catégorisation des textes
- Classification des séquences de caractères:
- Reconnaissance d'entité nommée,
- Détermination des parties du discours des mots.
- Reconnaissance de phrase
- Extraire des informations du texte
- Annotation syntaxique
- Annotation sémantique
- Générer du texte:
- Génération de texte basé sur la parole reconnue,
- Traduction automatique,
- Généralisation du texte.
Comment l'écriture de l'IA l'utilise-t-elle au travail?
- The Washington Post
En août 2016, le Washington Post pour la première foisa commencé à utiliser le bot Heliograf, qui a écrit de brèves informations sur les Jeux Olympiques de Rio de Janeiro. La performance de "Heliograf" était impressionnante: le bot générait des nouvelles plus rapidement que l'éditeur n'avait eu le temps de définir la tâche, et les lecteurs ne pouvaient pas distinguer les notes automatiques des notes manuscrites.
- Bloomberg
Environ 30% de toutes les nouvelles de Bloomberg aujourd'huisont créés à l'aide du module Cyborg. Il les génère selon le modèle: ce qui s'est passé, quand, où, avec qui, qui et comment a commenté l'événement. Cela permet d'économiser des coûts pour les journalistes, mais vous ne pouvez pas vous en passer. Cyborg n'est qu'un système d'automatisation, pas une IA avancée.
- Reuters
L'agence internationale Reuters utilise un logicielNews Tracer. Il s'agit d'un outil prédictif d'IA qui évalue les histoires Twitter en fonction de critères statistiques et de réputation. Le bot vérifie plus de 700 millions de tweets chaque jour.
- Le gardien
Pour la première fois, l'intelligence artificielle est allée au-delànotes de presse et a commencé à produire des articles analytiques. En janvier 2019, The Guardian a publié le premier article écrit par le ReporterMate d'intelligence artificielle. Il était dédié au montant des dons collectés par diverses parties en Australie. En plus du texte, l'IA a généré des graphiques et classé les jeux en fonction des résultats du camp d'entraînement.
Lire la suite:
La première carte précise du monde a été créée. Quel est le problème avec tout le monde?
L'endroit le plus orageux de la planète: pourquoi le passage de Drake est la route la plus dangereuse vers l'Antarctique
Un nouveau composé d'uranium bat le record de conductivité anormale