Was ist die Verarbeitung natürlicher Sprache?
Textverarbeitung in natürlicher Sprache – allgemeine Richtung
Analyse für künstliche Intelligenzbedeutet, die Sprache zu verstehen, und Synthese bedeutet, gebildeten Text zu generieren. Um diese Probleme zu lösen, muss eine bequemere Form der Interaktion zwischen einem Computer und einer Person geschaffen werden.
Ziele und Einschränkungen
Theoretisch die Konstruktion einer natürlichen SpracheSchnittstelle für Computer ist ein sehr attraktives Ziel. Frühe Systeme wie SHRDLU, die mit einer begrenzten "Würfelwelt" arbeiteten und ein begrenztes Vokabular verwendeten, sahen extrem gut aus und inspirierten ihre Schöpfer. Der Optimismus ließ jedoch schnell nach, als diese Systeme mit der Komplexität und Mehrdeutigkeit der realen Welt konfrontiert wurden.
Das Verständnis der natürlichen Sprache wird manchmal in Betracht gezogenKI ist eine vollständige Aufgabe, da das Erkennen einer lebendigen Sprache ein umfassendes Wissen über das System über die umgebende Welt und die Fähigkeit zur Interaktion mit ihr erfordert. Die Definition der Bedeutung des Wortes "verstehen" ist eine der Hauptaufgaben der künstlichen Intelligenz.
Schwierigkeiten beim Verständnis der russischen Sprache
Die Qualität des Verständnisses hängt von vielen Faktoren ab: von der Sprache, der nationalen Kultur, dem Gesprächspartner selbst usw. Dies sind einige Beispiele für die Schwierigkeiten, mit denen Textverständnissysteme konfrontiert sind.
- Schwierigkeiten beim Aufdecken von Anaphern (Erkennen,was mit der Verwendung von Pronomen gemeint ist): Die Sätze „Wir gaben den Affen die Bananen, weil sie hungrig waren“ und „Wir gaben den Affen die Bananen, weil sie überreif waren“ ähneln sich in der syntaktischen Struktur. In einem von ihnen das PronomenSie sindbezieht sich auf Affen und in einem anderen Fall auf Bananen. Das richtige Verständnis hängt davon ab, dass der Computer weiß, was Bananen und Affen sein können.
- Die freie Reihenfolge der Wörter kann zu einer völlig anderen Interpretation des Satzes führen: "Sein bestimmt das Bewusstsein" - was bestimmt was?
- Im Russischen wird die freie Ordnung durch eine entwickelte Morphologie, offizielle Wörter und Satzzeichen kompensiert, aber in den meisten Fällen stellt dies ein zusätzliches Problem für einen Computer dar.
- Neologismen können in der Sprache angetroffen werden, zum Beispiel das Verb "Fünfzig Rubel" - das heißt, senden Sie 50 Rubel. Das System sollte in der Lage sein, solche Fälle von Tippfehlern zu unterscheiden und sie richtig zu verstehen.
- Ein weiteres Problem ist das korrekte Verständnis von Homonymen. Unter anderem bei der Spracherkennung tritt das Problem phonetischer Homonyme auf. Im Satz „Der graue Wolf in der WildnisWaldtraf eine RothaarigeFuchs»Markierte Wörter werden auf die gleiche Weise und ohne gehörtDas Wissen darüber, wer taub und wer rot ist, ist unabdingbar (außer dass der Fuchs rot und der Wald taub sein kann, kann der Wald auch rot sein (ein Merkmal, das in diesem Fall die vorherrschende Farbe des Laubes im Wald bezeichnet) ), während der Fuchs taub sein kann, was zu einem zusätzlichen Problem führt, das sich aus dem vorherigen ergibt, obwohl es teilweise durch die Morphologie kompensiert wird - die Adjektive in diesem Satz unterscheiden sich deutlich im Geschlecht).
Beliebte Aufgaben:
- Spracherkennung
- Textanalyse:
- Extraktion von Informationen,
- Informationssuche,
- Analyse von Aussagen,
- Stimmungsanalyse des Textes,
- Frage-Antwort-Systeme.
- Text generieren
- Sprachsynthese
Allgemeine Einteilung:
- Kategorisierung von Texten
- Klassifizierung von Zeichenfolgen:
- Named Entity Recognition,
- Bestimmung von Wortarten.
- Phrasenerkennung
- Informationen aus Text extrahieren
- Syntaktische Annotation
- Semantische Annotation
- Text generieren:
- Generierung von Text basierend auf anerkannter Sprache,
- Maschinelle Übersetzung,
- Verallgemeinerung des Textes.
Wie benutzt es das Schreiben von KI bei der Arbeit?
- Die Washington Post
Im August 2016 erstmals die Washington Postbegann den Bot Heliograf zu benutzen, der kurze Nachrichten über die Olympischen Spiele in Rio de Janeiro schrieb. Die Leistung von "Heliograf" war beeindruckend: Der Bot generierte Nachrichten schneller, als der Herausgeber Zeit hatte, die Aufgabe festzulegen, und die Leser konnten automatische Notizen nicht von handschriftlichen unterscheiden.
- Bloomberg
Etwa 30% aller Bloomberg-Nachrichten heutewerden mit dem Cyborg-Modul erstellt. Es generiert sie gemäß der Vorlage: Was ist passiert, wann, wo, mit wem, wer und wie hat das Ereignis kommentiert. Dies spart Reportern Kosten, auf die Sie jedoch nicht verzichten können. Cyborg ist nur ein Automatisierungssystem, keine fortgeschrittene KI.
- Reuters
Die internationale Agentur Reuters verwendet SoftwareNachrichten-Tracer. Es ist ein AI-Vorhersage-Tool, das Twitter-Geschichten anhand statistischer Kriterien und Reputationskriterien bewertet. Der Bot überprüft täglich über 700 Millionen Tweets.
- Der Wächter
Zum ersten Mal ist künstliche Intelligenz darüber hinausgegangenNachrichten und begann, analytische Artikel zu generieren. Im Januar 2019 veröffentlichte The Guardian die erste Geschichte, die vom ReporterMate für künstliche Intelligenz geschrieben wurde. Es war der Höhe der Spenden gewidmet, die von verschiedenen Parteien in Australien gesammelt wurden. Zusätzlich zum Text erstellte die KI Grafiken und stufte die Spiele anhand der Ergebnisse des Trainingslagers ein.
Weiter lesen:
Die erste genaue Weltkarte wurde erstellt. Was ist los mit allen anderen?
Der stürmischste Ort der Erde: Warum die Drake Passage die gefährlichste Route in die Antarktis ist
Neue Uranverbindungen brechen Rekord für anomale Leitfähigkeit