Čo je spracovanie prirodzeného jazyka?
Spracovanie textu v prirodzenom jazyku – všeobecný smer
Analýza použitá pre umelú inteligenciuznamená porozumenie jazyka a syntéza znamená generovanie gramotného textu. Riešenie týchto problémov bude znamenať vytvorenie pohodlnejšej formy interakcie medzi počítačom a osobou.
Ciele a obmedzenia
Teoreticky budovanie prirodzeného jazykarozhranie pre počítače je veľmi atraktívnym cieľom. Prvé systémy ako SHRDLU, pracujúce s obmedzeným „kockovým svetom“ a využívajúce obmedzenú slovnú zásobu, vyzerali mimoriadne dobre a inšpirovali ich tvorcov. Optimizmus sa však rýchlo zmenšil, keď boli tieto systémy konfrontované so zložitosťou a nejednoznačnosťou skutočného sveta.
Niekedy sa uvažuje o porozumení prirodzeného jazykaAI je úplná úloha, pretože rozpoznanie živého jazyka si vyžaduje obrovské znalosti systému o okolitom svete a schopnosť interakcie s ním. Samotná definícia významu slova „rozumieť“ je jednou z hlavných úloh umelej inteligencie.
Ťažkosti s porozumením ruského jazyka
Kvalita porozumenia závisí od mnohých faktorov: od jazyka, národnej kultúry, samotného účastníka rozhovoru atď. Tu je niekoľko príkladov ťažkostí, ktorým čelia systémy porozumenia textu.
- Ťažkosti s odhaľovaním anafor (rozpoznanie,čo sa myslí použitím zámen): vety „Dali sme opiciam banány, lebo boli hladné“ a „Dali sme opiciam banány, lebo boli prezreté“ sú syntaktickou štruktúrou podobné. V jednom z nich zámenooni súsa vzťahuje na opice av inom na banány. Správne pochopenie závisí od znalostí počítača o tom, čo môžu byť banány a opice.
- Voľné poradie slov môže viesť k úplne inej interpretácii vety: „Bytie určuje vedomie“ - čo určuje čo?
- V ruštine je bezplatná objednávka kompenzovaná rozvinutou morfológiou, úradnými slovami a interpunkčnými znamienkami, čo však vo väčšine prípadov predstavuje pre počítač ďalší problém.
- S neologizmami sa môžeme stretnúť v reči, napríklad sloveso „Päťdesiat rubľov“ - teda poslať 50 rubľov. Systém by mal byť schopný rozlíšiť takéto prípady od preklepov a správne im porozumieť.
- Ďalším problémom je správne pochopenie homoným. Pri rozpoznávaní reči okrem iného vzniká problém fonetických homoným. Vo fráze „Sivý vlk v divočinelesStretol ryšavkulíška»Zvýraznené slová sú počuť rovnako aj bez nichznalosť toho, kto je hluchý a kto červený, je nevyhnutná (okrem toho, že líška môže byť červená a les môže byť hluchý, les môže byť tiež červený (charakteristika, v tomto prípade označujúca prevládajúcu farbu lístia v lese ), zatiaľ čo líška môže byť hluchá, čo vedie k ďalšiemu problému vyplývajúcemu z predchádzajúceho, hoci je to čiastočne kompenzované tvaroslovím - prídavné mená v tejto vete sa zreteľne líšia v pohlaví).
Populárne úlohy:
- Rozpoznávanie reči
- Textová analýza:
- Získavanie informácií,
- Vyhľadávanie informácií,
- Analýza výkazov,
- Sentimentálna analýza textu,
- Systémy otázok a odpovedí.
- Generuje sa text
- Syntéza reči
Všeobecná klasifikácia:
- Kategorizácia textov
- Klasifikácia postupnosti znakov:
- Uznanie pomenovanej entity,
- Stanovenie slovných druhov.
- Rozpoznávanie fráz
- Extrahovanie informácií z textu
- Syntaktická anotácia
- Sémantická anotácia
- Generuje sa text:
- Generovanie textu na základe rozpoznanej reči,
- Strojový preklad,
- Zovšeobecnenie textu.
Ako ho pri práci používa AI?
- Príspevok vo Washingtone
V auguste 2016 The Washington Post prvýkrátzačal používať robot Heliograf, ktorý písal krátke správy o olympijských hrách v Riu de Janeiro. Výkon aplikácie „Heliograf“ bol pôsobivý: robot generoval správy rýchlejšie, ako mal čas editor na stanovenie úlohy, a čitatelia nedokázali rozlíšiť automatické poznámky od rukopisných.
- Bloomberg
Asi 30% všetkých správ agentúry Bloomberg dnessa vytvárajú pomocou modulu Cyborg. Generuje ich podľa šablóny: čo sa stalo, kedy, kde, s kým, kto a ako komentoval udalosť. To šetrí reportérom náklady, ale nezaobídete sa bez nich. Cyborg je iba automatizačný systém, nie pokročilá AI.
- Reuters
Medzinárodná agentúra Reuters používa softvérVyhľadávač správ. Jedná sa o prediktívny nástroj AI, ktorý hodnotí príbehy z Twitteru na základe štatistických kritérií a kritérií reputácie. Robot kontroluje každý deň viac ako 700 miliónov tweetov.
- Strážca
Prvýkrát išla umelá inteligencia ďalejnovinky a začal generovať analytické články. V januári 2019 publikoval The Guardian prvý príbeh napísaný umelou inteligenciou ReporterMate. Bol venovaný množstvu darov, ktoré zhromaždili rôzne strany v Austrálii. Okrem textu AI vygenerovala grafy a hry zoradila na základe výsledkov výcvikového tábora.
Čítaj viac:
Bola vytvorená prvá presná mapa sveta. Čo je zlé na všetkých ostatných?
Najbúrlivejšie miesto na Zemi: prečo je Drake Passage najnebezpečnejšou cestou do Antarktídy
Nová zlúčenina uránu prekonáva rekordné hodnoty anomálnej vodivosti