Što je obrada prirodnog jezika?
Obrada teksta prirodnog jezika - opći smjer
Analiza primijenjena na umjetnu inteligencijuznači razumijevanje jezika, a sinteza znači generiranje pismenog teksta. Rješavanje ovih problema značit će stvaranje prikladnijeg oblika interakcije između računala i osobe.
Ciljevi i ograničenja
Teoretski, izgradnja prirodnog jezikasučelje za računala vrlo je atraktivna meta. Rani sustavi poput SHRDLU, koji su radili s ograničenim "svijetom kockica" i koristili ograničeni rječnik, izgledali su izuzetno dobro nadahnjujući njihove tvorce. Međutim, optimizam se brzo smanjio kad su se ti sustavi suočili sa složenošću i dvosmislenošću stvarnog svijeta.
Ponekad se razmatra razumijevanje prirodnog jezikaAI je cjelovit zadatak, jer prepoznavanje živog jezika zahtijeva ogromno znanje sustava o okolnom svijetu i sposobnost interakcije s njim. Sama definicija značenja riječi "razumjeti" jedan je od glavnih zadataka umjetne inteligencije.
Poteškoće u razumijevanju ruskog jezika
Kvaliteta razumijevanja ovisi o mnogim čimbenicima: o jeziku, nacionalnoj kulturi, o samom sugovorniku itd. Ovo su neki primjeri poteškoća s kojima se susreću sustavi za razumijevanje teksta.
- Poteškoće s otkrivanjem anafora (prepoznavanje,što se misli pod upotrebom zamjenica): rečenice “Dali smo banane majmunima jer su bili gladni” i “Dali smo banane majmunima jer su bile prezrele” slične su sintaktičke strukture. U jednom od njih zamjoni suodnosi se na majmune, a u drugom na banane. Točno razumijevanje ovisi o poznavanju računala o tome što mogu biti banane i majmuni.
- Slobodni redoslijed riječi može dovesti do potpuno drugačijeg tumačenja fraze: "Bitak određuje svijest" - što određuje što?
- Na ruskom se slobodni poredak nadoknađuje razvijenom morfologijom, službenim riječima i interpunkcijskim znakovima, ali u većini slučajeva to predstavlja dodatni problem za računalo.
- Neologizmi se mogu susresti u govoru, na primjer, glagol "Pedeset rubalja" - to jest, poslati 50 rubalja. Sustav bi trebao moći razlikovati takve slučajeve od pravopisnih pogrešaka i ispravno ih razumjeti.
- Ispravno razumijevanje homonima je još jedan problem. U prepoznavanju govora, između ostalog, javlja se problem fonetskih homonima. U frazi “Sivi vuk u divljinišumasreo crvenokosulisica»Istaknute riječi čuju se na isti način i bez njihneophodno je znati tko je gluh, a tko crven (osim što lisica može biti crvena, a šuma gluha, šuma također može biti crvena (karakteristika, u ovom slučaju, koja označava pretežnu boju lišća u šumi) ), dok lisica može biti gluha, što dovodi do dodatnog problema koji proizlazi iz prethodnog, iako je djelomično kompenziran morfologijom - pridjevi u ovoj rečenici očito se razlikuju po rodu
Popularni zadaci:
- Prepoznavanje govora
- Analiza teksta:
- Vađenje informacija,
- Pretraživanje informacija,
- Analiza izjava,
- Analiza sentimenta teksta,
- Sustavi pitanja i odgovora.
- Generiranje teksta
- Sinteza govora
Opća klasifikacija:
- Kategorizacija tekstova
- Klasifikacija nizova znakova:
- Prepoznavanje imenovanog entiteta,
- Određivanje dijelova riječi.
- Prepoznavanje fraza
- Izdvajanje podataka iz teksta
- Sintaksička bilješka
- Semantička bilješka
- Generiranje teksta:
- Generiranje teksta na temelju prepoznatog govora,
- Strojni prijevod,
- Generalizacija teksta.
Kako se pisanje AI-a koristi na poslu?
- Washington Post
U kolovozu 2016. godine, The Washington Post prvi putpočeo koristiti bota Heliograf, koji je napisao kratke vijesti o Olimpijskim igrama u Rio de Janeiru. Izvedba "Heliografa" bila je impresivna: bot je generirao vijesti brže nego što je urednik imao vremena postaviti zadatak, a čitatelji nisu mogli razlikovati automatske bilješke od rukom napisanih.
- Bloomberg
Oko 30% svih Bloombergovih vijesti danaskreiraju se pomoću Cyborg modula. Generira ih prema predlošku: što se dogodilo, kada, gdje, s kim, tko je i kako komentirao događaj. To novinarima štedi troškove, ali bez njih ne možete. Cyborg je samo sustav automatizacije, a ne napredni AI.
- Reuters
Međunarodna agencija Reuters koristi softverTragač vijesti. To je AI predviđajući alat koji procjenjuje Twitter priče na temelju statističkih i reputacijskih kriterija. Bot svakodnevno provjerava preko 700 milijuna tweetova.
- Čuvar
Po prvi je put umjetna inteligencija otišla daljevijesti i počeli stvarati analitičke članke. U siječnju 2019. The Guardian objavio je prvu priču koju je napisao umjetna inteligencija ReporterMate. Bila je posvećena iznosu donacija koje su prikupile razne stranke u Australiji. Pored teksta, AI je generirao grafikone i rangirao igre na temelju rezultata trening kampa.
Čitaj više:
Stvorena je prva točna karta svijeta. Što nije u redu sa svima ostalima?
Najlujanije mjesto na Zemlji: zašto je prolaz Drake najopasniji put do Antarktike
Novi spoj urana ruši rekord u anomalnoj vodljivosti