Kas ir dabiskās valodas apstrāde?
Dabiskās valodas teksta apstrāde — vispārīgais virziens
Analīze, kas piemērota mākslīgajam intelektamnozīmē valodas izpratni, un sintēze nozīmē literāta teksta ģenerēšanu. Šo problēmu risināšana nozīmēs izveidot ērtāku mijiedarbības veidu starp datoru un personu.
Mērķi un ierobežojumi
Teorētiski dabiskās valodas konstruēšanainterfeiss datoriem ir ļoti pievilcīgs mērķis. Agrīnās sistēmas, piemēram, SHRDLU, strādājot ar ierobežotu "kubu pasauli" un izmantojot ierobežotu vārdu krājumu, izskatījās ārkārtīgi labi, iedvesmojot to radītājus. Tomēr optimisms ātri mazinājās, kad šīs sistēmas saskārās ar reālās pasaules sarežģītību un neskaidrību.
Dažreiz tiek apsvērta dabiskās valodas izpratneAI ir pilnīgs uzdevums, jo dzīvas valodas atpazīšana prasa milzīgas sistēmas zināšanas par apkārtējo pasauli un spēju ar to mijiedarboties. Pati vārda "saprast" nozīmes definīcija ir viens no galvenajiem mākslīgā intelekta uzdevumiem.
Grūtības saprast krievu valodu
Izpratnes kvalitāte ir atkarīga no daudziem faktoriem: no valodas, nacionālās kultūras, no paša sarunu biedra utt. Šie ir daži piemēri grūtībām, ar kurām saskaras teksta izpratnes sistēmas.
- Grūtības ar anaforu atklāšanu (atpazīšana,kas tiek saprasts ar vietniekvārdu lietošanu): teikumi “Mēs iedevām pērtiķiem banānus, jo viņi bija izsalkuši” un “Mēs iedevām banānus pērtiķiem, jo tie bija pārgatavojušies” ir līdzīgi pēc sintaktiskās struktūras. Vienā no tiem vietniekvārdsviņi irattiecas uz pērtiķiem, bet citā uz banāniem. Pareiza izpratne ir atkarīga no datora zināšanām par to, kas var būt banāni un pērtiķi.
- Brīva vārdu kārtība var novest pie pilnīgi atšķirīgas frāzes interpretācijas: "Būtne nosaka apziņu" - kas ko nosaka?
- Krievu valodā brīvo kārtību kompensē attīstītā morfoloģija, oficiālie vārdi un pieturzīmes, taču vairumā gadījumu tas datoram rada papildu problēmas.
- Neologismus var sastapt runā, piemēram, darbības vārds "Piecdesmit rublis" - tas ir, nosūtīt 50 rubļus. Sistēmai jāspēj atšķirt šādus gadījumus no drukas kļūdām un pareizi tos saprast.
- Pareiza homonīmu izpratne ir vēl viena problēma. Runas atpazīšanā cita starpā rodas fonētisko homonīmu problēma. Frāzē “Pelēkais vilks tuksnesīmežssatiku rudmatelapsa»Izceltie vārdi tiek dzirdēti tāpat un bez tiemzināšanas par to, kurš ir nedzirdīgs un kurš ir sarkans, ir neaizstājamas (izņemot to, ka lapsa var būt sarkana un mežs var būt nedzirdīgs, mežs var būt arī sarkans (īpašība, šajā gadījumā apzīmējot mežā dominējošo lapotnes krāsu) ), kamēr lapsa var būt nedzirdīga, kas rada papildu problēmu, kas rodas no iepriekšējās, lai gan to daļēji kompensē morfoloģija - šī teikuma īpašības vārdi ir skaidri atšķirīgi pēc dzimuma).
Populāri uzdevumi:
- Runas atpazīšana
- Teksta analīze:
- Informācijas iegūšana,
- Informācijas meklēšana,
- Paziņojumu analīze,
- Teksta noskaņojuma analīze,
- Jautājumu-atbilžu sistēmas.
- Ģenerē tekstu
- Runas sintēze
Vispārējā klasifikācija:
- Tekstu kategorizēšana
- Rakstzīmju secības klasifikācija:
- Nosaukta entītijas atpazīšana,
- Vārdu runas daļu noteikšana.
- Frāžu atpazīšana
- Informācijas iegūšana no teksta
- Sintaktiskā anotācija
- Semantiskā anotācija
- Ģenerē tekstu:
- Teksta ģenerēšana, pamatojoties uz atpazītu runu,
- Mašīntulkot,
- Teksta vispārināšana.
Kā AI rakstīšana to izmanto darbā?
- Vašingtonas pasts
2016. gada augustā The Washington Post pirmo reizisāka lietot botu Heliograf, kas rakstīja īsas ziņas par Riodežaneiro olimpiskajām spēlēm. "Heliograf" sniegums bija iespaidīgs: robots ziņas ģenerēja ātrāk, nekā redaktoram bija laiks noteikt uzdevumu, un lasītāji nespēja atšķirt automātiskās piezīmes no rokām rakstītajām.
- Bloomberg
Aptuveni 30% no visiem Bloomberg jaunumiem šodientiek izveidoti, izmantojot Cyborg moduli. Tas tos ģenerē pēc veidnes: kas notika, kad, kur, ar ko, kas un kā komentēja notikumu. Tas ļauj ietaupīt reportieru izmaksas, taču bez tiem nevar iztikt. Kiborga ir tikai automatizācijas sistēma, nevis uzlabota AI.
- Reuters
Starptautiskā aģentūra Reuters izmanto programmatūruJaunumi Tracer. Tas ir AI paredzēšanas rīks, kas Twitter stāstus vērtē, pamatojoties uz statistikas un reputācijas kritērijiem. Bots katru dienu pārbauda vairāk nekā 700 miljonus tvītu.
- Aizbildnis
Pirmo reizi mākslīgais intelekts ir pārsniedzis robežasziņu piezīmes un sāka veidot analītiskus rakstus. 2019. gada janvārī The Guardian publicēja pirmo mākslīgā intelekta ReporterMate sacerēto stāstu. Tas tika veltīts ziedojumu daudzumam, ko savākušas dažādas Austrālijas partijas. Papildus tekstam AI ģenerēja diagrammas un sarindoja spēles, pamatojoties uz treniņnometnes rezultātiem.
Lasīt vairāk:
Tika izveidota pirmā precīzā pasaules karte. Kas vainas visiem pārējiem?
Vētrainākā vieta uz Zemes: kāpēc Drake Passage ir visbīstamākais ceļš uz Antarktīdu
Jauns urāna savienojums pārspēj anomālas vadītspējas rekordu