Hva er naturlig språkbehandling?
Naturlig språktekstbehandling – generell retning
Analyse anvendt på kunstig intelligensbetyr å forstå språket, og syntese betyr å generere literate tekst. Å løse disse problemene vil bety å skape en mer praktisk form for interaksjon mellom en datamaskin og en person.
Mål og begrensninger
Teoretisk sett konstruksjonen av et naturlig språkgrensesnitt for datamaskiner er et veldig attraktivt mål. Tidlige systemer som SHRDLU, som jobbet med en begrenset "kubeverden" og brukte et begrenset ordforråd, så ekstremt bra ut og inspirerte skaperne. Imidlertid ble optimismen raskt redusert da disse systemene ble konfrontert med kompleksiteten og tvetydigheten i den virkelige verden.
Naturlig språkforståelse blir noen ganger vurdertAI er en fullstendig oppgave, fordi anerkjennelse av et levende språk krever enorm kunnskap om systemet rundt omverdenen og evnen til å samhandle med det. Selve definisjonen av betydningen av ordet "forstå" er en av hovedoppgavene til kunstig intelligens.
Vanskeligheter med å forstå det russiske språket
Kvaliteten på forståelse avhenger av mange faktorer: av språket, av den nasjonale kulturen, av samtalepartneren selv osv. Dette er noen eksempler på vanskeligheter som tekstforståelsessystemer møter.
- Vansker med å avsløre anaforer (gjenkjenning,hva menes når pronomen brukes): setningene "Vi ga bananene til apene fordi de var sultne" og "Vi ga bananene til apene fordi de var overmodne" er like i syntaktisk struktur. I en av dem pronomenetde errefererer til aper, og i en annen til bananer. Riktig forståelse avhenger av datamaskinens kunnskap om hva bananer og aper kan være.
- Fri ordrekkefølge kan føre til en helt annen tolkning av uttrykket: "Å være bestemmer bevissthet" - hva bestemmer hva?
- På russisk kompenseres fri orden av en utviklet morfologi, offisielle ord og skilletegn, men i de fleste tilfeller er dette et ekstra problem for en datamaskin.
- Neologismer kan oppstå i tale, for eksempel verbet "Femti rubel" - det vil si sende 50 rubler. Systemet skal kunne skille slike tilfeller fra skrivefeil og forstå dem riktig.
- Riktig forståelse av homonymer er et annet problem. I blant annet talegjenkjenning oppstår problemet med fonetiske homonymer. I setningen «Den grå ulven i villmarkenskogmøtte en rødhåretrev»Fremhevede ord høres på samme måte og utenkunnskap om hvem som er døv og hvem som er rød er uunnværlig (bortsett fra at reven kan være rød og skogen kan være døv, kan skogen også være rød (en karakteristikk, i dette tilfellet, som betegner den dominerende fargen på bladverket i skogen ), mens reven kan være døv, noe som gir et ekstra problem som oppstår fra den forrige, selv om den delvis kompenseres av morfologi - adjektivene i denne setningen er klart forskjellige i kjønn).
Populære oppgaver:
- Talegjenkjenning
- Tekstanalyse:
- Utvinning av informasjon,
- Informasjonssøk,
- Analyse av uttalelser,
- Sentimentanalyse av teksten,
- Spørsmål-svar-systemer.
- Genererer tekst
- Talesyntese
Generell klassifisering:
- Kategorisering av tekster
- Klassifisering av tegnsekvenser:
- Navngitt enhetsgjenkjenning,
- Bestemmelse av ordets tale.
- Setningsgjenkjenning
- Henter ut informasjon fra tekst
- Syntaktisk kommentar
- Semantisk kommentar
- Genererer tekst:
- Generering av tekst basert på anerkjent tale,
- Maskinoversetter,
- Generalisering av teksten.
Hvordan bruker AI å skrive det på jobben?
- Washington-innlegget
I august 2016, The Washington Postbegynte å bruke bot Heliograf, som skrev korte nyheter om de olympiske leker i Rio de Janeiro. Utførelsen av "Heliograf" var imponerende: bot genererte nyheter raskere enn redaktøren hadde tid til å sette oppgaven, og leserne kunne ikke skille automatiske notater fra håndskrevne.
- Bloomberg
Omtrent 30% av alle Bloomberg-nyheter i dagblir opprettet ved hjelp av Cyborg-modulen. Det genererer dem i henhold til malen: hva som skjedde, når, hvor, med hvem, hvem og hvordan kommenterte hendelsen. Dette sparer kostnader for journalister, men du kan ikke gjøre uten dem. Cyborg er bare et automatiseringssystem, ikke et avansert AI.
- Reuters
Det internasjonale byrået Reuters bruker programvareNyheter Tracer. Det er et AI-prediktivt verktøy som evaluerer Twitter-historier basert på statistiske kriterier og omdømmekriterier. Boten sjekker over 700 millioner tweets hver dag.
- Vergen
For første gang har kunstig intelligens gått utovernyheter og begynte å generere analytiske artikler. I januar 2019 publiserte The Guardian den første historien skrevet av den kunstige intelligensen ReporterMate. Det ble viet til mengden donasjoner som ble samlet inn av forskjellige parter i Australia. I tillegg til teksten genererte AI grafer og rangerte spillene basert på resultatene av treningsleiren.
Les mer:
Det første nøyaktige kartet over verden ble opprettet. Hva er galt med alle andre?
Det stormigste stedet på jorden: hvorfor Drake Passage er den farligste ruten til Antarktis
Ny uranforbindelse slår rekord for avvikende ledningsevne