Wat is natuurlijke taalverwerking?
Tekstverwerking in natuurlijke taal - algemene richting
Analyse toegepast op kunstmatige intelligentiebetekent het begrijpen van de taal, en synthese betekent het genereren van geletterde tekst. Om deze problemen op te lossen, moet een gemakkelijkere vorm van interactie tussen een computer en een persoon worden gecreëerd.
Doelstellingen en beperkingen
Theoretisch, de constructie van een natuurlijke taalinterface voor computers is een zeer aantrekkelijk doelwit. Vroege systemen zoals SHRDLU, die met een beperkte "kubuswereld" werkten en een beperkte woordenschat gebruikten, zagen er buitengewoon goed uit en inspireerden hun makers. Het optimisme nam echter snel af toen deze systemen werden geconfronteerd met de complexiteit en ambiguïteit van de echte wereld.
Natuurlijk taalbegrip wordt soms overwogenAI is een complete opgave, want het herkennen van een levende taal vereist een enorme kennis van het systeem over de omringende wereld en het vermogen om ermee om te gaan. De definitie van de betekenis van het woord "begrijpen" is een van de belangrijkste taken van kunstmatige intelligentie.
Moeilijkheden bij het begrijpen van de Russische taal
De kwaliteit van het begrip hangt van veel factoren af: van de taal, van de nationale cultuur, van de gesprekspartner zelf, enz. Dit zijn enkele voorbeelden van de problemen waarmee systemen voor het begrijpen van tekst worden geconfronteerd.
- Problemen met het onthullen van anaforen (herkenning,wat wordt bedoeld met het gebruik van voornaamwoorden): de zinnen “We gaven de bananen aan de apen omdat ze honger hadden” en “We gaven de bananen aan de apen omdat ze overrijp waren” zijn qua syntactische structuur vergelijkbaar. In een ervan het voornaamwoordzijverwijst naar apen, en in een andere naar bananen. Het juiste begrip hangt af van de kennis van de computer over wat bananen en apen kunnen zijn.
- Vrije woordvolgorde kan leiden tot een heel andere interpretatie van de uitdrukking: "Zijn bepaalt bewustzijn" - wat bepaalt wat?
- In het Russisch wordt vrije orde gecompenseerd door een ontwikkelde morfologie, officiële woorden en leestekens, maar in de meeste gevallen vormt dit een bijkomend probleem voor een computer.
- Neologismen kunnen in spraak worden aangetroffen, bijvoorbeeld het werkwoord "Vijftig roebel" - dat wil zeggen, stuur 50 roebel. Het systeem moet dergelijke gevallen van typefouten kunnen onderscheiden en correct kunnen begrijpen.
- Een correct begrip van homoniemen is een ander probleem. Bij onder meer spraakherkenning doet zich het probleem van fonetische homoniemen voor. In de zinsnede “De grijze wolf in de wildernisWoudontmoette een roodharigeVos»Gemarkeerde woorden worden op dezelfde manier gehoord, en zonderkennis van wie doof is en wie rood is onmisbaar (behalve dat de vos rood kan zijn en het bos doof kan zijn, het bos kan ook rood zijn (een kenmerk dat in dit geval de overheersende kleur van het gebladerte in het bos aangeeft) ), terwijl de vos doof kan zijn, wat aanleiding geeft tot een bijkomend probleem dat voortvloeit uit het vorige, hoewel dit gedeeltelijk wordt gecompenseerd door de morfologie - de bijvoeglijke naamwoorden in deze zin zijn duidelijk verschillend van geslacht).
Populaire taken:
- Spraakherkenning
- Tekstanalyse:
- Extractie van informatie,
- Informatie zoeken,
- Analyse van verklaringen,
- Sentimentanalyse van de tekst,
- Vraag-antwoordsystemen.
- Tekst genereren
- Spraaksynthese
Algemene classificatie:
- Categorisering van teksten
- Classificatie van tekenreeksen:
- Genoemde entiteitsherkenning,
- Bepaling van woordsoorten van woorden.
- Zinsherkenning
- Informatie uit tekst halen
- Syntactische annotatie
- Semantische annotatie
- Tekst genereren:
- Genereren van tekst op basis van herkende spraak,
- Machinaal vertalen,
- Generalisatie van de tekst.
Hoe gebruikt het schrijven van AI het op het werk?
- De Washington Post
In augustus 2016, The Washington Post voor de eerste keerbegon de bot Heliograf te gebruiken, die kort nieuws schreef over de Olympische Spelen in Rio de Janeiro. De prestatie van "Heliograf" was indrukwekkend: de bot genereerde sneller nieuws dan de editor de tijd had om de taak in te stellen, en de lezers konden automatische notities niet van handgeschreven notities onderscheiden.
- Bloomberg
Ongeveer 30% van al het Bloomberg-nieuws vandaagworden gemaakt met behulp van de Cyborg-module. Het genereert ze volgens het sjabloon: wat is er gebeurd, wanneer, waar, met wie, wie en hoe heeft gereageerd op het evenement. Dit scheelt kosten voor journalisten, maar u kunt niet zonder. Cyborg is slechts een automatiseringssysteem, geen geavanceerde AI.
- Reuters
Internationaal bureau Reuters gebruikt softwareNieuws Tracer. Het is een voorspellende AI-tool die Twitter-verhalen evalueert op basis van statistische en reputatiecriteria. De bot controleert elke dag meer dan 700 miljoen tweets.
- de voogd
Voor het eerst is kunstmatige intelligentie verder gegaannieuwsnotities en begon analytische artikelen te genereren. In januari 2019 publiceerde The Guardian het eerste verhaal geschreven door de kunstmatige intelligentie ReporterMate. Het was gewijd aan de hoeveelheid donaties die door verschillende partijen in Australië werd ingezameld. Naast de tekst heeft de AI grafieken gegenereerd en de wedstrijden gerangschikt op basis van de resultaten van het trainingskamp.
Lees verder:
De eerste nauwkeurige kaart van de wereld is gemaakt. Wat is er mis met de rest?
De meest stormachtige plek op aarde: waarom Drake Passage de gevaarlijkste route naar Antarctica is
Nieuwe uraniumverbinding breekt record voor abnormale geleidbaarheid