Co to jest przetwarzanie języka naturalnego?
Przetwarzanie tekstu w języku naturalnym – kierunek ogólny
Analiza zastosowana do sztucznej inteligencjioznacza rozumienie języka, a synteza to generowanie piśmiennego tekstu. Rozwiązanie tych problemów będzie oznaczało stworzenie wygodniejszej formy interakcji między komputerem a człowiekiem.
Cele i ograniczenia
Teoretycznie konstrukcja języka naturalnegointerfejs dla komputerów jest bardzo atrakcyjnym celem. Wczesne systemy, takie jak SHRDLU, pracujące z ograniczonym „sześcianowym światem” i używając ograniczonego słownictwa, wyglądały wyjątkowo dobrze, inspirując ich twórców. Jednak optymizm szybko zmalał, gdy systemy te zostały skonfrontowane ze złożonością i niejednoznacznością realnego świata.
Czasami rozważa się rozumienie języka naturalnegoSztuczna inteligencja to kompletne zadanie, ponieważ rozpoznanie żywego języka wymaga ogromnej wiedzy o systemie o otaczającym go świecie i umiejętności interakcji z nim. Samo określenie znaczenia słowa „rozumieć” jest jednym z głównych zadań sztucznej inteligencji.
Trudności w zrozumieniu języka rosyjskiego
Jakość rozumienia zależy od wielu czynników: od języka, kultury narodowej, od samego rozmówcy itp. Oto kilka przykładów trudności, jakie napotykają systemy rozumienia tekstu.
- Trudności z ujawnieniem anafor (rozpoznanie,co oznacza użycie zaimków): zdania „Daliśmy małpom banany, bo były głodne” i „Daliśmy małpom banany, bo były przejrzałe” mają podobną budowę syntaktyczną. W jednym z nich zaimekoni sąodnosi się do małp, a w innym do bananów. Prawidłowe zrozumienie zależy od wiedzy komputera na temat tego, czym mogą być banany i małpy.
- Swobodny porządek słów może prowadzić do zupełnie innej interpretacji frazy: „Byt determinuje świadomość” - co decyduje o czym?
- W języku rosyjskim wolny porządek jest rekompensowany przez rozwiniętą morfologię, oficjalne słowa i znaki interpunkcyjne, ale w większości przypadków stanowi to dodatkowy problem dla komputera.
- W mowie można spotkać neologizmy, na przykład czasownik „Pięćdziesiąt rubli” - czyli wysłać 50 rubli. System powinien umieć odróżniać takie przypadki od literówek i poprawnie je rozumieć.
- Kolejnym problemem jest prawidłowe zrozumienie homonimów. W rozpoznawaniu mowy pojawia się m.in. problem homonimów fonetycznych. W zdaniu „Szary wilk na pustynilasspotkałem rudąlis»Podświetlone słowa są słyszane w ten sam sposób i bezwiedza o tym, kto jest głuchy, a kto rudy, jest niezbędna (poza tym, że lis może być czerwony, a las może być głuchy, las też może być czerwony (charakterystyczny, w tym przypadku, oznaczający dominujący kolor liści w lesie) ), podczas gdy lis może być głuchy, co rodzi dodatkowy problem wynikający z poprzedniego, choć częściowo jest to kompensowane przez morfologię - przymiotniki w tym zdaniu są wyraźnie różne pod względem płci).
Popularne zadania:
- Rozpoznawanie mowy
- Analiza tekstu:
- Pozyskiwanie informacji,
- Wyszukiwanie informacji,
- Analiza wypowiedzi,
- Analiza sentymentu tekstu,
- Systemy pytań i odpowiedzi.
- Generowanie tekstu
- Synteza mowy
Generalna klasyfikacja:
- Kategoryzacja tekstów
- Klasyfikacja sekwencji znaków:
- Rozpoznawanie nazwanych podmiotów,
- Określenie części mowy słów.
- Rozpoznawanie wyrażeń
- Wydobywanie informacji z tekstu
- Adnotacja składniowa
- Adnotacja semantyczna
- Generowanie tekstu:
- Generowanie tekstu na podstawie rozpoznanej mowy,
- Tłumaczenie maszynowe,
- Uogólnienie tekstu.
Jak pisanie AI wykorzystuje to w pracy?
- Washington Post
W sierpniu 2016 r. The Washington Post po raz pierwszyZaczął korzystać z bota Heliograf, który pisał krótkie wiadomości o igrzyskach olimpijskich w Rio de Janeiro. Wydajność „Heliografu” była imponująca: bot generował wiadomości szybciej niż redaktor miał czas na ustawienie zadania, a czytelnicy nie potrafili odróżnić automatycznych notatek od odręcznych.
- Bloomberg
Około 30% wszystkich aktualności Bloomberga dzisiajsą tworzone za pomocą modułu Cyborg. Generuje je według szablonu: co się stało, kiedy, gdzie, z kim, kto i jak skomentował wydarzenie. Oszczędza to koszty reporterów, ale bez nich nie można się obejść. Cyborg to tylko system automatyzacji, a nie zaawansowana sztuczna inteligencja.
- Reuters
Z oprogramowania korzysta międzynarodowa agencja ReutersAktualności Tracer. Jest to narzędzie predykcyjne AI, które ocenia historie na Twitterze na podstawie kryteriów statystycznych i reputacyjnych. Bot codziennie sprawdza ponad 700 milionów tweetów.
- Opiekun
Po raz pierwszy sztuczna inteligencja wyszła poza towiadomości i zaczął generować artykuły analityczne. W styczniu 2019 roku The Guardian opublikował pierwszą historię napisaną przez sztuczną inteligencję ReporterMate. Poświęcony był kwotom darowizn zebranych przez różne partie w Australii. Oprócz tekstu sztuczna inteligencja wygenerowała wykresy i sklasyfikowała mecze na podstawie wyników obozu treningowego.
Czytaj więcej:
Powstała pierwsza dokładna mapa świata. Co jest nie tak ze wszystkimi innymi?
Najbardziej burzowe miejsce na Ziemi: dlaczego Drake Passage to najniebezpieczniejsza trasa na Antarktydę
Nowy związek uranu bije rekord pod względem anomalnego przewodnictwa