Стихове, аналитично писане и шеги: как ИИ се научи да пише смислено

Какво е обработка на естествен език?

Обработка на текст на естествен език - общо направление

изкуствен интелект и математическа лингвистика. Изучава проблемите на компютърния анализ и синтез на текстове на естествени езици.

Анализ, приложен към изкуствения интелектозначава разбиране на езика, а синтез означава генериране на грамотен текст. Решаването на тези проблеми ще означава създаване на по -удобна форма на взаимодействие между компютър и човек.

Цели и ограничения

Теоретично изграждането на естествен езикинтерфейсът за компютри е много привлекателна цел. Ранните системи като SHRDLU, работещи с ограничен "свят на кубчета" и използвайки ограничен речник, изглеждаха изключително добре, вдъхновявайки техните създатели. Оптимизмът обаче бързо намалява, когато тези системи се сблъскват със сложността и неяснотата на реалния свят.

Понякога се обмисля разбиране на естествения езикAI е пълна задача, тъй като разпознаването на жив език изисква огромни познания в системата за околния свят и способността да взаимодействате с него. Самото определение на значението на думата „разбирай“ е една от основните задачи на изкуствения интелект.

Трудности при разбирането на руския език

Качеството на разбиране зависи от много фактори: от езика, от националната култура, от самия събеседник и пр. Това са някои примери за трудностите, пред които са изправени системите за разбиране на текст.

  • Трудности с разкриването на анафори (разпознаване,какво се има предвид, когато се използват местоимения): изреченията „Дадохме бананите на маймуните, защото бяха гладни“ и „Дадохме бананите на маймуните, защото бяха презрели“ са сходни по синтактична структура. В един от тях местоимтесе отнася за маймуни, а в друга за банани. Правилното разбиране зависи от познанията на компютъра за това какво могат да бъдат бананите и маймуните.
  • Свободният ред на думите може да доведе до напълно различно тълкуване на израза: „Битието определя съзнанието“ - какво определя какво?
  • На руски език свободният ред се компенсира с развита морфология, официални думи и препинателни знаци, но в повечето случаи това представлява допълнителен проблем за компютъра.
  • В речта могат да се срещнат неологизми, например глаголът „Петдесет рубли“ - тоест изпрати 50 рубли. Системата трябва да може да различава такива случаи от правописни грешки и да ги разбира правилно.
  • Друг проблем е правилното разбиране на омонимите. При разпознаването на реч, наред с други, възниква проблемът с фонетичните омоними. Във фразата „Сивият вълк в пустинятагорасрещна червенокосалисица»Откроените думи се чуват по същия начин и беззнанието за това кой е глух и кой е червен е необходимо (с изключение на това, че лисицата може да бъде червена и гората може да е глуха, гората може да бъде и червена (характеристика, в този случай обозначава преобладаващия цвят на листата в гората) ), докато лисицата може да е глуха, което поражда допълнителен проблем, произтичащ от предишния, въпреки че е частично компенсиран от морфологията - прилагателните в това изречение са ясно различни по род).

Популярни задачи:

  • Гласово разпознаване
  • Анализ на текст:
  • Извличане на информация,
  • Търсене на информация,
  • Анализ на изявленията,
  • Анализ на настроенията към текста,
  • Системи въпроси-отговори.
  • Генериране на текст
  • Синтез на речта

Обща класификация:

  • Категоризация на текстове
  • Класификация на последователности от символи:
  • Разпознаване на име на субект,
  • Определяне на части от речта на думи.
  • Разпознаване на фрази
  • Извличане на информация от текст
  • Синтаксична анотация
  • Семантична анотация
  • Генериране на текст:
  • Генериране на текст въз основа на разпозната реч,
  • Машинен превод,
  • Обобщение на текста.

Как писането на AI го използва при работа?

  • Пощата за Вашингтон

През август 2016 г. The Washington Post за първи пътзапочва да използва бота Heliograf, който пише кратки новини за Олимпийските игри в Рио де Жанейро. Изпълнението на „Хелиограф“ беше впечатляващо: ботът генерираше новини по -бързо, отколкото редакторът имаше време да постави задачата, а читателите не можеха да различат автоматичните бележки от ръкописни.

  • Bloomberg

Около 30% от всички новини на Bloomberg днесса създадени с помощта на модула Cyborg. Той ги генерира според шаблона: какво се е случило, кога, къде, с кого, кой и как е коментирал събитието. Това спестява разходи за репортерите, но не можете без тях. Киборгът е просто система за автоматизация, а не усъвършенстван AI.

  • Ройтерс

Международната агенция Reuters използва софтуерNews Tracer. Това е инструмент за предсказване на AI, който оценява историите в Twitter въз основа на статистически критерии и критерии за репутация. Ботът проверява над 700 милиона туитове всеки ден.

  • Пазителят

За първи път изкуственият интелект излезе отвъдновинарски бележки и започнаха да генерират аналитични статии. През януари 2019 г. The Guardian публикува първата история, написана от изкуствения интелект ReporterMate. Тя беше посветена на размера на даренията, събрани от различни партии в Австралия. В допълнение към текста, AI генерира графики и класира игрите въз основа на резултатите от тренировъчния лагер.

Прочетете още:

Създадена е първата точна карта на света. Какво не е наред с всички останали?

Най-бурното място на Земята: защо проходът Дрейк е най-опасният път към Антарктида

Ново ураново съединение чупи рекорда за аномална проводимост