Безпилотните превозни средства, цифровите близнаци и автоматичното управление на телекомуникациите не са
Как AI учи без ментор
Учене за укрепване,RL) предполага, че самият AI взаимодейства с определена среда - например дъска за играта Go или външния свят, ако роботът се движи по нея. Устройството трябва да идентифицира общи модели и да се фокусира върху тях, когато изпълнява задачи. И когато учите с "учител", имате нужда от човек, който трябва да посочи правилното действие, на което AI ще тренира.
„Същността на RL е, че машината или, както ние казваме,агент, се учи в режим на постоянна практика“, отбелязва Олег Свидченко, лауреат на наградата за наука Yandex. - AI е поставен в определени условия и "говори" - действа. Това е подобно на ситуацията, когато мишка тръгва да търси сирене в лабиринт. След като направи завой в грешната посока, животното се сблъсква със стената, връща се, опитва отново и т.н. В случай на обучение за подсилване, правилните стъпки се възнаграждават. Колкото по-правилно е действието, толкова повече точки ще получи AI. Ако изборът се окаже неправилен, тогава агентът губи точки. По време на обучение машината запомня коя комбинация от действия е била по-печеливша и следващия път ще я използва.
Независимото търсене на решение позволява на агентарано или късно надминават човека. Това беше показано например от алгоритъма MuZero на DeepMind, който се научи да играе десетки стари видеоигри Atari, шах и настолни игри от типа Go. За да го създадат, те използваха предишни разработки на компанията: например AlphaGo, благодарение на който беше възможно да се победи шампионът Go Lee Sedol, и AlphaZero, който се използва в шаха. Подобреният алгоритъм извлича повече информация от по-малко данни - сега се нуждае от половината стъпки за обучение.
Алгоритмите за обучение с подсилване могатполезни в различни индустрии. Например в медицината - за организиране на персонализирано динамично лечение, в развлекателната индустрия - за автоматично тестване на компютърни игри или в авиацията - за автономно управление на стратосферен балон.
В кои области AI ще се притече на помощ на хората
Дигитализация на търговията на дребно: напълно автоматизирани магазини
Първото машинно обучение е внедрено в индустриитекъдето процесът на събиране и дигитализиране на големи количества данни е отстранен. Например в търговията на дребно цялата информация минава през касовите апарати, което означава, че AI има с какво да работи. Според Алексей Шпилман използването на AI алгоритми ще направи възможно създаването на автоматизирани магазини навсякъде, където всички процеси ще се извършват без човешка намеса.
Този формат беше тестван през 2016 г.компания Amazon. Купувачът взема количката, взима стоки в нея и просто си тръгва - парите за покупката се дебитират автоматично от картата. В Русия подобен проект е разработен от Azbuka Vkusa.
„Купувачът взема количката, взима стоки в нея и просто си тръгва - парите за покупката се дебитират автоматично от картата“
Управление на телекомуникациите: идентифициране на мрежови грешки
Благодарение на обучението за засилванетехнологични пробиви могат да настъпят в управлението на различни мрежи - телекомуникации, топлофикационни мрежи, електроенергетика. Много процеси тук са доста лесни за роботизиране, тъй като няма много взаимодействие с хората.
Автоматизацията ще доведе до създаването на системи, коитоще вземат по-информирани решения и ще оптимизират потреблението на енергия. Например, на базата на RL алгоритми се разработва HVAC контролер (акроним от Heating, Ventilation, & Air Conditioning - Отопление, вентилация и климатизация) - това е система за контрол на стайна температура и вентилация. Използването на тази технология в бизнеса ще помогне както за спестяване на потребление на енергия, така и за намаляване на въглеродните емисии.
Безпилотни превозни средства: Тестване на технологии и законодателство
Друга област, която чака пробив благодарение наобучение за засилване - транспорт. Вече днес по улиците могат да бъдат намерени безпилотни превозни средства и роботи за доставка. Въпреки технологичния напредък в индустрията, анализаторите на McKinsey прогнозират, че дроновете няма да станат мейнстрийм най-рано до 2030 г. Прилагането се усложнява от необходимостта от разработване на нормативна уредба. В Сингапур и Съединените щати автоматизираният транспорт вече е в разгара си по магистралите, а наскоро се появи разрешение за тестване на безпилотно такси в Русия.
„Автоматизацията почти винаги се подобрявасигурност, но хората посрещат въвеждането на такива технологии със страх“, е сигурен Олег Свидченко. — Ако замените целия транспорт с безпилотни Tesla, броят на катастрофите по пътищата ще намалее няколко пъти. Но всеки инцидент ще повдигне много въпроси. Не можем да кажем със сигурност, както в случая с човек, какво е причинило инцидента. И хората се страхуват от това непознато.”
„Друга област, която очаква пробив благодарение на обучението за засилване, е транспортът“
Как цифровите близнаци ще бъдат полезни на човечеството
Алгоритмите за обучение с подсилване го направиха възможносъздават цифрови близнаци - виртуални прототипи на обекти, процеси и дори хора, които съдържат същите свойства и характеристики като оригиналите. Индустриалните предприятия използват тази технология, например, за да проверят дали всички процеси са правилно настроени, преди да пуснат нов конвейер. Разбира се, можете веднага да поставите щепсела в контакта, но ако възникне повреда, ще отнеме време и ресурси, за да го поправите. Следователно конвейерът първо се стартира на компютър.
Всичко е много по-добре с човешките дигитални близнаципо-трудно, защото живият организъм е по-сложна система. И въпреки това учените продължават да усвояват технологията, създавайки виртуални копия както на отделни органи, така и на целия организъм. Например бостънска болница използва дигитален близнак на сърцето, за да планира операции. В бъдеще това ще позволи тестване на методи за лечение на виртуален пациент, предсказване на заболявания и може да се счита за революция в медицината.
„Развитието на AI, включително RL, може да доведе дофактът, че хората ще започнат да разбират себе си по-добре“, предполага Алексей Шпилман. „Човекът е затворена система, защото използваме собствения си мозък за себепознание. Но дали този инструмент е достатъчен за нас? Дори в психологията са необходими двама души за размисъл, а ние сме затворени в себе си. В световен мащаб, в контекста на Вселената, човечеството все още е само, което означава, че няма с кого да говорим, за да научим нещо ново за себе си и да погледнем отвън. Може би, благодарение на обучението с подсилване, ние ще създадем някаква същност извън себе си. Тя няма да бъде ограничена от нашия мозък и съзнание и ще може да даде на човека нови отговори и значения.“
Защо широкото прилагане на RL все още е ограничено
Въпреки напредъка, който учените постигнаха, практическото приложение на RL все още е ограничено. Системата отнема много време да се научи и прави много грешки, така че прилагането на алгоритъма навсякъде е трудно и нерентабилно.
„Агентът се нуждае от повече повторения, така че процесътобучението отнема доста дълго време, - обяснява Александър Гришин - Освен това не е достатъчно AI да изпълнява най-доброто действие. Той трябва да изследва средата, тъй като голяма награда може да се крие зад непривлекателни в момента ходове. Цялата логика на обучението за подсилване се свежда до факта, че ИИ се научава да жертва краткосрочни ползи за дългосрочен успех. За да направите това, трябва да помислите предварително и да изчислите възможните сценарии за развитие на събитията. Например, когато агентът се откаже от рицаря, за да залови кралицата, учените ще бъдат много щастливи.
Задачата на учените е да гарантират, че ИИ растескорост на учене и подобрена способност за анализ. Но един светски проблем възпрепятства бързия напредък: има недостиг на персонал в научноизследователски и развойни лаборатории и ИТ компании. Университетите създават лаборатории и изследователски центрове, технологичните гиганти отварят специализирани курсове.
„Изследвания в машинното обучение сегамного търсени. Индустрията се развива бързо и недостигът на персонал се увеличава всеки ден“, казва Алексей Шпилман. „Специалистите имат голям шанс да се включат в процеси, които ще променят света до неузнаваемост. Много интересна работа. Сега сме в самото начало на пътя, но вече постигнахме добри резултати. Можете ли да си представите какви перспективи ще се открият пред човечеството чрез използването на RL?
Прочетете още:
Космическата сонда прелетя на 200 км от Меркурий. Вижте какво видя
Учените разкриват как витамините влияят на честотата на рака
Китайският шлем за четене на мисли звучи алармата, когато човек види порно съдържание