Bezpilotné prostriedky, digitálne dvojičky a automatické riadenie telekomunikácií nie sú
Ako sa AI učí bez mentora
Posilňovacie učenie,RL) predpokladá, že samotná AI interaguje s určitým prostredím - napríklad doskou pre hru Go alebo vonkajším svetom, ak sa po nej robot pohybuje. Zariadenie potrebuje identifikovať bežné vzory a zamerať sa na ne pri vykonávaní úloh. A pri učení s „učiteľom“ potrebujete osobu, ktorá musí uviesť správnu akciu, na ktorej bude AI trénovať.
„Podstatou RL je, že stroj alebo, ako hovoríme,agent, sa učí v režime neustálej praxe,“ poznamenáva Oleg Svidchenko, laureát ceny Yandex Science Prize. - AI sa kladie do určitých podmienok a "povedzte" - konajte. Je to podobné, ako keď myš ide hľadať syr v bludisku. Keď zviera odbočí nesprávnym smerom, narazí na stenu, vráti sa, pokúsi sa znova atď. V prípade posilňovacieho učenia sú správne kroky odmenené. Čím správnejšia akcia, tým viac bodov AI získa. Ak sa výber ukázal ako nesprávny, agent stráca body. Počas tréningu si stroj zapamätá, ktorá kombinácia akcií bola výhodnejšia, a nabudúce ju použije.“
Nezávislé hľadanie riešenia umožňuje agentoviskôr či neskôr predčí človeka. Ukázal to napríklad algoritmus MuZero od DeepMind, ktorý sa naučil hrať desiatky starých videohier Atari, šach a stolové hry typu Go. Na jeho vytvorenie použili predchádzajúci vývoj spoločnosti: napríklad AlphaGo, vďaka ktorému bolo možné poraziť šampióna Go Lee Sedol, a AlphaZero, ktorý sa používa v šachu. Vylepšený algoritmus extrahuje viac informácií z menšieho množstva údajov – teraz potrebuje polovicu tréningových krokov.
Algoritmy učenia sa môžu posilniťužitočné v rôznych odvetviach. Napríklad v medicíne - na organizovanie personalizovanej dynamickej liečby, v zábavnom priemysle - na automatické testovanie počítačových hier alebo v letectve - na autonómne riadenie stratosférického balóna.
V ktorých oblastiach príde AI ľuďom na pomoc
Digitalizácia maloobchodu: plne automatizované predajne
Prvý, kto implementoval strojové učenie v priemyslekde je odladený proces zberu a digitalizácie veľkého množstva dát. Napríklad v maloobchode všetky informácie prechádzajú cez registračné pokladnice, čo znamená, že AI má s čím pracovať. Podľa Alexeyho Shpilmana použitie algoritmov AI umožní vytvárať automatizované obchody všade, kde budú všetky procesy prebiehať bez ľudského zásahu.
Tento formát bol testovaný už v roku 2016.Spoločnosť Amazon. Kupujúci prevezme košík, vyzdvihne doň tovar a už len odchádza - peniaze za nákup sa z karty odpíšu automaticky. V Rusku podobný projekt vyvinula spoločnosť Azbuka Vkusa.
„Kupujúci vezme vozík, vyzdvihne v ňom tovar a jednoducho odchádza – peniaze za nákup sa z karty odpíšu automaticky“
Správa telekomunikácií: identifikácia porúch siete
Vďaka posilňovaciemu učeniutechnologické prelomy môžu nastať v riadení rôznych sietí – telekomunikácie, teplárenské siete, elektroenergetika. Mnohé procesy sa tu dajú celkom jednoducho robotizovať, keďže tu nie je veľká interakcia s ľuďmi.
Automatizácia povedie k vytvoreniu systémov, ktorébude robiť informovanejšie rozhodnutia a optimalizovať spotrebu energie. Napríklad na základe RL algoritmov sa vyvíja regulátor HVAC (skratka pre Heating, Ventilation, & Air Conditioning - Heating, vetranie a klimatizácia) - ide o systém riadenia izbovej teploty a ventilácie. Používanie tejto technológie v podnikoch pomôže ušetriť spotrebu energie a znížiť emisie uhlíka.
Bezpilotné vozidlá: Testovacia technológia a legislatíva
Ďalšia oblasť, ktorá čaká na prelom vďakaposilňovacie vzdelávanie - doprava. Už dnes možno na uliciach nájsť bezpilotné prostriedky a doručovacie roboty. Napriek technologickému pokroku v tomto odvetví analytici McKinsey predpovedajú, že drony sa stanú hlavným prúdom najskôr v roku 2030. Implementáciu komplikuje potreba vypracovať predpisy. V Singapure a Spojených štátoch je už automatizovaná doprava po diaľniciach v plnom prúde a nedávno sa objavilo povolenie na testovanie bezpilotného taxíka v Rusku.
„Automatizácia sa takmer vždy zlepšujebezpečnosť, ale ľudia vítajú zavádzanie takýchto technológií so strachom,“ je si istý Oleg Svidčenko. — Ak nahradíte všetku dopravu bezpilotnými Teslami, počet nehôd na cestách niekoľkonásobne klesne. Každá nehoda však vyvolá veľa otázok. Nevieme s istotou povedať, ako v prípade osoby, čo nehodu spôsobilo. A ľudia sa tohto neznáma boja.“
„Ďalšou oblasťou, ktorá čaká na prelom vďaka posilňovaciemu učeniu, je doprava“
Ako budú digitálne dvojčatá užitočné pre ľudstvo
Umožnili to algoritmy posilnenia učeniavytvárať digitálne dvojčatá – virtuálne prototypy objektov, procesov a dokonca aj ľudí, ktoré obsahujú rovnaké vlastnosti a charakteristiky ako originály. Priemyselné podniky využívajú túto technológiu napríklad na kontrolu, či sú všetky procesy správne nastavené pred spustením nového dopravníka. Samozrejme, môžete zástrčku okamžite zasunúť do zásuvky, ale ak dôjde k poruche, bude trvať čas a prostriedky na jej opravu. Preto sa dopravník najskôr spustí na počítači.
S ľudskými digitálnymi dvojčatami je všetko oveľa lepšieťažšie, pretože živý organizmus je zložitejší systém. A napriek tomu vedci pokračujú v ovládaní technológie a vytvárajú virtuálne kópie jednotlivých orgánov aj celého organizmu. Napríklad bostonská nemocnica používa digitálne dvojča srdca na plánovanie operácií. V budúcnosti to umožní testovať metódy liečby na virtuálnom pacientovi, predpovedať choroby a môže to byť revolúcia v medicíne.
„Vývoj AI vrátane RL by mohol viesť kskutočnosť, že ľudia začnú lepšie chápať sami seba,“ naznačuje Aleksey Shpilman. „Človek je uzavretý systém, pretože na sebapoznanie používame vlastný mozog. Stačí nám však tento nástroj? Aj v psychológii sú na reflexiu potrební dvaja ľudia a my sme uzavretí do seba. Globálne je ľudstvo v kontexte Vesmíru stále osamotené, čo znamená, že sa nemáme s kým porozprávať, aby sme sa o sebe dozvedeli niečo nové a pozreli sa zvonku. Možno si vďaka posilňovaciemu učeniu vytvoríme nejaký druh entity mimo seba. Nebude obmedzená naším mozgom a vedomím a bude schopná dať človeku nové odpovede a významy.“
Prečo je rozšírená implementácia RL stále obmedzená
Napriek pokroku, ktorý vedci dosiahli, je praktická aplikácia RL stále obmedzená. Systém sa dlho učí a robí veľa chýb, takže implementácia algoritmu všade je náročná a nerentabilná.
"Agent potrebuje viac opakovaní, takže procesučenie trvá pomerne dlho, - vysvetľuje Alexander Grishin - Navyše to nestačí, aby AI vykonala najlepšiu akciu. Potrebuje preskúmať prostredie, pretože za momentálne neatraktívne ťahy sa môže skrývať veľká odmena. Celá logika posilňovacieho učenia vychádza zo skutočnosti, že AI sa učí obetovať krátkodobé výhody pre dlhodobý úspech. K tomu treba myslieť dopredu a vypočítať možné scenáre vývoja udalostí. Napríklad, keď sa agent vzdá rytiera, aby zajal kráľovnú, vedci budú veľmi šťastní.“
Úlohou vedcov je zabezpečiť rast AIrýchlosť učenia a lepšia schopnosť analyzovať. Rýchlemu pokroku však bráni jeden svetský problém: vo výskumných a vývojových laboratóriách a IT spoločnostiach je nedostatok zamestnancov. Univerzity vytvárajú laboratóriá a výskumné centrá, technologické giganty otvárajú špecializované kurzy.
„Teraz výskum v oblasti strojového učeniaveľmi žiadaný. Priemysel sa rýchlo rozvíja a nedostatok personálu sa každým dňom zvyšuje,“ hovorí Alexey Shpilman. „Špecialisti majú veľkú šancu zapojiť sa do procesov, ktoré zmenia svet na nepoznanie. Veľa zaujímavej práce. Teraz sme na úplnom začiatku cesty, ale už sme dosiahli dobré výsledky. Viete si predstaviť, aké vyhliadky sa ľudstvu otvoria použitím RL?
Čítaj viac:
Vesmírna sonda preletela 200 km od Merkúru. Pozrite sa, čo videl
Vedci odhaľujú, ako vitamíny ovplyvňujú výskyt rakoviny
Čínska prilba na čítanie myšlienok spustí alarm, keď niekto uvidí porno obsah