Obemannade fordon, digitala tvillingar och automatisk kontroll av telekommunikation är det inte
Hur AI lär sig utan en mentor
Förstärkningsinlärning,RL) antar att AI:n i sig interagerar med en viss miljö - till exempel en bräda för Go-spelet eller omvärlden om roboten rör sig längs den. Enheten måste identifiera vanliga mönster och fokusera på dem när de utför uppgifter. Och när du lär dig med en "lärare" behöver du en person som måste ange den korrekta åtgärden som AI kommer att träna på.
"Kären med RL är att maskinen eller, som vi säger,agent, lär sig i form av konstant övning”, konstaterar Oleg Svidchenko, pristagare av Yandex Science Prize. - AI är placerad i vissa förutsättningar och "säg" - agera. Detta liknar situationen när en mus går på jakt efter ost i en labyrint. Efter att ha gjort en sväng åt fel håll kolliderar djuret med väggen, kommer tillbaka, försöker igen och så vidare. Vid förstärkningsinlärning belönas korrekta steg. Ju mer korrekt åtgärden är, desto fler poäng kommer AI:n att få. Om valet visade sig vara felaktigt, förlorar agenten poäng. Under träningen kommer maskinen ihåg vilken kombination av åtgärder som var mer lönsam, och nästa gång kommer den att använda den.”
Oberoende sökning efter en lösning tillåter agentenförr eller senare överträffa mannen. Detta visades till exempel av DeepMinds MuZero-algoritm, som lärde sig spela dussintals gamla Atari-videospel, schack och brädspel av Go-typ. För att skapa det använde de tidigare utvecklingar av företaget: till exempel AlphaGo, tack vare vilket det var möjligt att slå Go-mästaren Lee Sedol, och AlphaZero, som används i schack. Den förbättrade algoritmen extraherar mer information från mindre data - nu behöver den halva träningsstegen.
Förstärkningsinlärningsalgoritmer kananvändbar i en mängd olika branscher. Till exempel inom medicin - för att organisera personlig dynamisk behandling, i underhållningsbranschen - för automatisk testning av datorspel, eller inom flyg - för autonom kontroll av en stratosfärisk ballong.
I vilka områden kommer AI att hjälpa människor
Digitalisering av detaljhandeln: helautomatiserade butiker
Den första att implementera maskininlärning i industrierdär processen med att samla in och digitalisera stora mängder data felsöks. Till exempel inom detaljhandeln går all information genom kassaregister vilket gör att AI har något att jobba med. Enligt Alexey Shpilman kommer användningen av AI-algoritmer att göra det möjligt att skapa automatiserade butiker överallt, där alla processer kommer att ske utan mänsklig inblandning.
Detta format testades redan 2016.Amazon företag. Köparen tar vagnen, hämtar varor i den och går bara - pengarna för köpet debiteras kortet automatiskt. I Ryssland utvecklades ett liknande projekt av Azbuka Vkusa.
"Köparen tar vagnen, hämtar varor i den och går bara - pengarna för köpet debiteras automatiskt från kortet"
Telekommunikationshantering: identifiera nätverksfel
Tack vare förstärkningsinlärningtekniska genombrott kan inträffa i förvaltningen av olika nätverk - telekommunikation, värmenätverk, elkraftsindustri. Många processer här är ganska lätta att robotisera, eftersom det inte finns mycket interaktion med människor.
Automatisering kommer att leda till skapandet av system somkommer att fatta mer välgrundade beslut och optimera energiförbrukningen. Till exempel, baserat på RL-algoritmer, utvecklas en VVS-styrenhet (en akronym för Heating, Ventilation, & Air Conditioning - Heating, ventilation and air conditioning) - detta är ett styrsystem för rumstemperatur och ventilation. Att använda denna teknik i företag kommer att hjälpa både att spara energiförbrukning och minska koldioxidutsläppen.
Obemannade fordon: Testteknik och lagstiftning
Ytterligare ett område som väntar på ett genombrott tack vareförstärkningsinlärning - transport. Redan idag finns obemannade fordon och leveransrobotar på gatorna. Trots tekniska framsteg i branschen förutspår McKinsey-analytiker att drönare inte kommer att bli mainstream förrän tidigast 2030. Implementeringen kompliceras av behovet av att utveckla regelverk. I Singapore och USA är automatiserade transporter redan i full gång längs motorvägarna och det har nyligen dykt upp tillstånd för att testa en obemannad taxi i Ryssland.
"Automationen förbättras nästan alltidsäkerhet, men folk välkomnar införandet av sådan teknik med rädsla”, är Oleg Svidchenko säker. — Om du ersätter all transport med obemannade Tesla kommer antalet olyckor på vägarna att sjunka flera gånger. Men varje olycka kommer att väcka många frågor. Vi kan inte med säkerhet säga, som i fallet med en person, vad som orsakade olyckan. Och folk är rädda för detta okända.”
"Ett annat område som väntar på ett genombrott tack vare förstärkningsinlärning är transport"
Hur digitala tvillingar kommer att vara användbara för mänskligheten
Förstärkningsinlärningsalgoritmer har gjort det möjligtskapa digitala tvillingar - virtuella prototyper av objekt, processer och till och med människor som innehåller samma egenskaper och egenskaper som originalen. Industriföretag använder till exempel denna teknik för att kontrollera om alla processer är rätt anpassade innan de lanserar en ny transportör. Naturligtvis kan du direkt sätta in kontakten i uttaget, men om ett fel inträffar kommer det att ta tid och resurser att åtgärda det. Därför lanseras transportören först på en dator.
Allt är mycket bättre med mänskliga digitala tvillingarsvårare, eftersom en levande organism är ett mer komplext system. Och ändå fortsätter forskare att behärska tekniken och skapar virtuella kopior av både enskilda organ och hela organismen. Till exempel använder ett sjukhus i Boston en digital tvilling i hjärtat för att planera operationer. I framtiden kommer detta att göra det möjligt att testa behandlingsmetoder på en virtuell patient, förutsäga sjukdomar, och kan mycket väl göra anspråk på att vara en revolution inom medicinen.
"Utvecklingen av AI, inklusive RL, kan leda tilldet faktum att människor kommer att börja förstå sig själva bättre”, föreslår Aleksey Shpilman. ”Människan är ett slutet system, eftersom vi använder vår egen hjärna för självkännedom. Men räcker det här verktyget för oss? Även inom psykologin behövs två personer för reflektion, och vi är slutna inom oss själva. Globalt sett, i universums sammanhang, är mänskligheten fortfarande ensam, vilket innebär att vi inte har någon att prata med för att lära oss något nytt om oss själva och se utifrån. Kanske kommer vi, tack vare förstärkningsinlärning, att skapa någon form av entitet utanför oss själva. Det kommer inte att begränsas av vår hjärna och medvetande och kommer att kunna ge en person nya svar och betydelser.”
Varför den utbredda implementeringen av RL fortfarande är begränsad
Trots de framsteg som forskarna har gjort är den praktiska tillämpningen av RL fortfarande begränsad. Systemet tar lång tid att lära sig och gör många misstag, så att implementera algoritmen överallt är svårt och olönsamt.
"Agenten behöver fler upprepningar, så processenlärande tar ganska lång tid, - förklarar Alexander Grishin - Dessutom räcker det inte för AI att utföra den bästa handlingen. Han behöver utforska miljön, eftersom en stor belöning kan döljas bakom för närvarande oattraktiva drag. Hela logiken med förstärkningsinlärning beror på det faktum att AI lär sig att offra kortsiktiga fördelar för långsiktig framgång. För att göra detta måste du tänka framåt och beräkna möjliga scenarier för utvecklingen av händelser. Till exempel, när agenten ger upp riddaren för att fånga drottningen, kommer forskarna att vara mycket glada.”
Forskarnas uppgift är att se till att AI växerinlärningstakt och förbättrad analysförmåga. Men ett vardagligt problem hindrar snabba framsteg: det råder personalbrist i FoU-laboratorier och IT-företag. Universiteten skapar laboratorier och forskningscentra, teknikjättar öppnar specialiserade kurser.
"Forskning inom maskininlärning numycket efterfrågad. Branschen utvecklas snabbt och bristen på personal ökar för varje dag, säger Alexey Shpilman. ”Specialister har en stor chans att engagera sig i processer som kommer att förändra världen till oigenkännlighet. Mycket intressant arbete. Nu är vi i början av vägen, men vi har redan nått goda resultat. Kan du föreställa dig vilka möjligheter som kommer att öppna upp för mänskligheten genom att använda RL?
Läs mer:
Rymdsonden flög 200 km från Merkurius. Titta vad han såg
Forskare avslöjar hur vitaminer påverkar förekomsten av cancer
Kinesisk tankeläsningshjälm slår larm när en person ser porrinnehåll