Unbemannte Fahrzeuge, digitale Zwillinge und die automatische Steuerung der Telekommunikation sind es nicht
Wie KI ohne Mentor lernt
Verstärkungslernen,RL) geht davon aus, dass die KI selbst mit einer bestimmten Umgebung interagiert – zum Beispiel einem Brett für das Go-Spiel oder der Außenwelt, wenn sich der Roboter daran entlangbewegt. Das Gerät muss allgemeine Muster erkennen und sich bei der Ausführung von Aufgaben auf diese konzentrieren. Und wenn Sie mit einem „Lehrer“ lernen, brauchen Sie eine Person, die die richtige Aktion angeben muss, auf die die KI trainiert.
„Das Wesen von RL ist, dass die Maschine oder, wie wir sagen,Agent, lernt durch ständiges Üben“, bemerkt Oleg Svidchenko, Träger des Yandex-Wissenschaftspreises. - KI wird in bestimmte Bedingungen versetzt und „spricht“ – handelt. Das ist vergleichbar mit der Situation, wenn eine Maus in einem Labyrinth nach Käse sucht. Nachdem es in die falsche Richtung abgebogen ist, kollidiert das Tier mit der Wand, kommt zurück, versucht es erneut und so weiter. Beim Reinforcement Learning werden richtige Schritte belohnt. Je korrekter die Aktion, desto mehr Punkte erhält die KI. Wenn sich die Wahl als falsch herausstellt, verliert der Agent Punkte. Während des Trainings merkt sich die Maschine, welche Aktionskombination rentabler war, und verwendet sie beim nächsten Mal.“
Eigenständige Suche nach einer Lösung ermöglicht dem Agentenfrüher oder später den Mann übertreffen. Dies wurde beispielsweise durch den MuZero-Algorithmus von DeepMind gezeigt, der lernte, Dutzende alter Atari-Videospiele, Schach und Go-artige Brettspiele zu spielen. Um es zu erstellen, nutzten sie frühere Entwicklungen des Unternehmens: zum Beispiel AlphaGo, mit dem es möglich war, den Go-Champion Lee Sedol zu schlagen, und AlphaZero, das im Schach verwendet wird. Der verbesserte Algorithmus extrahiert mehr Informationen aus weniger Daten – er benötigt jetzt die Hälfte der Trainingsschritte.
Reinforcement-Learning-Algorithmen können dasnützlich in einer Vielzahl von Branchen. Zum Beispiel in der Medizin - zur Organisation personalisierter dynamischer Behandlungen, in der Unterhaltungsindustrie - zum automatischen Testen von Computerspielen oder in der Luftfahrt - zur autonomen Steuerung eines Stratosphärenballons.
In welchen Bereichen KI den Menschen zu Hilfe kommen wird
Digitalisierung des Handels: Vollautomatisierte Stores
Das erste maschinelle Lernen wird in der Industrie implementiertwo der Prozess des Sammelns und Digitalisierens großer Datenmengen debuggt wird. Im Einzelhandel laufen beispielsweise alle Informationen durch Kassen, was bedeutet, dass KI etwas zu tun hat. Laut Alexey Shpilman wird die Verwendung von KI-Algorithmen es ermöglichen, überall automatisierte Geschäfte zu erstellen, in denen alle Prozesse ohne menschliches Eingreifen stattfinden.
Dieses Format wurde bereits 2016 getestet.Amazon-Unternehmen. Der Käufer nimmt den Einkaufswagen, nimmt Waren darin auf und geht einfach weg - das Geld für den Einkauf wird automatisch von der Karte abgebucht. In Russland wurde ein ähnliches Projekt von Azbuka Vkusa entwickelt.
„Der Käufer nimmt den Einkaufswagen, nimmt die Ware darin auf und geht einfach weg – das Geld für den Einkauf wird automatisch von der Karte abgebucht“
Telekommunikationsmanagement: Netzwerkfehler identifizieren
Dank Reinforcement Learningtechnologische Durchbrüche können bei der Verwaltung verschiedener Netze auftreten - Telekommunikation, Wärmenetze, Elektrizitätswirtschaft. Viele Prozesse lassen sich hier recht einfach robotisieren, da es nicht viel Interaktion mit Menschen gibt.
Die Automatisierung wird zur Schaffung von Systemen führen, diewird fundiertere Entscheidungen treffen und den Energieverbrauch optimieren. Basierend auf RL-Algorithmen wird beispielsweise ein HVAC-Regler entwickelt (ein Akronym für Heating, Ventilation, & Air Conditioning – Heizung, Lüftung und Klimatisierung) – dabei handelt es sich um ein Raumtemperatur- und Lüftungsregelungssystem. Der Einsatz dieser Technologie in Unternehmen wird dazu beitragen, sowohl den Energieverbrauch zu senken als auch den CO2-Ausstoß zu reduzieren.
Unbemannte Fahrzeuge: Prüftechnik und Gesetzgebung
Ein weiterer Bereich, der Dank auf einen Durchbruch wartetVerstärkungslernen - Transport. Schon heute sind unbemannte Fahrzeuge und Lieferroboter auf den Straßen zu finden. Trotz technologischer Fortschritte in der Branche prognostizieren McKinsey-Analysten, dass Drohnen frühestens 2030 zum Mainstream werden. Die Umsetzung wird durch die Notwendigkeit erschwert, Vorschriften zu erarbeiten. In Singapur und den Vereinigten Staaten ist der automatisierte Transport entlang der Autobahnen bereits in vollem Gange, und in Russland ist kürzlich die Genehmigung erschienen, ein unbemanntes Taxi zu testen.
„Automatisierung verbessert sich fast immerSicherheit, aber die Menschen begrüßen die Einführung solcher Technologien mit Angst“, ist sich Oleg Svidchenko sicher. — Wenn Sie alle Transportmittel durch unbemannte Teslas ersetzen, wird die Zahl der Unfälle auf den Straßen um ein Vielfaches sinken. Doch jeder Unfall wirft viele Fragen auf. Wie im Fall einer Person können wir nicht mit Sicherheit sagen, was den Unfall verursacht hat. Und die Menschen haben Angst vor diesem Unbekannten.“
„Ein weiterer Bereich, der dank Reinforcement Learning auf einen Durchbruch wartet, ist das Transportwesen“
Wie digitale Zwillinge der Menschheit nützlich sein werden
Reinforcement-Learning-Algorithmen haben es möglich gemachtErstellen Sie digitale Zwillinge – virtuelle Prototypen von Objekten, Prozessen und sogar Menschen, die dieselben Eigenschaften und Merkmale wie die Originale enthalten. Industrieunternehmen nutzen diese Technologie beispielsweise, um vor der Inbetriebnahme einer neuen Förderanlage zu prüfen, ob alle Prozesse richtig eingestellt sind. Natürlich können Sie den Stecker sofort in die Steckdose stecken, aber wenn ein Fehler auftritt, wird die Behebung Zeit und Ressourcen in Anspruch nehmen. Daher wird das Förderband zunächst am Computer gestartet.
Mit menschlichen digitalen Zwillingen ist alles viel besserschwieriger, weil ein lebender Organismus ein komplexeres System ist. Und doch beherrschen Wissenschaftler die Technologie weiterhin und erstellen virtuelle Kopien sowohl einzelner Organe als auch des gesamten Organismus. Beispielsweise verwendet ein Krankenhaus in Boston einen digitalen Zwilling des Herzens, um Operationen zu planen. Damit können in Zukunft Behandlungsmethoden am virtuellen Patienten getestet, Krankheiten vorhergesagt und möglicherweise eine Revolution in der Medizin für sich in Anspruch genommen werden.
„Die Entwicklung von KI, einschließlich RL, könnte dazu führendie Tatsache, dass die Menschen beginnen, sich selbst besser zu verstehen“, schlägt Aleksey Shpilman vor. „Der Mensch ist ein geschlossenes System, weil wir unser eigenes Gehirn zur Selbsterkenntnis nutzen. Aber reicht uns dieses Tool? Auch in der Psychologie braucht es zwei Personen zum Nachdenken, und wir sind in uns verschlossen. Global gesehen ist die Menschheit im Kontext des Universums immer noch allein, was bedeutet, dass wir niemanden haben, mit dem wir sprechen können, um etwas Neues über uns selbst zu lernen und von außen zu schauen. Vielleicht schaffen wir dank Reinforcement Learning eine Art Entität außerhalb von uns selbst. Es wird nicht durch unser Gehirn und unser Bewusstsein begrenzt und wird in der Lage sein, einer Person neue Antworten und Bedeutungen zu geben.“
Warum die weit verbreitete Implementierung von RL immer noch begrenzt ist
Trotz der Fortschritte, die Wissenschaftler erzielt haben, ist die praktische Anwendung von RL immer noch begrenzt. Das Erlernen des Systems dauert lange und macht viele Fehler, sodass die Implementierung des Algorithmus überall schwierig und unrentabel ist.
„Der Agent braucht mehr Wiederholungen, also der AblaufDas Lernen dauert ziemlich lange, - erklärt Alexander Grishin - Außerdem reicht es nicht aus, dass die KI die beste Aktion ausführt. Er muss die Umgebung erkunden, da hinter derzeit unattraktiven Zügen eine große Belohnung verborgen sein kann. Die ganze Logik des bestärkenden Lernens läuft darauf hinaus, dass die KI lernt, kurzfristige Vorteile für den langfristigen Erfolg zu opfern. Dazu müssen Sie vorausdenken und mögliche Szenarien für die Entwicklung von Ereignissen berechnen. Wenn zum Beispiel der Agent den Springer aufgibt, um die Königin zu fangen, werden die Wissenschaftler sehr glücklich sein.“
Die Aufgabe der Wissenschaftler besteht darin, dafür zu sorgen, dass die KI wächstLerngeschwindigkeit und verbesserte Analysefähigkeit. Doch ein banales Problem verhindert schnelle Fortschritte: In Forschungs- und Entwicklungslaboren und IT-Unternehmen herrscht Personalmangel. Universitäten errichten Labore und Forschungszentren, Technologiegiganten eröffnen spezialisierte Studiengänge.
„Forschung im maschinellen Lernen jetztsehr gefragt. Die Branche entwickelt sich rasant und der Personalmangel nimmt täglich zu“, sagt Alexey Shpilman. „Spezialisten haben eine große Chance, sich an Prozessen zu beteiligen, die die Welt bis zur Unkenntlichkeit verändern werden. Viele interessante Arbeiten. Jetzt stehen wir ganz am Anfang des Weges, aber wir haben bereits gute Ergebnisse erzielt. Können Sie sich vorstellen, welche Perspektiven sich der Menschheit durch den Einsatz von RL eröffnen?
Weiter lesen:
Die Raumsonde flog 200 km vom Merkur entfernt. Schau, was er gesehen hat
Wissenschaftler entdecken, wie Vitamine das Auftreten von Krebs beeinflussen
Chinesischer Gedankenlesehelm schlägt Alarm, wenn eine Person Pornoinhalte sieht