Das Team von Alphabet hat ein Deep-Learning-Programm verwendet, um der DeepMind-KI das Parkour-Lernen beizubringen. Reinforced Learning RL ist ein gängiges Instrument zum Lehren und Führen von Verhalten mithilfe eines Belohnungssystems. Grundsätzlich wird gutes oder wünschenswertes Verhalten belohnt undunerwünschtes Verhalten bekommt nichts.
Ziel des Projekts war es zu untersuchen, ob einfache Belohnungssysteme auch in komplexen Umgebungen funktionieren. Ein virtueller Parkour-Kurs wurde mit Stufen, Vorsprüngen, Hürden und Gefällen entworfen. Die KI wurde initiiert, um zu verstehen, wie schnell sie sich über das Gelände bewegteJe besser die Belohnungen. Für komplexere Programme wurden Bonusbelohnungen hinzugefügt.
Die KI navigiert durch die Landschaft und lernt, sich so schnell wie möglich vorwärts zu bewegen, ohne "zu beenden". Sie verwendet ein Versuchs- und Fehlersystem, um die Methoden so schnell wie möglich zu erlernen. Wenn Sie sich die Videos ansehen, die Sie sehen können, verwendet DeepMind kreatives Denken, um sich zu bewegeneffizient um Hindernisse herum, auch wenn die resultierenden Bewegungen etwas ungeschickt aussehen.
Forschung kann auf IRL-Roboter angewendet werden
Die Forschung wurde in einem Artikel des Google AI-Ablegers mit dem Titel „ vorgestellt. Auftreten von Fortbewegungsverhalten in reichen Umgebungen . ”Die hier geleistete Arbeit bildet die Grundlage dafür, wie man echten Robotern beibringt, wie man in schwierigem Gelände wie Treppen navigiert.
Während Sie die Strichmännchen beim Navigieren beobachten, ist es wichtig, sich daran zu erinnern, dass all diese Bewegungen, das Springen, Klettern, Dehnen und Laufen Autodidakten waren. Dies sind die Bewegungen, die die KI entwickelt hat, um die Aufgabe zu erledigenWie ein betrunkenes Skizziermodell, das versucht, die letzte U-Bahn nach Hause zu bringen, beobachten Sie tatsächlich die KI-Geschichte. Alle DeepMind-Genies haben dem Agenten eine Reihe virtueller Sensoren gegeben, mit denen er erkennen kann, wo er sich befindet, und den Anreiz, sich vorwärts zu bewegen.
[Bildquelle : DeepMind ]
Parkour oder Freilauf ist eine Art, sich durch Landschaften zu bewegen, die auf dem schnellen Fluss der Vorwärtsbewegung beruht. Ziel ist es, sich auf möglichst effizientem Weg und mit möglichst effizienten Bewegungen von einem Ort zum anderen zu bewegen. Parkour hat sich aus der militärischen Ausbildung abgeleitetwurde mit einer Kampfkunst ohne Kampf verglichen.
Massiver Sprung für zukünftiges KI-Training
Dies ist ein großer Schritt vorwärts, um zu verstehen, wie RL verwendet werden kann, um komplexe Bewegungen zu lehren. Die KI lernt erfolgreich schwierige und robuste Bewegungen durch verstärktes Lernen. Bisher wurde angenommen, dass verstärktes Lernen nur fragile erlernte Verhaltensweisen hervorbringtDas Papier erklärt: "Die Belohnungstechnik hat zu einer Reihe erfolgreicher Demonstrationen des Fortbewegungsverhaltens geführt. Diese Beispiele sind jedoch als spröde bekannt: Sie können zu unerwarteten Ergebnissen führen, wenn die Belohnungsfunktion nur geringfügig geändert wirdund für fortgeschrittenere Verhaltensweisen ist die entsprechende Belohnungsfunktion oft überhaupt nicht offensichtlich. "
Das Team hat sich dieser Herausforderung gestellt und bewiesen, dass durch verstärkendes Lernen tatsächlich ein reichhaltiges und effektives Verhalten erzielt werden kann. Was als nächstes für die Parkour AI und ihre realen Anwendungen kommt, ist sehr aufregend.
Quellen : Arxiv , The Verge , Engadget