Learn2Grasp: Lernen von menschenähnlichem Greifen basierend auf visuellem und haptischem Feedback

Das Ziel des vorgeschlagenen Projektes ist es, menschenähnliches Greifen aus chaotisch gefüllten Behältern mit Hilfe einer nachgiebigen und anthropomorphischen Hand zu erlernen. Die Greifstrategie wird nicht nur auf Messungen von RGB-D-Sensoren basieren, sondern auch auf Kraft/Drehmoment-Messungen im Handgelenk, Kraftmessungen in den Fingern und taktilen Messungen auf der Handoberfläche. Die gelernten Strategien werden interaktiv sein, und somit neben Greif- auch andere Aktionen beinhalten, wie z.B. Verschieben, Arrangieren und das Vereinzeln von Objekten, als auch mehrschrittige Pläne wie die Reorientierung von Objekten in der Hand und das Neugreifen zwecks Umschließung. Damit von wenigen Erfahrungen dateneffizient gelernt werden kann, werden wir ein strukturiertes Verfahren zur Szenenzerlegung, -vorhersage und -verfolgung entwickeln, welches auf visuellen und haptischen Messungen basiert. Interaktive Greifstrategien werden mit Methoden des Deep Reinforcement Learnings in einer physikbasierten Simulation und mit realen Hand-Arm-Systemen gelernt. Das Greifen ist eine schwierige Aufgabe für lernende Systeme, da Belohnungen nur spärlich sind: Die meisten Versuche scheitern und generieren so keine Belohnung. Um dieses Problem anzugehen, werden wir zwei Ideen kombinieren: Die Initialisierung durch menschliche Demonstration mit einer immersiven Teleoperationsschnittstelle und die Exploration des Verhaltensraumes mit Hilfe von Quality-Diversity-Algorithmen. Wir erwarten, dass diese innovative Kombination zu einem Sprung der Performanz in der Kontrolle von feingliedrigen Roboter-Greifern führen wird - eines der Hindernisse auf dem Weg, Roboter benutzbarer zu machen und mit ihnen wichtige Probleme in vielen Domänen zu lösen, von Pflege bis Industrie und Umweltschutz. Diese Teilvorhabensbeschreibung beschreibt das Teilvorhaben der Universität Bonn am deutsch-französischen Kooperationsprojekt mit der Sorbonne Université, Paris.