Projects

Phase 2 Projects

Relational exploration, learning and inference — Foundations of autonomous learning in natural environments


Project leaders: Marc Toussaint (Stuttgart), Kristian Kersting (Dortmund)

Researchers: Johannes Kulick (Stuttgart), Martin Mladenov (Bonn)

Administration: Marion Lange (Berlin/Stuttgart)

Associates: Shlomo Zilberstein (Amherst, MA)

Summary:

Learning and exploration are among the most interesting aspects of intelligent behavior in humans and animals. In this project we address exploration and learning in the context of object manipulation in natural environments—such as a household, offices or factories—where the state can be described in terms of (continuous or discrete) relations between objects. Handling this setting is crucial to advance the state-of-the-art in intelligent systems towards real-world applicability. Existing machine learning and robotics methods, however, largely fail as the inherent world structure in the exponential state spaces is not exploited, while AI approaches typically neglect learning and exploration under uncertain experiences. The core approach of the project is to organize exploration, learning and inference on appropriate relational representations implying strong prior assumptions on the world structure. On these representations we can learn from uncertain experience compact models of action effects that generalize across objects. We transfer existing exploration theories to relational representations—leading to a novel level of explorative behavior that decidedly aims to explore objects to which the current knowledge does not generalize. This project is to our knowledge the first to combine statistical relational learning methods to tackle core problems in intelligent robotics, fueling the hope for a major advance in the field. We will demonstrate our methods on real-world robot platforms manipulating their environments.

Intelligentes Verhalten von Menschen und Tieren offenbart sich auf eindrucksvolle Weise in der Erforschung unbekannter Umgebungen und Gegenstände und dem Verallgemeinern der dabei gewonnenen Erfahrungen. Ein Verständnis für diese Fähigkeiten in Situationen des Alltagsleben zu gewinnen, ist das Ziel dieses Projektes. “Natürliche” Umgebungen, wie etwa Privathäuser, Büros oder Fabriken, zeichnen sich durch eine Vielzahl an Gegenständen aus, die ein selbstständiger Agent beeinflussen und verändern kann, und lassen sich durch deren (kontinuierliche oder diskrete) Beziehungen zueinander beschreiben. Jedes in realen Problemstellungen einzusetzende autonome System muss in der Lage sein, solche Umgebungen zu explorieren und verstehen zu lernen. Derzeitige Ansätze genügen diesen Anforderungen nicht: Methoden des Maschinellen Lernen und der Robotik vernachlässigen die solchen Umgebungen inhärente Struktur und scheitern daher an deren Komplexität, während KI-Ansätze nicht mit der unvermeidlichen Unsicherheit beim Lernen und Explorieren umzugehen wissen. Der Kernansatz dieses Projekts ist die Erforschung von Exploration, Lernen und Inferenz auf der Grundlage sogenannter relationaler Repräsentationen. Solche Repräsentationen implizieren starke A-priori-Annahmen über die Weltstruktur und ermöglichen es, aus unsicherer Erfahrung kompakte und über einzelne Gegenstände verallgemeinernde Modelle von der Wirkungsweise von Aktionen zu lernen. Dies erlaubt eine konzeptionell neuartige Art von Exploration, die bewusst Objekte in Situationen untersucht, auf welche das derzeitige Weltverständnis nicht verallgemeinert. Unseres Wissens ist dies das erste Projekt, das mithilfe statistischer relationaler Lernverfahren Kernprobleme der Robotik löst und somit einen bedeutsamen Fortschritt in der Erforschung autonomen Lernens  verheißt. Die Bedeutsamkeit der von uns entwickelten Methoden werden wir auf einer realen, die Umgebung manipulierenden Robotikplattform demonstrieren.

Phase 1 Projects

Relational exploration, learning and inference — Foundations of autonomous learning in natural environments


Project leaders: Marc Toussaint (Stuttgart), Kristian Kersting (Dortmund)

Researchers: Johannes Kulick (Stuttgart), Martin Mladenov (Bonn)

Administration: Marion Lange (Berlin/Stuttgart)

Associates: Shlomo Zilberstein (Amherst, MA)

Summary:

Learning and exploration are among the most interesting aspects of intelligent behavior in humans and animals. In this project we address exploration and learning in the context of object manipulation in natural environments—such as a household, offices or factories—where the state can be described in terms of (continuous or discrete) relations between objects. Handling this setting is crucial to advance the state-of-the-art in intelligent systems towards real-world applicability. Existing machine learning and robotics methods, however, largely fail as the inherent world structure in the exponential state spaces is not exploited, while AI approaches typically neglect learning and exploration under uncertain experiences. The core approach of the project is to organize exploration, learning and inference on appropriate relational representations implying strong prior assumptions on the world structure. On these representations we can learn from uncertain experience compact models of action effects that generalize across objects. We transfer existing exploration theories to relational representations—leading to a novel level of explorative behavior that decidedly aims to explore objects to which the current knowledge does not generalize. This project is to our knowledge the first to combine statistical relational learning methods to tackle core problems in intelligent robotics, fueling the hope for a major advance in the field. We will demonstrate our methods on real-world robot platforms manipulating their environments.

Intelligentes Verhalten von Menschen und Tieren offenbart sich auf eindrucksvolle Weise in der Erforschung unbekannter Umgebungen und Gegenstände und dem Verallgemeinern der dabei gewonnenen Erfahrungen. Ein Verständnis für diese Fähigkeiten in Situationen des Alltagsleben zu gewinnen, ist das Ziel dieses Projektes. “Natürliche” Umgebungen, wie etwa Privathäuser, Büros oder Fabriken, zeichnen sich durch eine Vielzahl an Gegenständen aus, die ein selbstständiger Agent beeinflussen und verändern kann, und lassen sich durch deren (kontinuierliche oder diskrete) Beziehungen zueinander beschreiben. Jedes in realen Problemstellungen einzusetzende autonome System muss in der Lage sein, solche Umgebungen zu explorieren und verstehen zu lernen. Derzeitige Ansätze genügen diesen Anforderungen nicht: Methoden des Maschinellen Lernen und der Robotik vernachlässigen die solchen Umgebungen inhärente Struktur und scheitern daher an deren Komplexität, während KI-Ansätze nicht mit der unvermeidlichen Unsicherheit beim Lernen und Explorieren umzugehen wissen. Der Kernansatz dieses Projekts ist die Erforschung von Exploration, Lernen und Inferenz auf der Grundlage sogenannter relationaler Repräsentationen. Solche Repräsentationen implizieren starke A-priori-Annahmen über die Weltstruktur und ermöglichen es, aus unsicherer Erfahrung kompakte und über einzelne Gegenstände verallgemeinernde Modelle von der Wirkungsweise von Aktionen zu lernen. Dies erlaubt eine konzeptionell neuartige Art von Exploration, die bewusst Objekte in Situationen untersucht, auf welche das derzeitige Weltverständnis nicht verallgemeinert. Unseres Wissens ist dies das erste Projekt, das mithilfe statistischer relationaler Lernverfahren Kernprobleme der Robotik löst und somit einen bedeutsamen Fortschritt in der Erforschung autonomen Lernens  verheißt. Die Bedeutsamkeit der von uns entwickelten Methoden werden wir auf einer realen, die Umgebung manipulierenden Robotikplattform demonstrieren.