Projects

Phase 2 Projects

Learning Efficient Sensing for Active Vision (Esensing)


Project leaders: Thomas Martinetz (Lübeck), Erhardt Barth (Lübeck)

Researchers: Henry Schütze (Lübeck)

Administration: Yvonne Marbach (Lübeck)

Associates: Friedrich Sommer (Kalifornien)

Summary:

Agents acting in the real world with limited information-processing resources must use efficient sensing strategies. Recent theoretical results in the field of Compressed Sensing and Sparse Coding offer novel possibilities for efficient sensing. Our project will extend the scope of these novel methods and address some of their limitations. First, we will make Compressed Sensing more efficient by incorporating principles from active vision that will lead to a hierarchical sensing scheme. Second, we will use machine learning to optimize the sensing strategy for a particular type of images (such as landscapes, faces, text, etc.) and for a particular task (like for example searching for a particular kind of object). These methods will optimize both the sensing and the representation of the world, since the two are intimately connected in this framework. As a result, the agent will be able to autonomously adapt his sensing strategy and his representation of the world to a particular environment and a particular task. Finally, we will use the insights gained from the above development to better understand human active vision. We will perform a number of eye-tracking and gaze-guidance experiments to test our hypotheses. Experimental data will be used to define a challenge for models of active vision.

Agenten in der realen Welt, ausgestattet mit limitierten Ressourcen zur  Informationsverarbeitung, müssen effiziente Strategien zur Informationsaufnahme einsetzen. Neue theoretische Ergebnisse zum Compressed Sensing versprechen völlig neue Ansätze zur effizienten Informationsaufnahme. Unser Projekt soll diese Ansätze für Active Vision nutzen, sie erweitern und deren Grenzen ausloten. Zunächst wollen wir Compressed Sensing und Prinzipien des Active Vision zu einer hierarchischen Informationsaufnahme zusammenführen und dadurch die Effizienz signifikant steigern. Die daraus resultierenden Strategien der bildbasierten Informationsaufnahme sollen sich an spezielle Bildklassen (z.B. Landschaften, Gesichter, Text, etc.) oder Aufgaben (z.B. Objektsuche) anpassen. Dazu entwickeln und nutzen wir Verfahren des maschinellen Lernens, die auf den Gütemaßen des Compressed Sensing agieren und mit Ansätzen des ”reinforcement learning” aus dem Bereich Active Vision verknüpft werden sollen. Damit kann der Agent seine Strategie der Informationsaufnahme an Umgebungen und Aufgaben anpassen. Schließlich wollen wir die Erkenntnisse für ein besseres Verständnis des menschlichen aktiven Sehens nutzen und mit ”eye-tracking” Experimenten untermauern. Die experimentellen Daten sollen für entsprechende ”challenges” zur Verfügung gestellt werden.

Phase 1 Projects

Learning Efficient Sensing for Active Vision (Esensing)


Project leaders: Thomas Martinetz (Lübeck), Erhardt Barth (Lübeck)

Researchers: Henry Schütze (Lübeck)

Administration: Yvonne Marbach (Lübeck)

Associates: Friedrich Sommer (Kalifornien)

Summary:

Agents acting in the real world with limited information-processing resources must use efficient sensing strategies. Recent theoretical results in the field of Compressed Sensing and Sparse Coding offer novel possibilities for efficient sensing. Our project will extend the scope of these novel methods and address some of their limitations. First, we will make Compressed Sensing more efficient by incorporating principles from active vision that will lead to a hierarchical sensing scheme. Second, we will use machine learning to optimize the sensing strategy for a particular type of images (such as landscapes, faces, text, etc.) and for a particular task (like for example searching for a particular kind of object). These methods will optimize both the sensing and the representation of the world, since the two are intimately connected in this framework. As a result, the agent will be able to autonomously adapt his sensing strategy and his representation of the world to a particular environment and a particular task. Finally, we will use the insights gained from the above development to better understand human active vision. We will perform a number of eye-tracking and gaze-guidance experiments to test our hypotheses. Experimental data will be used to define a challenge for models of active vision.

Agenten in der realen Welt, ausgestattet mit limitierten Ressourcen zur  Informationsverarbeitung, müssen effiziente Strategien zur Informationsaufnahme einsetzen. Neue theoretische Ergebnisse zum Compressed Sensing versprechen völlig neue Ansätze zur effizienten Informationsaufnahme. Unser Projekt soll diese Ansätze für Active Vision nutzen, sie erweitern und deren Grenzen ausloten. Zunächst wollen wir Compressed Sensing und Prinzipien des Active Vision zu einer hierarchischen Informationsaufnahme zusammenführen und dadurch die Effizienz signifikant steigern. Die daraus resultierenden Strategien der bildbasierten Informationsaufnahme sollen sich an spezielle Bildklassen (z.B. Landschaften, Gesichter, Text, etc.) oder Aufgaben (z.B. Objektsuche) anpassen. Dazu entwickeln und nutzen wir Verfahren des maschinellen Lernens, die auf den Gütemaßen des Compressed Sensing agieren und mit Ansätzen des ”reinforcement learning” aus dem Bereich Active Vision verknüpft werden sollen. Damit kann der Agent seine Strategie der Informationsaufnahme an Umgebungen und Aufgaben anpassen. Schließlich wollen wir die Erkenntnisse für ein besseres Verständnis des menschlichen aktiven Sehens nutzen und mit ”eye-tracking” Experimenten untermauern. Die experimentellen Daten sollen für entsprechende ”challenges” zur Verfügung gestellt werden.