A Framework for the Design and Development of Multimodal Interaction on Tabletops

Research project in the area of Virtual and Augmented Reality.

Keywords: Multi-touch, Gesture-based Interaction Framework, Infrared Optical Tracking.

About this Project

Innerhalb des MINT-Projekts sollen neuartige Methoden zur Generalisierung komplexer Interaktionstechniken mit speziellem Fokus auf Gesten-basierte Interaktion für Multi-Touch-Computer entwickelt werden.

Ziel dieses Unterfangens ist einerseits die Ermöglichung einer applikations-übergreifenden Wiederverwendbarkeit von Interaktionstechniken, andererseits die Kombination simpler Interaktions-bausteine zu komplexeren Interaktionsmustern zu erleichtern. Hierfür soll eine Schnittstelle spezifiziert werden, über welche eine Applikation die Beschreibung aller interaktionsrelevanten Objekte, sowie deren aktuellen Zustand bereitstellt. Basierend auf dieser Repräsentation des Applikationszustandes sollen eine Zwischenanwendung (die MINT-Middleware) passende, vordefinierte Interaktions-bausteine aus einer Datenbank auswählen und daraus einen Datenflussgraphen konstruieren.

Desweiteren sollen Konzepte zur Visualisierung und Bearbeitung von Interaktionsbausteinen durch technisch weniger versierte Anwender (Nicht-Programmierer) geschaffen werden. Die im Rahmen des Projektes entwickelten Konzepte sollen durch Umsetzung in einem Software-Framework und verschiedenen, simplen Anwendungen studiert werden.

Project Partners

Strukt GmbH, Vienna, Austria

Funding provided by

Austrian Research Promotion Agency (FFG)

Additional Information

Results

See MINT website for project results and ongoing work.

Mint Technical Demo from MINT framework on Vimeo.