Computer mit Gesten steuern

Die nächste Computergeneration ist am Fraunhofer Heinrich-Hertz-Institut in Berlin sprichwörtlich zum Greifen nah. In einem fensterlosen Labor stehen zahlreiche Computer und große Monitore. Psychologe Paul Chojecki stellt sich vor einen Bildschirm, der so breit ist wie eine kleine Kinoleinwand, und klatscht in die Hände. Wie von Geisterhand erscheint ein altes, in Leder eingeschlagenes Buch auf dem Bildschirm. Der junge Mann bewegt seinen Arm von rechts nach links durch die Luft und im gleichen Moment blättert sich eine Seite um.

Maus und Tastatur braucht Paul Chojecki dafür genau so wenig wie einen Touchscreen: Der von den Fraunhofer-Forschern entwickelte Rechner lässt sich allein durch Handbewegungen steuern, völlig berührungslos und aus knapp eineinhalb Meter Entfernung.

Einsatz in Bibliotheken

Die Herzstücke der Technik sind neben einer eigens programmierten Software zwei Kameras, die an einem länglichen Vorbau über dem Bildschirm hängen. Die Kameras filmen die Bewegungen des Nutzers und senden die Daten im Bruchteil einer Sekunde an den Rechner. Die Software entschlüsselt die geometrischen, dreidimensionalen Formen der Bewegungen und weist sie schließlich entsprechenden Befehlen zu.

Im Foyer der Bayerischen Staatsbibliothek steht so ein gestengesteuerter Computer bereits. Die Besucher können sich auf dem großen Bildschirm alte und wertvolle Bücher ansehen, die die Bibliothek nicht verleihen möchte. "Maus und Tastatur würden bei der Bedienung nur stören", sagt der Softwareentwickler David Przewozny, "und dank der Gestensteuerung können die Nutzer ganz unkompliziert mit dem Computer kommunizieren."

Probleme mit der Bedienung

Ganz so einfach ist es allerdings nicht, den Computer zu bedienen. Wer sich vor den Rechner stellt, fühlt sich zunächst einmal etwas verloren, denn selbsterklärend ist die Software anfangs nicht. Jeder Benutzer braucht eine kurze Einführung, damit er weiß, mit welchen Gesten er welche Befehle auslösen kann. Um beispielsweise zu zoomen, breitet man die Hände aus, verkleinern lässt sich das Bild, indem man die Hände wieder zueinander führt. "Auf Messen sind die Besucher immer total erstaunt", erzählt David Przewozny, "viele Nutzer wissen zunächst nicht, wie das System funktioniert, nach einer kurzen Einführung kommen die meisten aber gut zurecht."

Das sich der Nutzer dem System ein Stück weit anpassen muss, liegt auch daran, dass Menschen die gleichen Gesten auf sehr unterschiedliche Art und Weise ausführen. Bei ihren Laborversuchen haben die Forscher rund 20 Arten entdeckt, mit denen Menschen in die Hände klatschen, "und eine Software zu programmieren, die alle Arten gleichermaßen erkennt, ist natürlich eine große Herausforderung", sagt Przewozny.

Natürliches Interagieren mit dem Computer

Noch ist es daher sinnvoll, dem Nutzer in einem kurzen Video zu erklären, wie er den Rechner steuern muss, aber langfristig soll es ganz ohne gehen, sagt Psychologe Paul Chojecki. "Unser Ziel ist es, das jeder Mensch ganz intuitiv mit dem Computer interagieren kann."

Als Vorbild haben die Wissenschaftler dafür Alltagssituationen ausgemacht. Wer beispielsweise im Gespräch mit einem Kollegen vor dem Computer sitzt und auf den Bildschirm zeigt, um etwas zu verdeutlichen, der verhält sich intuitiv: Er nutzt seine Gesten, um eine Aussage zu unterstreichen oder um etwas zu erklären. Der Computer soll solche Gesten künftig entschlüsseln: Wer also beispielsweise auf ein kleines Bild am Monitor zeigt, könnte durch den Computer unterstützt werden, in dem dieser das Bild in den Vordergrund springen lässt.

Berührungslose Interaktion aus hygienischen Gründen

Noch ist das eine Vision – doch der Weg in die Praxis ist bereitet, denn für den Operationsbereich wird schon ein gestengesteuerter Computer produziert. Die Ärzte können so während einer OP Laborbefunde, Überweisungsberichte oder Röntgenbilder auf den Bildschirm legen und alles bleibt steril. Und die Forscher haben weitere Anwendungen im Blick, für Bank- oder Fahrkartenautomaten zum Beispiel: Denn in stark frequentieren Gegenden sind deren Touchscreens schnell dreckig und schmierig, eine berührungslose Bedienung kann da auch aus hygienischen Gründen sinnvoll sein, glaubt Entwickler Chojecki.

Die Software wird unterdessen ständig weiterentwickelt – und ihr Ziel, möglichst intuitiv mit dem Computer zu interagieren, haben die Forscher dabei fest im Blick. Derzeit arbeiten sie unter anderem daran, das Gestenset zu erweitern. Das Greifen einer Hand haben sie bereits erfolgreich simuliert: Eine Datei oder ein Order lässt sich so einfach mit der Hand packen und in die Mitte des Bildschirms ziehen. Noch ist die Gestensteuerung vor allem etwas für Spezialanwendungen – doch je reibungsloser die Bedienung funktioniert, desto interessanter könnte die Technik auch für den alltäglichen Einsatz werden.

Autor: Thomas Gith
Redaktion: Andreas Ziemons