In den geheimen Labors von Microsoft sitzen weltweit Menschen, die den ganzen Tag spielen. Sie spielen mit Technik. Es ist ihr Beruf. Für Microsoft lohnen sich diese bemerkenswerten Kindergärten für Erwachsene, denn hier entstehen Dinge, die irgendwann die Welt des Hightechs auf den Kopf stellen.
Microsofts Bewegungssteuerung Kinect ist in einem dieser Thinktanks entstanden. Und wie viele dieser Spielzeuge ist es viel mehr als nur eine Technik für die XBox: Es ist die Zukunft, so werden wir schon in naher Zukunft mit gewöhnlichen PCs hantieren.
Jetzt hat wieder eine neue Technik die Microsoft-Labors verlassen. Das neue, Omnitouch genannte System funktioniert wie Kinect – und versteht sich als Zwischenschritt in eine künftige Welt, in der wir uns mit dem Gesicht in unseren Computer einloggen – und mit dem ganzen Arm durchs Internet surfen.
Die neue Technik verwandelt jede Oberfläche – egal ob Schreibtisch, Wand, Fensterscheibe oder die Haut des Unterarms in einen interaktiven Touchscreen für Tablet-Computer oder Smartphones. Die Microsoft-Entwickler haben Omnitouch zusammen mit Kollegen von der Carnegie-Mellon-Universität in Pittsburgh erfunden.
Sie funktioniert mithilfe von Kinect und einem Projektor – der projiziert eine Benutzeroberfläche zum Beispiel auf die Hand. Der Rest ist Blättern, Tippen, Streicheln – mit dem Finger klickt man sich durchs Menü, schlägt Internetseiten um und zieht Fotos ins Bild. Ganz so, als wäre die Haut, das Schreibtischholz oder die Tapete ein kühles Tablet-Touchscreen.
Omnitouch funktioniert wie die Kinect im Kleinen
Prinzip, Software und auch Teile der Hardware haben die Entwickler von der Kinect übernommen. Sie haben die raumfüllende Technik auf handliche und bürotaugliche Dimensionen heruntergebrochen. Während ein Spiel an der Kinect noch ein ganzes Wohnzimmer füllt, funktioniert Omnitouch im Kleinen: Beim Prototyp, den die Techniker auf einer Konferenz den staunenden Teilnehmern vorführten, sitzt die Optik als kleiner Kasten nebst dem Projektor für die Bedienelemente auf der Schulter.
Das 3-D-Bild des Sensors entsteht durch einen Trick, der die ganzen teuren Methoden der räumlichen Wahrnehmung umgeht: Eine Infrarotlampe projiziert ein Punkteraster in den Raum. Das menschliche Auge nimmt den infraroten Wellenlängenbereich nicht mehr wahr, wohl aber die Kamera mit Sensor, die ihre Informationen an den Computer weitergibt.
Dem verarbeitenden Computer wiederum fällt die Aufgabe zu, die Bewegungen des Fingers in dem Raster zu verarbeiten, also einen Sinn in seine Bewegungen und Eingaben zu bringen. Den Finger erkennt "Omnitouch" an seiner Form: ein grob zylindrisches Objekt, das aus einer größeren Fläche wächst und am Ende rund zuläuft. Ihm ordnet die Technik ein virtuelles Knochensystem zu, dessen Bewegungen ausschlaggebend sind für die zu erkennenden Gesten.
Omnitouch ist damit prinzipiell in der Lage, Zeichen wie den „Ring“ (Daumen und Zeigefinger bilden einen Kreis, die restlichen Finger stehen ab) zu erkennen und entweder als „superb!“ oder als Beleidigung zu interpretieren.
Dass die Technik Klicks und den Tastendruck korrekt interpretiert, war eine der größeren Herausforderungen, die die Techniker auf dem Weg zum Überall-Touchscreen zu knacken hatten: Omnitouch kann nun erkennen, dass der Finger nicht mehr irgendwo im Raum frei herumzeigt (dabei tritt der Rand sehr deutlich als Abrisskante des Tiefenbilds hervor), sondern tatsächlich eine Fläche berührt (die Tiefenwerte von Fingerspitze und Fläche stimmen überein).
Omnitouch erkennt, ob sich eine Fläche zur Projektion eignet
Die Sensoren liefern zu jedem ermittelten 3-D-Bild gleichzeitig ein Bild einer normalen, farbigen Kamera. Der magische Moment ist dann, wenn der Bediener Balken aus Licht auf seinem Arm verschiebt und auf reagierende Tasten im Inneren seiner Handfläche tippt. Omnitouch erkennt dabei von selbst, ob sich eine Fläche zur Projektion eignet – egal, ob das jetzt eine Wand, eine Hand oder ein Schreibblock ist.
Bewegt sich diese Fläche, fährt der Projektor diese Bewegung automatisch nach. So wird sich etwa eine Tastatur immer an den Kanten des Schreibtischs ausrichten. Der Benutzer soll außerdem vorgeben können, wo der Projektor zum Beispiel eine eingehende Mail darstellt. Die ist ja auf einer ebenen Wand oder auf einem Block besser zu lesen als auf einer faltigen Handinnenfläche. Omnitouch erkennt hierzu auch selbstständig ausreichend glatte Oberflächen, die es zur Projektion anbietet. Erstaunlicherweise ist die Genauigkeit der Eingaben nahe an typischen Touchscreens, wie sie in modernen Tablets und Smartphones üblich sind.
Auf einer projizierten Tastatur lässt sich also ebenso einfach schreiben wie auf einer auf einem Touchscreen dargestellten, und es ist sogar möglich, mit den Fingern zu malen. Dabei werden natürlich keine filigranen Kohlezeichnungen entstehen, doch das bei Demonstrationen übliche Einkreisen, Markieren und mit Smileys Verzieren von Dokumenten geht sehr wohl.
Durch die Tiefenmessung ist Omnitouch sogar in der Lage, auf in Relation zum Benutzer geneigten Ebenen die perspektivische Verzerrung auszugleichen oder eben das zu lassen, wenn mehrere Personen aus mehreren Blickwinkeln die dargestellten Daten angucken.
Aktuell ist das System noch etwas zu groß dafür, es ständig mit dem Smartphone-Handy am Körper zu tragen. Doch künftig sollte es möglich sein, das Gerät mitsamt dem Projektor in einem Gehäuse von Zigarettenschachtelgröße unterzubringen, verspricht Chefentwickler Chris Harrison vom Microsoft Research Center in Redmond.
Smartphones durch die Manteltasche bedienen
Die Microsoft-Techniker arbeiten in ihren Spiel-Labors obendrein mit PocketTouch an einer Technologie, die es möglich machen soll, das Smartphone via Touchscreen auch durch die Hosen- oder Manteltasche zu bedienen. Die Technik basiert auf einem speziellen Sensor, mittels dessen der Smartphone-Bildschirm auch durch Stoffe hindurch reagiert – es nimmt Anrufe entgegen oder lehnt sie ab.
Gekoppelt mit Microsofts sogenanntem Ink Digital Handwriting System kann man sogar SMS tippen, während das Telefon noch in der Hose steckt. Der Sensor ist so abgestimmt, dass er Berührungen durch 25 verschiedene, gängige Textilien hindurch erkennt.
Die Berührungen wertet eine Software aus, die Buchstaben erkennt – und sogar solche entziffern kann, die aus mehreren Linien bestehen (ein U ist relativ leicht zu erkennen, während ein X, das aus zwei Linien besteht, oder sogar ein F üblicher Software schon mehr Schwierigkeiten macht). Einzige Voraussetzung, damit das Handy in der Hose zuverlässig SMS verschicken kann: Es muss mit dem Touchscreen nach außen zeigen.
Dass wir in Zukunft mit unseren Rechnern mehr und mehr aus der Ferne hantieren werden, zeigt aber nicht nur die Entwicklung in den Microsoft-Labors. Computersteuerung durch Gesten, wie sie Tom Cruise im Hollywood-Technothriller „Minority Report“ demonstrierte, ist mit heute verfügbarer Technik durchaus schon möglich und in absehbarer Zeit sogar bezahlbar.
So hat zum Beispiel der Automobilzulieferer Johnson Controls gerade ein günstiges Head-up-Display-System für preiswerte Autos vorgestellt. Es projiziert in allen Farben statt auf die Windschutzscheibe (denn die muss hierzu entsprechend vorbereitet sein, und das System muss sich darauf kalibrieren) auf eine separate Scheibe, die es ins Blickfeld des Fahrers ausfährt.
Die ganze Welt wird zum Touchscreen
Die ganze Wohnung, ja schließlich: die ganze Welt wird zum Touchscreen. Wo früher Kinder mit Kreide ihr Springspiel „Himmel und Hölle“ auf den Schulhof gemalt haben, könnte künftig ein Projektor stehen, der ein schillernd interaktives Spielfeld auf den Teer wirft und die resultierenden Highscores sofort durch alle sozialen Netze des Internets jagt.
Und was kommt als Nächstes? Der Computer, der Gedanken liest? Spinnen wir weiter in die Zukunft, dann wissen wir längst, dass wir irgendwann die Rechnerknoten mit Gedanken bedienen. Doch werden die Maschinen tatsächlich einmal in unserem Kopf lesen können?
Die Praxis zeigt, wie unbequem es ist, vermittels eines Elektrodennetzes auf der Kopfhaut auf das zu schließen, was sich darunter abspielt. Maschinelles Gedankenlesen funktioniert momentan so fein und nuanciert wie das In-die-Ohren-Brüllen beim Discobesuch – mit einem ähnlichen Hintergrundrauschen. Entweder etwas ist zu laut, oder es wird nicht gehört.
Die Science-Fiction ergeht sich daher in Geschichten über Implantate, die feine Drähte direkt in die Neuronen des Gehirns führt, wo sie Signal zur Verarbeitung finden. Doch der Mensch kommuniziert seit seinen sozialen Ursprüngen mittels feinster Signale über Sprache, Gestik und Mimik – und so zeichnet sich längst ab, dass Computer sie mit jeder Generation deutlich besser verstehen. Wie die Zukunft aussieht? Vermutlich mit weniger Kupfer am Kopf, vielmehr so, dass Computer wie Menschen unsere Mimik, unsere Augen, unsere Bewegungen, Gesten, Fingerzeige interpretieren. Und diese Zukunft ist zum Greifen nahe.