Premier séminaire consacré au multitouch et première présentation du prototype cartonné de notre table multitouch. Ce séminaire, nommé Xtouch, invitait les étudiants en design d’interactivité 3e année et quelques étudiants de 5e année de l’École de Design Nantes Atlantique, à mener une réflexion, à expérimenter, et à proposer des concepts autour de la technologie multitouch. Ce séminaire se déroulait sur une semaine, et nous a permis dans un premier temps de perfectionner notre prototype, et notamment de régler les problèmes liés aux infrarouges, puis dans un second temps, d’expérimenter et de trouver des passerelles en vue de développement d’applications.

Installation multitouch à l'École de Design

Les trois premiers jours eurent donc pour objectif de produire un prototype fonctionnel. Les premiers essais permirent de faire fonctionner des applications fournies avec la tbeta. Cependant, un problème persistait : l’interface projetée était visible par la caméra et interférait pour la capture des blobs. En effet, certains vidéoprojecteurs émettent des infrarouges. Nous avons donc dans un premier temps posé une lentille appelée miroir dichroïque (ou hotmirror en anglais) sur le vidéoprojecteur chargée de retenir les infrarouges.

Blobs : sans hotmirror, sans négatif photo

Malheureusement, le problème fut seulement estompé, mais pas réglé. Nous nous sommes aperçus que l’objectif infrarouge posé sur la webcam captait les infrarouges et la lumière ambiante. C’est finalement par une petite astuce que ce problème fut résolu : il suffit de fixer sur la caméra un négatif photo qui ne laisse passer que les infrarouges. Enfin, il a fallu s’équiper d’une surface de projection : une plaque de plexiglas poncée permettant de diffuser la lumière. C’est donc finalement par ce jeu de filtres que nous sommes parvenus à notre premier résultat convaincant, et que nous pouvions commencer à expérimenter et tester nos premières applications.

Blobs : avec hotmirror, avec négatif photo

Calibration de la table

Vous l’aurez compris faire sa propre table demande une réflexion par rapport au matériel utilisé et induit une bonne phase de tests. Les premiers essais que nous avons effectués furent pour le mesurer la distance de projection du vidéoprojecteur. En effet, comme dit dans l’article précédent, la projection du vidéoprojecteur vient se refléter sur un miroir afin de renvoyer l’image sur la surface translucide. Le miroir permet d’augmenter la distance de projection et ainsi obtenir une image net. De cette façon, plus vous choisirez un projecteur avec une distance de projection courte, plus vous pourrez construire une table compacte (voir les outils de calcul dans Ressources > Logiciels & outils).

Dans notre cas, nous avons tout d’abord expérimenté à l’aide d’un vieux vidéoprojecteur afin de mieux comprendre tous les mécanismes. Ensuite, il a fallu configurer la partie non visible du dispositif, les infrarouges. La première étape (voir multigestures.net) a été de démonter notre webcam achetée pour y ajouter un objectif infrarouge, puis de disposer au sol les illuminateurs, ayant opter pour la technique DI qui demande moins de travail en termes d’installation. Après quelques tests, la projection marche, la webcam capte bien les infrarouge, il ne reste plus qu’à gérer correctement l’illumination et la capture des blobs.

Beaucoup de sites  traitent du sujet, on retrouve notamment le site de NUI Group qui réunit un grand nombre d’informations grâce à ses différents rubriques (wiki, forum, tbeta…). On peut notamment y trouver des tutoriels, des applications, des informations sur les différentes techniques des réalisations, ou encore des témoignages.

Une table multitouch comment ça marche ? Petit récapitulatif :

Table mulitouch Cubit - NOR_/D

Globalement toutes les techniques fonctionnent sur le même principe. Une surface transparente est illuminée par des infrarouges. Une caméra placée en dessous de la plaque, est équipée d’un filtre qui permet de ne filmer que les infrarouges. Ainsi lorsque les doigts de la main viennent toucher la surface, ils sont illuminés, formant ainsi une forme lumineuse appelée « blob » dont les coordonnées seront ensuite détectées. Pour finir un vidéoprojecteur vient se refléter sur un miroir afin de projeter l’image sur notre surface translucide. Le tout est bien évidement géré par un ordinateur sur lequel les coordonnées des blobs vont être récupérer par les différents logiciels permettent de faire fonctionner le dispositif, à savoir : touchlib, tbeta ou encore reactable, moins intuitif, mais permettant une reconnaissance des formes.

En ce qui concerne l’illumination infrarouge de la surface, deux techniques sont principement utilisées. La première appelée DI (Diffused Illumination), utilise des illuminateurs infrarouges qui diffusent la lumière infrarouge sur la plaque. La deuxième appelé FTIR (Frustrated Total Internal Reflection), utilise un cadre de LEDs infrarouges autour de la plaque. Grâce cette seconde technique, les LEDs illuminent les bords de la plaque propageant par conséquent les infrarouges directement, et donc, de façon homogène toute la surface.

DI (Diffused Illumination)

FTIR (Frustrated Total Internal Reflection)

En s’intéressant à la technologie multitouch, nous nous sommes rendu compte qu’elle semblait relativement accessible. De plus, les enjeux sont grands. Aujourd’hui, les tables multitouch servent principalement à redimensionner des éléments en deux dimensions (photos, vidéos…). Pourtant, les capacités sont énormes mais encore inexplorées !