Contacter l'auteur / Contact the author

Recherche dans ce site / Search in this site

 

L'ordinateur du futur

6. Les interfaces utilisateurs (II)

Alors qu'en général un système VR occupent tout un local quand il s'agit de simulation ou de la mise au point d'un appareil, à une époque où les lunettes VR à réalité augmentée sont plus encombrantes que des lunettes de ski et parfois aussi plus volumineuses qu'un casque, les progrès technologiques et notamment dans l'intégration des microprocesseurs graphiques, a permis de réduire les interfaces utilisateurs à la taille d'un ongle.

Ainsi, à Fort Benning par exemple, en Georgie, l'armée américaine propose à ses soldats un casque à réalité virtuelle et augmentée équipé d'un écran de 1 cm relié à Internet. Un peu partout dans le monde, les pilotes d'avions et de chars disposent de systèmes HUD (Head-Up Display) à réalité virtuelle et augmentée qui se projète sur un miroir semi-tranparent placé juste devant l'oeil.

Pour les civils, Lumus, Google et Vuzix parmi d'autres proposent des lunettes à réalité augmentée et Innovega propose depuis 2012 des lentilles de contact à réalité agmentée. Demain, grâce aux propriétés du graphène, ce type de système connecté au web sera incorporé dans les lunettes solaires ou de correction sans augmenter leur épaisseur grâce à des circuits souples plus fins qu'un cheveux (à l'image des e-skins).

Trois manière d'exploiter la réalité virtuelle et augmentée. A gauche, le casque de réalité virtuelle et augmentée HMZ-T1 présenté par Sony en 2011 pour sa console PS3. Le casque pesant 330 g comprend deux écrans OLED de 17.8 mm et supporte la 3D. Le modèle T2 est équipé d'un système audio surround 5.1. En l'utilisant, vous avec l'impression d'être plongé dans une salle de cinéma et de regarder en stéréo une image de 18 mètres de large à 20 m de distance. Au centre, cet agent de police du trafic routier porte un casque sans fil équipé d'un système de vision à réalité augmentée "Golden-i", un projet développé en 2011 par l'Université Ryerson du Canada et la société Appear avec le support de l'agence nationale d'innovation de Suède, Vinnova. A droite, des lentilles de contact à réalité virtuelle et augmentée développées par Innovega en 2012. 

La réalité augmentée combinée ou non à un système virtuel vise à apporter une aide à son utilisateur. Elle affiche par exemple dans son champ de vision des informations multimédia extraites de bases de données distantes transmises par Internet.

Les applications touchent tous les secteurs. Comme aujourd'hui il existe des centaines de milliers d'applications pour les smartphones, à l'avenir il pourrait exister des centaines de milliers d'applications dédiées à la réalité virtuelle. On pourra même les customiser à volonté comme on paramétrise le bureau de son ordinateur ou les widgets.

Concrètement, où que vous soyez, à pied ou dans un moyen de transport, dans quelques années vous pourrez obtenir des informations en temps réel sur le lieu où vous êtes, l'objet que vous avez en main ou sur la personne avec laquelle vous discutez.

Non seulement la réalité augmentée vous permettra de savoir quelle est la nature ou la fonction de l'objet en face de vous mais également de savoir le nom de la personne qui est en face de vous sans devoir lui demander.

On peut étendre cette notion à l'assistance et aux services au sens général. Dans quelques années vous aurez la possibilité de porter des verres de contact ou des lunettes de vue équipées d'une interface à réalité virtuelle et augmentée. Si vous êtes perdu quelque part sans carte ni GPS, vous pourrez vous orienter en quelques secondes grâce à une carte virtuelle qui se projetera dans votre champ de vision.

Prototype de lunette à réalité augmentée mis au point par Essilor en 2013 et destiné aux malvoyants.

Si vous ne connaissez pas la manière de réaliser une recette ou de cuire un aliment, plutôt que de consulter votre ordinateur de bureau ou votre smartphone relié à Internet, le système VR pourra également projeter toutes les informations devant vos yeux, y compris l'image semi-transparente d'une poële et vous montrer comment préparer cette recette. Vous serez un vrai chef coq !

La réalité augmentée trouve aussi des applications en médecine, notamment en apportant des informations aux malvoyants. Ainsi, en 2013, l'opticien français Essilor a développé des lunettes à réalité augmentée à l'intention des patients ayant un minimum de 1/10e d'acuité visuelle corrigée.

Ce prototype est équipé d'une petite caméra incluse dans une des deux branches de la monture qui transmet les images qu'elle capte à un boîtier externe de contrôle. Il permet à la personne malvoyante d'agrandir ou de modifier le contraste de l'image afin qu'elle soit plus lisible et adaptée à son handicap visuel. Le boîtier permet également de capturer des images et de les visualiser plus nettement comme des panneaux de signalisation ou des étiquettes. L'image corrigée est renvoyée vers l'autre branche de lunette où un dispositif optique la projette directement sur la rétine.

Ce prototype doit être amélioré car actuellement son autonomie est d'à peine une heure et le champ de vision est très étroit.

Le produit est actuellement testé sur quatre volontaires. Sa date de commercialisation n'est pas encore connue mais ce dispositif représente un grand espoir pour toutes les personnes malvoyantes.

Le clavier virtuel

Concernant l'interface avec l'ordinateur, le clavier virtuel existe déjà. Après le concept du Russe Marat Kudryavtsev qui avait imaginé un appareil cylindrique en 2008 qui projetait un clavier ainsi que le texte virtuel sur le bureau, la société coréenne Celluon propose depuis 2011 le "Magic Cube" pour les appareils mobiles d'Apple. Ce système valant environ 150$ projète un faisceau laser et dessine un clavier virtuel sur le plan de travail que vous pouvez utilisez pour encoder du texte ou envoyer des SMS via l'iPhone ou l'iPad par exemple.

Depsuis 2011, Fujitsu Laboratories travaille sur un système équivalent appelé "Gesture keyboard" basé sur une caméra plutôt que sur la projection d'un rayon. Fujitsu développe également des systèmes gestuels capables de reconnaître les formes et les caractères, d'effectuer des découpages et des compositions graphiques à partir des mouvements des doigts appliqués sur une surface contrôlée par une caméra et un ordinateur.

D'autres concepteurs ont imaginé des "keygloves", des gants faisant office de claviers virtuels. Ces projets remontent à quelques années. On en retrouve notamment la trace chez NTT en 1997.

A voir : Celluon Cube Laser Virtual Keyboard

Senseboard VKB 1

Trois exemples de claviers virtuels. A gauche, le Magic Cube de Celluon fonctionnant par laser. Voici une autre image de ce système. Au centre, le KITTY et ses électrodes spiralés. Le récepteur est placé dans la montre. A droite, le Senseboard VKB 1 qui capture les mouvements des doigts.

Les plus simples se clipsent sur les mains comme le modèle Senseboard ou s'enroulent sur les doigts comme le KITTY. Ces appareils sont équipés de minuscules contacts électriques et fonctionnent par Wi-Fi ou radiofréquences en combinaison avec un minuscule récepteur (de la taille d'un cube ou d'une montre). Ils traduisant la position et les mouvements des doigts en caractères équivalents sur l'écran.

Si on prend du recul, ces accessoires ne sont ni faciles à utiliser ni pratiques, de plus il faut les transporter séparement de l'ordinateur. L'idéal reste encore le système de reconnaissance par caméra ou laser.

L' interface utilisateur du futur

L'un des futurs possibles pourrait s'orienter vers la solution mise en oeuvre dans le film "Minority Report" de Steven Spielberg (2002), c'est-à-dire des interfaces à réalité virtuelle et augmentée couplées à une version avancée du Leap Motion, en d'autres termes une interface en langage naturel et tridimensionnelle et non plus simplement gestuelle dans un espace plan.

L'interface de réalité virtuelle qu'utilise Tom Cruise est inspirée des recherches de l'entrepreneur et écrivain Jaron Lanier - l'inventeur de l'expression "réalité virtuelle" - et de l'ingénieur John Underkoffler du MIT Media Lab et fondateur de plusieurs spin-offs dont la société Oblong. On leur doit notamment l'idée des gants traceurs des systèmes virtuels et les systèmes de reconnaissance gestuels tel le Kinect de la console de jeux Xbox 360 de Microsoft.

Extrait du film "Minority Report" de Steven Spielberg (2002). Il y a moins de réalité virtuelle dans ce film que dans les véritables studios exploitant cette technologie. En revanche, les images de synthèse font illusions.

Quant à l'interface spectaculaire où l'acteur semble jouer avec les objets virtuels comme s'il dirigeait un orchestre, c'était une demande de Steven Spielberg qu'Underkoffler a adapté à l'écran grâce à un language signé capable d'interagir avec un ordinateur et de contrôler le flux d'information.

Mais en réalité et le mot est approprié, comment peut-on trouver naturel de demander une information en appuyant sur un objet affiché sur un écran ou d'appuyer son doigt sur une surface tout en le déplaçant pour l'agrandir ou faire tourner un document, plus encore quand il s'agit de la représentation d'un objet 3D ?

En effet, il existe une façon bien plus naturelle et plus proche de la manière dont nous manipulons des objets dans l'espace pour appréhender des objets virtuels, y compris en trois dimensions. L'être humain a l'avantage d'avoir des mains et des doigts articulés pour ressentir les textures et la pression des objets qu'il touche. 

A l'heure actuelle à part les prototypes de peau électronique ou e-skins et les capteurs sensoriels (capteurs IMES myoélectriques) et sensitifs (propriocepteurs) aucune interface ne peut reproduire ces sensations qui impliquent des rétroactions haptiques (concernant le touché et la kinesthésie) et l'influence de la pensée sur les objets.

Car ne nous méprenons pas. L'inconvénient du cinéma est que nous pensons parfois que toutes ces démonstrations de haute technologie font partie de l'arsenal mis disposition de quelques agences d'experts. Cela a l'air si réel ! Mais il ne faut pas croire tout ce qu'on voit au cinéma ou sur Internet !

Prenons l'exemple des interfaces multipoints et flottants de Iron Man 2, Total Recall, et Tron qui sont devenus dans la culture populaire synonyme de notre vision du futur. Ces films usent et abusent d'images de synthèse, de graphiques vectoriels et de trucages de toutes sortes. Ces soi-disant interfaces graphiques tactiles et autres objets 3D animés ont été réalisés avec... des logiciels de dessin et d'animation : After Effects, Maya, MoGraph, Cinema 4D, Illustrator, Photoshop et autre Vegas Pro ! Dans tous ces films, tous les écrans de réalité virtuelle et augmentée sont fabriqués et statiques; ce sont des images que ces applications ont permis d'animer et qui furent ensuite incrustées dans les séquences filmées. C'est la même technique de dessin ou d'animation que celle utilisée pour illustrer une explosion ou la plongée dans un trou noir. Bref, c'est du cinéma !

Comme le dit le designer et critique Bret Victor - à qui nous devons l'interface utilisateur de l'iPad et de l'iPod parmi d'autres concepts graphiques -, c'est de la technologie "image-sous-verre" archaïque qui n'a pas fondamentalement changé depuis les plaques photographiques des frères Lumière et des truquages de Georges Méliès ! Si c'est ça le futur, il est déjà démodé...

En fait, si ces interfaces futuristes paraissent belles et performantes, en réalité elles ne fonctionnent pas ! C'est la raison pour laquelle les réalisateurs font appel aux truquages cinématographiques pour leur donner vie ! En effet, si Jeff Han avait voulu inventer un système d'accès à un voiture par exemple, il aurait mis au point un système impliquant un geste secret à tracer sur la fenêtre de l'automobile au lieu du système keyless que vous gardez en poche et qui déverrouille la voiture dès que vous vous trouverez à portée de main.

En attendant que ces interfaces voient le jour, téléchargez l'application de reconnaissance vocale J.A.R.V.I.S. ci-dessous et en option utilisez-la depuis votre iPod comme indiqué dans la vidéo.

A voir : #2Rise Futuristic Interactive Applications

Logiciel à télécharger : J.A.R.V.I.S. Interface (+ vidéo)

Les acteurs placés en incrustation devant les décors graphiques constitués d'images de synthèse donnant l'illusion qu'il s'agit d'un environnement de réalité virtuelle et augmentée de "Iron Man 2" (au-dessus) et "Oblivion" (en dessus). Les acteurs doivent apprendre à concilier leur performance artistique aux contraintes d'un décor virtuel. Documents Motionographer et GMunk.

Mais il arrivera bien un jour où les producteurs de films n'auront plus besoin d'ordinateurs graphiques pour orchestrer la gestuelle des acteurs car nous aurons trouvé une méthode naturelle pour utiliser ces appareils high-tech.

Mais dans les articles les plus avancés du DARPA, du MIT Media Lab ou de BBC Future, il n'y a encore rien de plus futuriste que des capteurs lasers et des détecteurs de mouvement reliés à des ordinateurs, des lunettes à réalité virtuelle et augmentée et des supports tactiles plus ou moins souples et minces voire dynamiques. Si nous voulons qu'un jour notre ordinateur ou notre téléphone nous informe sans même que nous ayons besoin de le déverrouiller ou d'interagir avec lui, il reste encore un immense chemin à parcourir avant de réunir ces deux réalités, celle que nous vivons à travers nos sens et le monde virtuel.

A voir : Amazing Technology Invented By MIT Media Lab

Au MIT Media Lab, le Tangible Media Group croit à l'informatique tactile (2013)

7. L'ordinateur optique

En 2006, Intel annonça qu'ils avaient développé avec l'Université de Californie à Santa Barbara (UCSB) une nouvelle technologie pour intégrer des lasers au phosphure d'indium (InP) dans des éléments semi-conducteurs au silicium optoélectroniques.

L'InP est déjà utilisé depuis quelques années dans la fabrication de LED et autres photodiodes équipant les systèmes de télécommunications FTTH à fibre optique.

En 2007, Intel annonça qu'ils avaient établit une transmission photonique à 50 Gbps (gigabits/s) entre deux chips et que sa technologie serait commercialisée en 2010.

Intel envisage à présent de porter le débit à 1 Tbps en utilisant jusqu'à 25 modulateurs offrant chacun une vitesse de 40 Gbps.

Il semblerait qu'Apple ait été impliqué dans ce projet dès 2007 voire qu'il aurait même proposé l'idée à Intel. Mais l'information n'est pas confirmée.

Dans tous les cas, on n'est donc pas étonné d'apprendre qu'en 2011, Apple proposa trois modèles de MacBook Pro (13", 15" et 17") équipés d'un port Thunderbolt tirant profit de la technologie Light Peak. Sa vitesse de transfert atteint 10 Gbps (contre 5 Gbps pour l'USB 3.0). Grâce à cette technologie, on peut par exemple transférer les 50 GB d'un disque Blu-Ray double-couche en 40 secondes !

La technologie développée par Intel est basée sur une nouvelle fibre optique baptisée "Light Peak" qui permet d'échanger des données entre processeurs et entre ordinateurs à très haut débit.

Techniquement parlant, les données binaires entrant dans le processeur habituellement sous forme de signaux électriques sont converties en ondes lumineuses grâce à quatre modules laser hybrides reliés chacun à un modulateur optique - le même que celui utilisé dans les contrôleurs des réseaux en fibre optique - qui encodent les données à une vitesse de 12.5 Gbps dans un module de multiplexage appelé Mux. Ces données sont ensuite acheminées par fibre optique au récepteur qui effectue l'opérations inverse  : le faisceau lumineux est séparé en quatre canaux grâce à un démultiplexeur (deMux) et sont ensuite dirigés vers un photodétecteur où ils sont convertis en signaux électriques exploitables par les composants traditionnels d'un autre contrôleur.

A voir : IBM Advances the Use of Light Instead of Wires for Chips

Holey Optochip Transfers One Trillion Bits of Information, IBM, 2012

Le dispositif "Ligh Peak" à fibre optique présenté par Intel en 2007 et son schéma technique. IBM propose un système équivalent. Cette technologie est aujourd'hui exploitée dans les ordinateurs domestiques de dernière génération.

En décembre 2007, IBM annonça avoir réalisé la même performance grâce à un guide d'onde nanophotonique en silicium. L'exploit, publié dans le journal Optics Express en novembre 2013, ne représente pas tout le dispositif nécessaire pour transporter le flux lumineux dans le processeur, IBM n'étant encore qu'au début de ce projet.

En terme de consommation d'énergie, IBM étude le moyen de réduire la puissance nécessaire aux modulateurs de quelques centaines de milliwatts à 50 milliwatts sinon moins.

Les bénéfices potentiels de cette technologie pour les fabricants de processeurs et d'ordinateurs sont énormes. Aujourd'hui, les communications entre les coeurs de processeurs, la mémoire et les entrées-sorties sont assurées par des circuits intégrés à semi-conducteurs ou par des bus en fils de cuivre qui transmettent des impulsions électriques.

Intel et IBM espèrent un jour remplacer les lignes de communication allant de l'entrée jusqu'à la sortie de l'ordinateur en passant par le processeur et la mémoire par un guide d'onde de silicium nanophotonique. La différence est que la lumière transporte beaucoup plus de données qu'un fil de cuivre dans le même temps et les transmet 100 fois plus vite en consommant 10 fois moins d'énergie.

Selon Justin Rattner, directeur technologique (CTO) chez Intel, "Cette percée que représente la première liaison photonique au silicium à 50 Gbps marque un progrès important dans nos perspectives à long terme de siliconiser la photonique et de faire profiter les futurs ordinateurs, serveurs et terminaux grand public de communications optiques à faible coût".

Pour les entreprises, cela signifie qu'elles pourront utiliser des ordinateurs plus petits mais qui seront beaucoup plus rapides que les machines actuelles et qui dégageront beaucoup moins de chaleur.

Pour le consommateur, disposer de la puissance d'un superordinateur dans un appareil portable est très pratique pour gérer toutes les tâches routinières mais également pour prendre en charge des traitements qui sont aujourd'hui poussifs sur les systèmes actuels.

A terme, Intel et IBM envisagent d'installer des centaines de milliers de coeurs de processeurs dans une seule puce de silicium. La taille du modulateur est donc essentielle. Actuellement le dispositif est 100 à 1000 fois plus petit que le précédent modèle fabriqué en laboratoire.

Mais le plus grand défi sera finalement de fabriquer ces processeurs de lumière. Tout le matériel actuel utilisé en informatique a évolué depuis plusieurs décennies autour du cuivre. L'introduction de la technologie optique qui a déjà commencé il y a quelques années avec l'invention du transistor optique, signifie de nouveaux équipements et une toute nouvelle chaîne de production. Une telle transformation prendra du temps et c'est peut-être le principal défi à surmonter.

William Green, responsable scientifique du projet de processeur nanophotonique chez IBM envisage la production de ce nouveau type de processeur vers 2020. Ce n'est donc même plus franchement le futur, mais pour demain.

Prochain chapitre

8. L'ordinateur quantique

Page 1 - 2 - 3 -


Back to:

HOME

Copyright & FAQ