Domaine d’action stratégique “Interactions, immersions, réalités mixtes”

Enjeux stratégiques

Dans les domaines liés aux environnements virtuels, les enjeux actuels sont l’interaction, la multi-modalité, la relation entre le réel et le virtuel (réalité augmentée) et le  collaboratif. Une modalité  telle que le BCI (interface cerveau ordinateur), en donnant accès à des informations de nature profondément inhabituelle lors d’une interaction (état émotionnel, état de stress,…) est de nature à bouleverser les types actuels d’interaction et les modalités d’échanges. La généralisation de la modalité à la multi-modalité consiste à solliciter, de manière couplée, l’ensemble des sens de l’utilisateur dans une action d’interaction avec un environnement virtuel ou avec une hybridation d’environnement réel et virtuel. L’intégration fine dans un même espace d’interaction d’éléments réels et virtuels (réalités mixtes) ouvre des perspectives applicatives fortement accrues par la mobilité. Le besoin d’accès distants (coût énergétique des déplacements, accès à des expertises rares, …) fait que l’interaction collaborative distante va devenir primordiale, tant dans le domaine professionnel (bureau d’étude, médecine, serious game…) que dans le domaine grand public (jeux, communication, tourisme,…). L’exploitation rationnelle de l’interaction avec les environnements virtuels pose de manière récurrente la question de la fidélité objective et de la fidélité fonctionnelle de l’environnement virtuel. Il reste bien entendu les aspects technologiques qu’il faut nécessairement considérer. L’immersion, visuelle, sonore et haptique, coûte de moins en moins cher et continue de progresser en qualité.

Une caractéristique forte de ce sujet est que sur le territoire il se décline en activité scientifiques (laboratoires) et techniques (industrielles) mais aussi en plateaux expérimentaux de haut de gamme permettant notamment des interactions immersives co-localisées à l’échelle 1. De son côté, l’IRT B-Com a prévu de développer des plateaux techniques dédiés.

Pour répondre aux enjeux, des grands thèmes ont été structuré en accord avec les besoins d’innovations identifiés.

• Interfaces qui conduisent à des  protocoles expérimentaux dans le domaine des SHS. La rupture portée par les interfaces de l’invisible appelle des recherches en SHS sur les conditions de mise en débat de cette nouvelle génération technologique (quels espaces publics, quelles gouvernances, …), et sur les dispositifs sociaux techniques susceptibles d’accompagner leur diffusion dans une perspective de maîtrise collective et de prévention d’une « société de la surveillance »
• Enrichissement des modalités d’interaction : nouvelles modalités et/ou combinaisons innovantes de modalités d’interaction, être capable de traiter la proprioception  en plus des cinq sens habituels
• Interactions entre un/des humain(s) réel(s) et un/des humain(s) virtuel(s) : amélioration de l’aspect, du comportement, des capacités émotionnelles et relationnelles de cet « objet interactif »
• Etudes sur les conséquences en terme de changements sociétaux, d’éthique et d’identité, de l’usage des humains virtuels 

• Accroissement des performances des solutions permettant de gérer la cohérence des données, la synchronisation, l’accès concurrent aux données  et l’intégration dans des middlewares
• Production d’applications interactives innovantes à fort potentiel de déploiement (bas coûts) – court terme
• Augmentation du réalisme qualitatif et/ou fonctionnel des environnements virtuels et de l’interaction, algorithmes de calcul des restitutions sensorielles (synthèse d’image réaliste et temps réel des phénomènes physiques complexes de la propagation des ondes électromagnétiques dans le spectre visible, modèles physiques de l’environnement et  des matériaux : solide rigide, solide déformable, liquide, gaz) 
• Accroissement des performances concernant les techniques de mélange du réel et du virtuel, capture et recalage en particulier en environnement extérieur urbain ou naturel
• Traitement des commandes mentales (BCI) et gestion des retours permettant un contrôle fin de l’interaction – moyen terme
• Capacité d’associer géométrie et sémantique portée par les objets pour augmenter fonctionnellement l’interaction de l’usager avec ces objets virtuels dans le domaine industriel

Mots clefs : virtuel, réel, immersion, réalité mixte, interactions, multi-modalité, hybridation, gaming, jeux vidéo, e-tourisme, environnement virtuel, visuelle, sonore, haptique,SHS, Design, synchronisation, middleware, objet interactif, …