Zoom sur le projet ASTRAL II

Le projet Astral II, porté par Clarté, en partenariat avec l’Ecole Centrale de Nantes, l’IMT Atlantique – Labsticc, et l’INRIA-Hybrid. Les avatars constituent aujourd’hui la méthode la plus répandue pour représenter une personne dans une expérience immersive. ASTRAL s’intéresse à leur exploitation en réalité augmentée, tant du point de vue de leur implémentation que de leur impact sur la perception et le comportement de leurs utilisateurs. Il a été labellisé par le pôle de compétitivité Images & Réseaux, dans le cadre de l’AAP Générique ANR 2023.

En quoi consiste le projet ?

Le projet ASTRAL, pour Augmented Self: TowaRds Effective Avatars in Augmented ReaLity, vise à concevoir et étudier des avatars en réalité augmentée (AR) en se concentrant à la fois sur leur mise en œuvre technique et leur impact psychologique. Sélectionné pour financement par l’ANR à l’issue de l’AAPG 2023, il explore comment incarner des avatars virtuels tout en évoluant dans des environnements réels.

L’un des principaux objectifs du projet est d’identifier des techniques permettant de mettre en œuvre ces avatars, en se concentrant en particulier sur certains défis scientifiques et techniques tels que l’effacement du corps physique de l’utilisateur grâce à des techniques de “réalité diminuée” pour ensuite le remplacer par un avatar numérique, ou la gestion des différences morphologiques entre le corps réel de l’utilisateur et son avatar.

Un autre axe d’étude porte sur la manière dont les utilisateurs interagissent avec des objets réels et virtuels via leurs avatars. L’enjeu est d’optimiser ces interactions en tenant compte des limitations sensorielles et physiques, afin que les gestes effectués par l’utilisateur, incarné dans son avatar, restent précis et efficaces.

Enfin, le projet s’intéresse à la perception des avatars par les utilisateurs, avec une attention particulière au Sense of Embodiment (sens d’incarnation), qui évalue à quel point l’utilisateur se sent relié à son avatar virtuel. Le projet ambitionne aussi d’étudier l’existence d’un potentiel effet Proteus en AR, où l’apparence de l’avatar semble pouvoir influencer les comportements et les capacités des utilisateurs. Ce phénomène pourrait avoir des applications dans des domaines tels que la rééducation, où un avatar AR pourrait aider à accélérer la récupération des fonctions motrices, ou encore dans le sport, où un avatar inspiré d’un athlète performant pourrait augmenter la confiance en soi, voire améliorer les performances d’un individu.

Quels sont les verrous que vous allez lever pendant le projet ?

Durant le projet ASTRAL, plusieurs verrous scientifiques et techniques seront levés pour permettre la conception d’avatars efficaces en réalité augmentée (AR).

Le premier défi majeur concerne le remplacement du corps physique de l’utilisateur par un avatar en temps réel. Ce processus nécessite de trouver des solutions à des problèmes complexes tels que l’identification des zones à faire disparaitre (segmentation de l’utilisateur), la génération du contenu à afficher à cet endroit pour donner l’impression de transparence du corps, et la gestion des différences morphologiques entre l’avatar et le corps réel, surtout lors d’interactions avec l’environnement. L’extension des ces techniques à des dispositifs Optical See-Through (lunettes avec des verres transparents permettant une vision directe de l’environnement extérieur, contrairement aux dispositifs dits Video See-Through, où l’environnement extérieur est filmé par des caméras puis restitué sur les écrans d’un casque immersif) présente en soi un défi encore plus grand.

Le deuxième défi porte sur l’interaction entre l’utilisateur et les objets réels et virtuels via l’avatar. En réalité augmentée, la superposition des mondes réel et virtuel complique la perception et la manipulation d’objets. Offrir de telles capacités d’interaction nécessite en particulier de lever certains verrous liés aux conflits perceptuels introduits par cette situation, notamment visuels, proprioceptifs et haptique, qui peuvent altérer la qualité de l’interaction. Le projet devra proposer des méthodes innovantes pour optimiser l’interaction tout en prenant en compte ces limitations.

Un troisième verrou réside dans la perception et l’impact de l’avatar sur l’utilisateur. Il est crucial de comprendre si les utilisateurs peuvent se sentir véritablement incarnés dans leur avatar en AR, un domaine encore peu exploré comparé à la réalité virtuelle (VR). Le projet devra étudier l’impact des limitations techniques (comme le décalage entre les mouvements réels et ceux mesurés et reproduits par l’avatar, ou l’imperfection du remplacement du corps) sur le Sense of Embodiment. Il devra également lever les verrous liés à l’effet Proteus en AR, pour évaluer si les avatars peuvent influencer de manière significative le comportement, la confiance en soi ou les compétences des utilisateurs dans des environnements réels.

En résumé, ASTRAL ambitionne de lever des verrous liés à la disparition du corps physique en AR, à l’interaction efficace avec des objets réels et virtuels, et à l’incarnation perceptuelle des avatars, tout en ouvrant la voie à des applications innovantes dans des domaines comme la rééducation ou le sport​.

Quel est le rôle de chaque partenaire ?

Dans le projet ASTRAL, chaque partenaire joue un rôle spécifique en fonction de son expertise, contribuant à différents aspects de la recherche, du développement et de l’évaluation des avatars en réalité augmentée.

Le rôle de CLARTE, centre technique spécialisé en réalité virtuelle et augmentée, dans le projet est double : d’une part, il assure la coordination globale du projet, et d’autre part il contribue au développement de la plateforme technique du projet. CLARTE est également responsable de l’implémentation des cas d’usage sélectionnés dans le projet.

L’École Centrale de Nantes (ECN) joue un rôle central dans l’évaluation des avatars AR, en particulier sur le Sense of Embodiment (sens d’incarnation) et l’effet Proteus. ECN dirige les travaux centrés sur la perception et l’impact psychologique des avatars, et contribue à l’évaluation des bénéfices des résultats du projet sur les cas d’usage.

L’IMT Atlantique apporte son expertise en vision par ordinateur et en rendu graphique pour le développement des avatars. IMT Atlantique concentre ses travaux sur la création des avatars, en particulier sur les aspects techniques liés à l’effacement du corps de l’utilisateur et au rendu des avatars dans des environnements de réalité augmentée. Son travail inclut la résolution des défis posés par les dispositifs de réalité augmentée VST et OST, en développant des techniques visuelles innovantes pour l’affichage des avatars.

L’Inria est responsable de l’étude de l’interaction entre les utilisateurs et les objets réels ou virtuels via les avatars. Inria se concentre sur la conception de méthodes d’interaction adaptées à l’AR et sur l’intégration d’un retour multi-sensoriel, comme le retour haptique. En plus de son expertise sur l’interaction, Inria est en charge de la dissémination des résultats du projet, incluant l’organisation d’ateliers internationaux et la supervision de la publication des résultats dans des conférences et journaux scientifiques.

Chaque partenaire apporte donc une contribution clé dans le cadre de ce projet multidisciplinaire, combinant des aspects techniques, psychologiques et applicatifs pour faire avancer l’état de l’art sur les avatars en réalité augmentée

Aujourd’hui, où en est le projet ?

Le projet ASTRAL en est encore au début des travaux scientifiques. Deux doctorantes, Juri Yoneyama à l’Inria et Adriana Galan Villamarin à l’ECN, viennent de rejoindre l’équipe et commencent à prendre le sujet en main d’un point de vue scientifique. Les travaux techniques lancés consistent à expérimenter de nouveaux media de réalité augmentée ; en d’autres termes, le développement de nouveaux moyens de représenter l’environnement réel autour de l’utilisateur. Des travaux de spécification des cas d’usages sont également en cours en étroite collaboration avec nos partenaires du CHU de Rennes et le CREPS des Pays de la Loire.

Votre projet a été labellisé par Images & Réseaux, quelles sont les valeurs ajoutées d’un Pôle tels que I&R ?

Le Pôle I&R nous a offert la possibilité de tester notre projet avant sa soumission à l’AAPG de l’ANR. Les forces, les faiblesses, les pistes d’amélioration, ont été identifiées, nous permettant ainsi de présenter un dossier solide et être retenus pour financement des travaux.

Pendant le projet, le Pôle nous apporte également un support en termes de visibilité et un relais de nos avancées auprès d’un public plus large. Il contribue ainsi à la valorisation d’ASTRAL.