Signcom : l'interactivite en langue des signes

Retour au blog

L'image est un support naturel pour la langue des signes. On commence d'ailleurs à voir, dans les aéroports et autres lieux publics, des bornes d'information, à base de messages enregistrés, destinées à guider les sourds et malentendants.

Le projet Signcom va bien plus loin. Il ambitionne d'établir une véritable conversation en langue des signes entre une personne réelle et un agent virtuel. Sylvie Gibet, professeur à l'Université de Bretagne-Sud et coordinatrice du projet, en décrit le principe. "Avec Signcom, la communication fonctionne dans les deux sens. Il nous faut donc agir sur trois plans : la reconnaissance des signes émis par une personne réelle, l'interaction chargée de fournir une réponse en fonction du contexte, et la synthèse gestuelle permettant à un agent virtuel de signer la réponse."

Avatar communiquant en langue des signes

L'avatar est capable de signer la réponse de manière fluide et compréhensible

.

Le projet se focalise sur la LSF, la langue des signes française (*). C'est une langue complexe qui tient compte d'une multitude de paramètres : la forme des mains, leur emplacement, leurs mouvements, les expressions du visage, la direction du regard, les postures du corps, etc. "Les deux personnes qui dialoguent," précise Sylvie Gibet, "construisent au fur et à mesure un espace de narration dans lequel elles positionnent des éléments, par exemple des personnages ou des objets. Ce qui leur permet ensuite d'utiliser ces éléments dans le discours en désignant leur position."

Les partenaires ciblent deux applications principales. La première est une application de laboratoire utilisant les moyens de la salle de réalité virtuelle de l'IRISA – système de capteurs, caméras infrarouges et gants de données - afin de tester diverses situations de dialogue en temps réel. La seconde est une application de borne interactive utilisant des moyens limités à une ou deux caméras pour parvenir au même résultat. "Pour cette deuxième application, plusieurs briques de base fonctionnent. Mais il reste du chemin à parcourir pour parvenir à un produit fini. Les gestes sont très rapides et précis, et il est particulièrement difficile de reconnaître la configuration des mains avec une simple caméra."

Côté animation de l'avatar, les résultats obtenus sont très prometteurs. "Par rapport à ce qui se fait ailleurs, nous réussissons à synthétiser des gestes très réalistes et très fluides, et des expressions faciales particulièrement signifiantes. Nous avons constitué une base de données de mouvements enregistrés qui permettent de les combiner et de produire de nouveaux énoncés. L'intérêt d'utiliser un avatar, c'est qu'on peut le programmer."

Le projet n'est pas encore terminé – fin prévue en décembre 2011 – que déjà Sylvie Gibet espère une suite. "Nous commençons à obtenir des outils vraiment opérationnels. J'aimerais que l'on aille plus loin dans la valorisation, par exemple dans la mise en œuvre de bornes interactives dans les lieux publics. Ce serait une excellente vitrine pour nos travaux."

Dans la salle de réalité virtuelle de l'IRISA

.

Plus sur le projet et les partenaires sur le site du projet Signcom.

(*) Note : de la même façon qu'il existe plusieurs langues orales, il existe plusieurs langues des signes, chacune ayant ses règles et son vocabulaire. La langue des signes française est l'une d'elles.

Retour au blog

Ajouter un commentaire