MOVIOLIA : Optimiser le Montage Vidéo et Libérer la Créativité avec l’IA

Le projet Moviolia, est porté Ektacom, en partenariat avec l’IMT Atlantique-Labsticc et Tydeo.

Le projet MOVIOLIA vise à révolutionner le montage vidéo en réduisant considérablement le temps nécessaire grâce à l’utilisation de l’intelligence artificielle (IA). L’objectif est de libérer les monteurs des tâches répétitives et techniques, afin qu’ils puissent se concentrer sur des aspects plus créatifs et stratégiques du processus.

Ce projet a été labellisé par le pôle de compétitivité Images & Réseaux, dans le cadre de l’édition 2024 de l’AAP PME des Pôles Images & Réseaux et TES.

En quoi consiste le projet ?

Le projet MOVIOLIA a pour objectif principal de réduire de manière drastique le temps de montage des vidéos grâce à l’introduction de solutions basées sur l’intelligence artificielle (IA). Ceci permettra aux monteurs de vidéos de se focaliser sur les tâches à plus forte valeur ajoutée, en particulier sur l’aspect créativité, tout en offrant plus de réactivité dans la livraison des projets, et plus de qualité.

Quels sont les verrous que vous allez lever pendant le projet ?

Le montage vidéo automatisé par les outils d’intelligence artificielle a connu des avancées significatives ces dernières années, révolutionnant la manière dont les vidéos sont créées et éditées. Ces technologies émergentes reposent sur des algorithmes sophistiqués capables de comprendre, d’analyser et d’agencer automatiquement le contenu vidéo, offrant ainsi une alternative rapide et efficace au montage manuel traditionnel.

Ces outils reposent sur des algorithmes :

• de reconnaissance d’objets et de scènes : Cette capacité permet de trier et de classifier automatiquement le contenu, facilitant ainsi le processus de sélection des clips les plus pertinents.
• d’analyse sémantique : L’analyse sémantique des vidéos par des algorithmes d’IA permet de comprendre le contexte et le contenu émotionnel des scènes. Cela permet d’ajuster automatiquement le ton, le rythme et les transitions pour créer une narration cohérente et engageante.
• de traitement du langage naturel (NLP) : L’intégration du traitement du langage naturel permet aux systèmes de montage de comprendre les dialogues et les commentaires audio. Cela facilite l’alignement automatique des séquences vidéo avec des transcriptions textuelles, améliorant ainsi la synchronisation des éléments sonores et visuels.
• de personnalisation : Certains systèmes intègrent des outils de personnalisation permettant aux utilisateurs de définir leurs préférences de montage.

Les méthodes IA existantes de l’état de l’art du montage vidéo ne permettent pas de tenir compte de exigences client fournies sous forme textuelle (ce texte client est appelé un “brief”). MOVIOLIA souhaite exploiter les progrès récents des modèles de langage (LLM) pour traiter ce problème.

MOVIOLIA ambitionne d’innover en développant de nouvelles solutions permettant :

• la compréhension détaillée du brief textuel des clients grâce aux modèles de langage
• la sélection automatique (appelée dérushage) par IA multimodale exploitant la compréhension du brief
• l’incorporation du savoir-faire / de la « patte » de l’entreprise réalisant les montages (Tydéo dans ce projet) en se basant sur le corpus existant de vidéos de l’entreprise de montage.

Quel est le rôle de chaque partenaire ?

Le consortium du projet est constitué de trois partenaires : 2 industriels (Ektacom et Tydéo) et 1 académique (IMT Atlantique).

Ektacom, responsable du projet, est spécialisée dans le développement et l’intégration de solutions vidéo numériques depuis 2000. Historiquement lié au monde du broadcast (solutions pour les chaînes TV, numérisation automatique pour l’INA, streaming et VoD pour le Parlement Européen ou le Ministère des Finances français), EKTACOM propose depuis 2015 la gamme NOMADE, permettant la transmission vidéo en direct en condition difficile. Cette solution reconnue est maintenant exploitée dans les plus grandes courses au large, entre autres le Vendée Globe, la Transat Jacques Vabre, la Route du Rhum, le Trophée Jules Vernes, la Brest Atlantique. EKTACOM maîtrise la chaîne vidéo depuis l’acquisition, la compression, l’analyse embarquée ou déportée, la transmission, le stockage et la diffusion vers tout type de plateforme, dont les chaînes de TV et réseaux sociaux. Dans ce projet EKTACOM abordera les problématiques d’extraction d’information sémantique par IA, ce qui permettra ensuite, à l’aide d’autre solutions basées IA, de sélectionner les parties des vidéos pertinentes conformément aux instructions du client présentes dans le brief.

Le deuxième partenaire industriel, Tydéo, possède une forte expertise dans la production de vidéos impactantes dédiées aux communicants. L’ambition de Tydéo est d’aider ses clients à produire de manière simple, agile et durable leurs contenus vidéo. Le positionnement de Tydéo est d’être un interlocuteur connecté à ses utilisateurs, fiable dans la durée et réactif pour toutes les organisations qui veulent intégrer la vidéo à leur stratégie de communication. Tydéo a intégré en 2023 pour deux ans l’accélérateur BOOSTER Bretagne (BPI, Région Bretagne, 7 technopoles) afin de structurer et d’accélérer le développement de ses innovations et de sa croissance. L’entreprise est certifiée ISO 9001 pour garantir un service de qualité et l’amélioration continue de la satisfaction de ses clients. Plus de 1500 clients, PME, organisations, grands comptes en France et à l’international ont déjà fait confiance à Tydéo pour leurs vidéos.

IMT Atlantique, partenaire académique, est une grande école d’ingénieurs basée sur les trois campus de Brest, Rennes et Nantes. IMT Atlantique a pour ambition de conjuguer le numérique, l’énergie et l’environnement pour transformer la société et l’industrie par la formation, la recherche et l’innovation. L’École s’appuie sur son excellence en recherche dans ses domaines phares et en couplant les domaines scientifiques pour répondre aux défis de demain : énergie et numérique, cybersécurité, santé et numérique, environnement et numérique, industrie du futur, nucléaire et interactions. L’équipe de recherche impliquée dans le projet est l’équipe BRAIn (Better Representations for Artificial Intelligence), qui mène des recherches fondamentales et appliquées en IA.

En quoi ce projet intègre-t-il une dimension Numérique Responsable ?

Le projet MOVIOLIA inclut un volet d’optimisation de la complexité des solutions d’IA mises au point. Cette démarche ne vise pas qu’à réduire le coût d’exploitation de la solution mise au point, mais elle vise également à réduire les ressources matérielles requises et la consommation électrique de la solution. En allégeant les réseaux de neurones, souvent gourmands en énergie, MOVIOLIA cherche à améliorer l’efficacité et la durabilité des solutions d’IA tout en maintenant leurs performances.

Aujourd’hui, où en est le projet ? Quelles sont les prochaines étapes ?

Le projet vient de démarrer. Même si les spécifications sont toujours en cours, la préparation des corpus d’apprentissage a déjà démarré et les premiers tests de solutions IA ont pu être effectués. Trois versions de démonstrateurs sont planifiées.

D’ici la fin de l’année, l’objectif est d’avoir un premier démonstrateur qui s’appuiera en majorité sur les outils de prétraitement, donc davantage centré sur la compréhension du brief et le dérushage, avec une première proposition de montage selon les avancées.

Un second démonstrateur intégrera une solution couvrant l’ensemble des outils du projet, avec des apprentissages perfectibles mais qui permettront une évaluation complète du gain de temps potentiel pour un monteur professionnel.

Le démonstrateur final sera l’aboutissement du projet, intégrant l’ensemble des résultats, et servira à l’évaluation de l’apport de la solution selon deux axes : un axe qualitatif (i.e. la solution permet-elle de générer un bout-à-bout exploitable par le monteur ?) et un axe quantitatif (i.e. le temps du traitement de l’IA est-il inférieur à celui d’un monteur humain ? et quelle est la réduction du temps de montage ?).

Votre projet a été labellisé par Images & Réseaux, quelles sont les valeurs ajoutées d’un Pôle tels que I&R ?

L’idée de ce projet est ancienne. Sa maturation a pris du temps mais grâce au support du pôle I&R, les financements appropriés ont pu être trouvés. I&R nous a également accompagné dans la préparation, la remise du dossier et la présentation à la Région Bretagne.

En savoir plus sur le projet MOVIOLIA :  https://youtu.be/m7yygB8ugpA