Thème IRMTC

Interaction en Réalité Mixte et Travail Collaboratif

Objectif du thème :

L’objectif scientifique du thème « Interaction en Réalité Mixte et Travail Collaboratif» est l'étude et la mise en œuvre de nouveaux modèles et techniques logicielles pour l'assistance à l'interaction et à la collaboration dans des environnements de réalité virtuelle et augmentée utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot en réalité augmentée et des systèmes de Travail Collaboratifs) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Les activités de recherche se situent au niveau de la modélisation, de la conception et de l'évaluation par des expérimentations en situation réelle des modèles et des techniques logicielles proposées. Les recherches ont consisté à étudier à la fois deux axes de recherche complémentaires qui sont l’Interaction en Réalité Mixte (Réalité Virtuelle et Augmentée) et le Travail Collaboratif (TC). Le paragraphe ci-dessous précise les axes abordés, les verrous et les méthodes/approches utilisées dans chaque axe.

1) Interaction en Réalité Mixte (IRM) :

Dans l’axe IRM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels. Dans cet axe de recherche, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace, naturelle et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte.

Verrous : Latence de l'interaction homme-système ; Performance et de crédibilité des techniques d'interaction 3D vis à vis de la tâche ; Adaptabilité de l'interaction 3D vis à vis des interfaces de réalité virtuelle et du contexte de la tâche (interaction sensible au contexte).

Méthodes/approches : Les mécanismes de guides virtuels actifs pour l’assistance à l’interaction 3D Homme-Système ; La boucle PCA (Perception-Cognition-Action) ; Les méthodes de traitement de données multi-capteurs pour l’interaction 3D adaptative ; La multimodalité (audio, vidéo et haptique) et la substitution sensorielle pour améliorer les performances (précision, sécurité et rapidité) des tâches d’interaction 3D ; Les techniques d’intelligence artificielle pour la représentation des connaissances et le raisonnement automatique pour la prise en compte du contexte.

2) Travail collaboratif (TC) :

Dans l’axe TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Dans cet axe de recherche, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et Co-production).

Verrous : Malléabilité des systèmes interactifs et collaboratifs ; Coordination des interactions du groupe (interaction collaborative) dans les EVCs (Environnements Virtuels Collaboratifs) ; Conscience de l’interaction du groupe (group awareness).

Méthodes/approches : Les Systèmes multi-agents (SMA) et les modèles d’architecture logicielle pour la conception des systèmes collaboratifs ; Les Services Web (WS) pour la composition et l’intégration de services pour l’interaction et la collaboration homme-système et système-système ; le modèle 3C des collecticiels (Communication, Coordination et Coopération/Co-porduction) pour la conception des systèmes collaboratifs ; Les modèles de présence et de gestion de l’activité du groupe (workflow) pour l’assistance à l’interaction 3D collaborative en réalité virtuelle. La multimodalité (audio, vidéo et haptique) et la substitution sensorielle pour améliorer les performances des interactions collaboratives.

Remarque :

Ces recherches menées conjointement dans chacun des deux axes ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs.

L'ensemble de ces travaux ont donné lieu à plusieurs publications et livrables des projets de recherche : ANR RIAM DigitalOcean 2006-2009, Européen FP6 VENUS 2006-2009, Européen FP7 RSME DigitalOcean 2011-2012.

Recherches en cours ...

Vers l’immersion mobile et collaborative : interaction naturelle, collaboration et l’immersion mobile

Les travaux en cours sur la thématique « Interaction en Réalité Mixte et Travail Collaboratif) ont pour objectif de répondre aux nouveaux défis des NUIs (Natural User Interfaces) et de l’immersion mobile. Ces nouveaux concepts émergeants des recherches en réalité virtuelle/augmentée et de l’Interface Homme Machine combinent ainsi les technologies des réalités augmentée et virtuelle avec des dispositifs mobiles de plus en plus puissants et légers. De nombreuses questions sont posées : Comment peut-on immerger un utilisateur dans un monde de réalité mixte tout en garantissant sa mobilité ? Comment maintenir la cohérence sensorielle entre l’action d’un utilisateur dans son environnement réel et la réaction du système dans un environnement de réalité mixte/augmentée ? L’immersion mobile va permettre aux utilisateurs de passer d’un mode de communication purement physique vers un mode de communication, d‘interaction et de collaboration en réalité mixte/augmentée. Les interactions hommes-systèmes seront alors naturelles et les augmentations deviendront omniprésentes.

Les interfaces naturelles sont très diverses et leur déploiement dans les applications de réalité virtuelle, augmentée et mixtes, commence à peine à se généraliser. De la même façon, l'évolution rapide des technologies matérielles et logicielles a conduit à la prolifération de ce type d'interfaces, sans laisser place au travail de conception.

Nous nous focaliserons sur le développement :

Des techniques d’interaction naturelles dans le sens des NUIs : Sensibilité aux contexte et aux commandes naturelles, facilité d’utilisation et d’apprentissage, interaction directe, restitution naturelle et temps réelle et transparence de la frontière réelle/virtuelle.
Des formalismes et des outils d’aide à la décision pour la conception des NUIs.
Des méthodes d’évaluation des interactions naturelles homme(s)-système(s).
Des modèles et architectures logicielles pour la conception des collecticiels basés RA mobiles et malléables.