Titre: Étude des interactions haptiques avec un avatar virtuel

Mots clefs

Réalité Virtuelle, Communication haptique, Simulation temps réel, Contact physique, formation professionnelle.

Direction des travaux

• Directeur de thèse : Grégory TURBELIN, HDR, LMEE/Université d’Evry Paris Saclay,
• Co-encadrant : Amine CHELLALI, MCF, équipe IRA2, IBISC/Université d’Evry Paris Saclay,
• Co-encadrant : Cédric DUMAS, MCF, LS2N/IMT Atlantique,

Domaines scientifiques et axes stratégiques

Cette thèse s’inscrit dans les domaines de la de la réalité virtuelle (RV)  et la simulation dynamique appliquée à la formation professionnelle. Elle vise à étudier les interactions multisensorielles (notamment haptiques) permettant à un apprenant d’interagir avec un personnage virtuel/avatar d’une autre personne dans un environnement virtuel immersif. Elle sera réalisée dans le cadre du projet MASTERS (Maîtrise de l’Autre et de Soi sous Tension Emotionnelle, Restrictions de ressources et Stress) financé par l’Agence Nationale de la Recherche (ANR) en collaboration avec le laboratoire IBISC et le LMEE (Université d’Evry), HEUDIASYC (CNRS, UTC), le LS2N (CNRS, IMT Atlantique), l’I3SP (Université Paris cité), PSYCLE (Université Aix-Marseille), le LNC (CNRS, Université Aix-Marseille) et l’IRBA (Service de Santé des Armées).

Problématique

Le projet ANR MASTERS (2023-2027) vise à concevoir des méthodes pédagogiques innovantes destinées aux forces de l’ordre, aux pompiers, aux personnels de santé… Ces méthodes visent à les aider à garder une bonne maîtrise d’eux-mêmes en toutes circonstances, y compris lorsqu’ils sont soumis à de fortes contraintes et à un stress intense (d’origine psychologique, sociale, etc.) attachés à des contextes dynamiques difficiles. La contribution de nos équipes dans le cadre de ce projet sera de concevoir et de développer des environnements virtuels, des interfaces multisensoriels et des modèles dynamiques permettant de mettre en situation et de former les personnes dans ce contexte particulier. Pour plus d’information : https://anr.fr/Projet-ANR-22-CE380005

L’objectif de ce projet de thèse est, dans un premier temps, d’implémenter dans la plateforme une approche permettant de traiter dynamiquement les contacts physiques dans l’environnement virtuel et de les restituer aux apprenants à l’aide de dispositifs haptiques, tels que des vestes ou des combinaisons. Pour cela, une approche modulaire est envisagée. Elle consiste à considérer chaque avatar ou objet virtuel comme une entité élémentaire indépendante, les liaisons entre entités étant traitées comme des boites blanches pouvant communiquer avec les modèles numériques des entités concernées.

Dans un second temps, il s’agit d’étudier l’impact de ces interactions physiques sur la mise en situation des apprenants. Plus particulièrement, en se basant sur notre modèle de la fidélité des avatars dans un environnement immersif, et sur nos études sur la communication haptique, nous envisageons d’étudier l’impact du sens haptique, en plus du sens visuel, sur le sentiment de présence et le sentiment de coprésence. Ceci sera la première étape de la construction du concept de l’avatar multisensoriel.

Résultats attendus

• Réaliser une étude de l’état de l’art des domaines concernés.
• Choisir une méthode numérique pour le traitement dynamique des contacts physiques.
• Concevoir et développer des prototypes d’environnements virtuels supportant cette approche.
• Évaluer les prototypes et extraire des recommandations pour la conception des systèmes de formation supportant les interactions physiques.
• Publier les résultats dans des conférences internationales reconnues (ex. IEEE VR ou IEEE ISMAR) et dans au moins une revue internationale de renom.

Compétences et qualités requises

Avoir un Master 2 ou équivalent en Interaction humain-machine, réalité virtuelle, ergonomie des interfaces et/ou modélisation mécanique. Bonne maîtrise de la conception/programmation (Unity 3D/C#, C++), connaissance de la dynamique des solides, des interactions 3D, de la réalité virtuelle, de la méthodologie de conception centrée utilisateur, des tests utilisateurs, avoir un goût pour la recherche, le travail d’équipe et les échanges pluridisciplinaires.

Par ailleurs, les critères de sélection du candidat sont très importants, nous citons par exemple :

• La qualité́ du candidat (résultats du Master ou équivalents, aptitudes du candidat à la recherche telles qu’elles peuvent s’évaluer à partir des périodes de stage ou mémoire de recherche, publications, et recommandations des encadrants pédagogiques).
• L’adéquation du profil du candidat à la réalisation du projet de thèse.

Conditions de travail

Les travaux de thèse seront réalisés aux laboratoires LMEE et IBISC à Évry, en collaboration avec le laboratoire LS2N de l’IMT Atlantique à Nantes. Des dispositifs haptiques, tels que des vestes ou des combinaisons, sont mis à disposition. À Évry, le doctorant rejoindra une équipe de recherche multidisciplinaire constituée de 5 enseignants chercheurs : Pierre Joli (PR, Mécanique), Guillaume Loup (MCF, RV), Guillaume Bouyer (MCF, RV), Amine Chellali (MCF, RV) et Grégory Turbelin (MCF, Mécanique). Un ingénieur de recherche et un post-doctorant rejoindront l’équipe ultérieurement. Il sera également convié à participer à certaines réunions du projet MASTERS et à faire des observations sur le terrain. Des déplacements réguliers sont à prévoir à Nantes.

Durée : 36 mois

Date de début : Septembre ou octobre 2023.

Financement de la thèse

Le projet doctoral sera entièrement financé par le projet ANR MASTERS.

Information de contact

Merci de faire parvenir une lettre de motivation, un CV, les relevés de notes du Master 2, et une lettre de recommandation recherche à :

Amine CHELLALI,

Grégory TURBELIN,

Cedric Dumas,

Figure 1: Exemples des simulations et technologies présentes sur la plateforme EVR@ (CAVE, casques, gants de données vestes haptiques…)

Fully funded PhD thesis

Title: Study of haptic interactions with a virtual avatar

Keywords

Virtual Reality, haptic communication, real-time simulation, physical contact, professional training

Work supervision

Thesis Director: Grégory TURBELIN, HDR, LMEE/Université d’Evry Paris Saclay,

Thesis Supervisor: Amine CHELLALI, MCF, équipe IRA2, IBISC/Université d’Evry Paris Saclay,

Thesis Supervisor: Cedric DUMAS, MCF, LS2N/IMT Atlantique,

Scientific fields

This PhD thesis is in the fields of virtual reality (VR) and dynamic simulation applied to professional training. It aims to study multisensory interactions (especially haptic ones), allowing a learner to interact with a virtual character/avatar of another person in an immersive virtual environment. This is part of the MASTERS (Controlling Self and the Other under Emotional Tension, Resources Restrictions and Stress) project funded by the National Research Agency (ANR) in collaboration with IBISC laboratory and the LMEE (University of Evry), HEUDIASYC (CNRS, UTC), LS2N (CNRS, IMT Atlantique), I3SP (Université Paris cité), PSYCLE (Université Aix-Marseille), LNC (CNRS, Université Aix-Marseille) and IRBA (French Army Medical Services).

Research problematic

The ANR MASTERS project (2023-2027) aims to use virtual reality (VR) technologies to supplement the existing training approaches of law enforcement officers, caregivers, firefighters, etc., to cope with stress and regulate their emotions. The goal is to maintain a high level of self-control and attention when faced with an attacker or a panicked victim. The contribution of our transdisciplinary team to this project will be to design and develop virtual environments, multisensory interfaces, and dynamic models to put people into operational situations and to train them in specific contexts. For further information: https://anr.fr/en/funded-projects-and-impact/funded-projects/project/funded/project/b2d9d3668f92a3b9fbbf7866072501ef-cb2a52e76f/?tx_anrprojects_funded%5Bcontroller%5D=Funded&cHash=7094c3d3043ea2688823b805ee26681f

The aim of this thesis project will be, firstly, to develop an approach for dynamically dealing with physical contacts in the virtual environment and to render them to learners using haptic devices such as jackets or suits. To achieve this, a modular approach is considered. This involves considering each avatar or virtual object as an independent elementary entity, with links between entities treated as white boxes that can communicate with digital models of the entities concerned.

Secondly, the impact of these physical interactions on the learners’ experience will be studied. More specifically, based on our model of avatar fidelity in an immersive environment and on our studies of haptic communication, we plan to study the impact of the haptic sense, in addition to the visual sense, on the feeling of presence and the feeling of co-presence. This will be the first step in building the concept of the multisensory avatar.

 Expected results

− Publishing the results in top-tier international conferences (eg. IEEE VR or IEEE ISMAR) and in at least one international journal.

Qualifications

Master 2 or equivalent or equivalent in HCI, VR, or Ergonomics and/or mechanical modeling. Good experience with HCI and programming (Unity 3D/C#C++), knowledge in solid dynamics, 3D multimodal interactions, virtual reality, user-centered design, user studies, high interest in research, teamwork, and multidisciplinary work.

In addition, the candidate selection criteria are very important, this includes for instance:

• The quality of the candidate (academic results of the Master or equivalent, research skills of the candidate that can be assessed through internships or research dissertations, publications, and recommendations of research supervisors),
• The matching between the candidate’s profile and the research topic.

Work conditions

The work will be carried out at the LMEE and IBISC laboratories in Evry, in collaboration with the LS2N laboratory at IMT Atlantique in Nantes. Haptic devices, such as vests and suits, will be available. In Evry, the PhD student will join a multidisciplinary research team made up of 5 research professors: Pierre Joli (PR, Mechanics), Guillaume Loup (MCF, VR), Guillaume Bouyer (MCF, VR), Amine Chellali (MCF, VR) and Grégory Turbelin (MCF, Mechanics). A research engineer and a post-doc will later join the team. The PhD Student will also be invited to take part in MASTERS project meetings and to conduct field studies. Regular visits to Nantes will be planned.

Duration: 36 months, Start date: September or October 2023

Funding information

The work will be fully funded through the MASTERS ANR project

Contact information

Please send your application letter, a CV, a research recommendation letter, and Master 2 transcripts to:

• Amine CHELLALI,
• Grégory TURBELIN,
• Cedric Dumas,

References

1. Gamelin, A. Chellali, S. Cheikh, A. Ricca, C. Dumas, and S. Otmane, Point-cloud avatars to improve spatial communication in immersive collaborative virtual environments, Personal and Ubiquitous Computing, volume 25, pages 467–484, 2021
2. Chellali A, Dumas C, Milleville-Pennel I (2012) Haptic communication to support biopsy procedures learning in virtual environments. Presence: Teleoperators and Virtual Environments 21(4): 470–489
3. Kilteni, R. Groten, and M. Slater, The sense of embodiment in virtual reality, Presence: Teleoperators and Virtual Environments, volume 21, pages 373–387, 2012
4. Evrard, F. Keith, J.-R. Chardonnet, and A. Kheddar, Framework for haptic interaction with virtual avatars, in RO-MAN 2008-The 17^th IEEE International Symposium on Robot and Human Interactive Communication, pages 15–20, 2008.
5. N. Bailenson, N. Yee, S. Brave, D. Merget, and D. Koslow, Virtual interpersonal touch: expressing and recognizing emotions through haptic devices, Human-Computer Interaction, volume 22, pages 325–353, 2007.
6. Moll J, Frid E (2017) Using eye-tracking to study the effect of haptic feedback on visual focus during collaborative object managing in a multimodal virtual interface. SweCog 2017, October 26–27, Uppsala, Sweden, pp 49–51
7. Moll J, Pysander ELS, Eklundh KS, Hellström SO (2014) The effects of audio and haptic feedback on collaborative scanning and placing. Interacting with computers 26: 177–195
8. Wang J, Chellali A, Cao CGL (2016) Haptic communication in collaborative virtual environments. Human factors 58: 496–508
9. Fastelli, F., Simon, C., Ricca, A., & Chellali, A. (2022). Study of communication modalities for teaching distance information. In 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) (pp. 706-707).

• Date de l’appel : 20/06/2023
• Début de thèse prévu: septembre-octobre 2023
• Statut de l’appel : Pourvu
• Contact IBISC : Amine CHELLALI (MCF Univ. Évry, IBISC équipe IRA2), amineDOTchellaliATuniv-evryDOTfr
• Sujet de thèse au format PDF
• Web équipe IRA2