Sujet : «Étude des interactions multisensorielles avec un avatar virtuel multimodal»
Mots clefs: Réalité Virtuelle, Interactions multisensorielles, Interactions collaboratives, Avatars, formation
Contexte
Ce stage s’inscrit dans les domaines de l’interaction humain-machine et de la réalité virtuelle (RV) appliqués à la formation professionnelle. Il vise à étudier les interactions multisensorielles et collaboratives permettant à un apprenant d’interagir avec un personnage virtuel/avatar d’une autre personne dans un environnement virtuel immersif. Il sera réalisé dans le cadre du projet MASTERS (Maîtrise de l’Autre et de Soi sous Tension Emotionnelle, Restrictions de ressources et Stress) financé par l’Agence Nationale de la Recherche (ANR) en collaboration avec le laboratoire IBISC et le LMEE (Université d’Evry), HEUDIASYC (CNRS, UTC), le LS2N (CNRS, IMT Atlantique), l’I3SP (Université Paris cité), PSYCLE (Université Aix-Marseille), le LNC (CNRS, Université Aix-Marseille) et l’IRBA (Service de Santé des Armées).
Problématique
Le projet ANR MASTERS (2023-2027) vise à concevoir des méthodes pédagogiques innovantes destinées aux forces de l’ordre, aux pompiers, aux personnels de santé… Ces méthodes visent à les aider à garder une bonne maîtrise d’euxmêmes en toutes circonstances, y compris lorsqu’ils sont soumis à de fortes contraintes et à un stress intense (d’origine psychologique, sociale, etc.) attachés à des contextes dynamiques difficiles. La contribution de notre équipe dans le cadre de ce projet sera de concevoir et de développer des environnements virtuels et des interfaces multisensoriels permettant de mettre en situation et de former les personnes dans ce contexte particulier. Pour plus d’information : https://www.univ-evry.fr/index.php?id=11207
L’objectif du présent stage est d’étudier les représentations multisensorielles des personnes dans l’environnement virtuel et leur impact sur la mise en situation des apprenants. Plus particulièrement, en se basant sur notre modèle de la fidélité des avatars dans un environnement immersif [1], et sur nos études sur la communication haptique [2, 8, 9], nous envisageons ici d’étudier l’impact de sentir la présence physique (sens du toucher) du partenaire en plus de sa présence visuelle (représentation 3D) sur le sens de présence et le sens de coprésence. Ceci sera la première étape de la construction du concept de l’avatar multisensoriel.
Travail à réaliser
- Réaliser une étude de l’état de l’art du domaine,
- Se baser sur l’existant pour étendre le modèle de fidélité des avatars en incluant les interactions multisensorielles,
- Concevoir et développer un premier prototype permettant d’expérimenter la présence physique de l’avatar d’un partenaire,
- Réaliser une étude expérimentale pour évaluer le prototype et analyser les résultats, 5. Publier les résultats dans une conférence nationale ou internationale.
Compétences et qualités requises
Niveau M2 ou dernière année en école d’ingénieur, bonne maîtrise de la conception/programmation (si possible Unity/C#), connaissance des interactions multimodales, de la réalité virtuelle, de la méthodologie de conception centrée utilisateur, avoir un goût pour la recherche, le travail d’équipe et les échanges pluridisciplinaires.
Conditions du stage
Le stage se déroulera au laboratoire IBISC au sein de l’équipe IRA2. Une plateforme expérimentale (plateforme EVR@) et des environnements virtuels sont mis à disposition. Le stagiaire sera également en interaction avec les autres doctorants et stagiaires de l’équipe. Il/elle sera également convié.e à participer à certaines réunions de suivi du projet.
Durée : 6 mois (entre février et octobre 2023, selon disponibilités) Gratification minimale légale (environ 560€/mois)
Un financement est disponible pour poursuivre ces travaux en thèse de doctorat pour un(e) excellent(e) candidat(e).
Figure 1 : Exemples des simulations et technologies présentes sur la plateforme EVR@ (CAVE, casques, gants de données vestes haptiques…)
Examples of simulations and technologies (CAVE, HMDs, data gloves, haptic suits …) used in our EVR@ platform
Master of Science Internship offer
Title: « Study of multisensory interactions with a multimodal virtual avatar »
Keywords Virtual Reality, Multisensory interactions, Collaborative interactions, Avatars, training.
Context
This internship is in the fields of human-computer interaction and virtual reality (VR) applied to professional training. It aims to study multisensory and collaborative interactions, allowing a learner to interact with another remote person’s virtual character/avatar in an immersive virtual environment. This is part of the MASTERS project (Controlling Self and the Other under Emotional Tension, Resources Restrictions and Stress) funded by the National Research Agency (ANR) in collaboration with IBISC Lab and LMEE (University of Evry ), HEUDIASYC (CNRS, UTC), LS2N (CNRS, IMT Atlantique), I3SP (Paris Cité University), PSYCLE (Aix-Marseille University), LNC (CNRS, Aix-Marseille University) and IRBA (French Army Health Service).
Research problematic
The MASTERS ANR project (2023-2027) aims to design innovative teaching methods for law enforcement, firefighters, healthcare personnel, etc. These methods aim to help them maintain good self-control in all circumstances, including when facing strong constraints and intense (psychological, social, etc.) stress related to challenging dynamic contexts. Our team’s contribution to this project’s framework will be to design and develop virtual environments and multisensory interfaces, allowing us to immerse the learners and train them to cope with this specific context. For more information: https://www.univ-evry.fr/index.php?id=11207
The objective of this internship is to study the multimodal representations of users in the virtual environment and their impact on the hands-on experience of the learners. More particularly, based on our model of avatar fidelity in an immersive environment [1] and our studies on haptic communication [2, 8, 9], we plan here to investigate the impact of feeling the physical presence (the sense of touch) of the partners in addition to seeing their avatars (3D representation) on the sense of presence and the sense of co-presence. This will be the first step in building the concept of multisensory avatars.
Work description
- Conducting a literature review of the research field,
- Building on existing studies to extend the avatar fidelity model to include multi-sensory interactions,
- Designing and developing a system prototype to experience the physical presence of the partner’s avatar, 4. Carrying out an experimental study to evaluate the prototype and analyze the results,
- Publishing the results in a national or an international conference.
Qualifications
Master 2 or last year in an engineering school, good experience with HCI, UI design and programming (Unity 3D/C#), knowledge in multimodal interactions, virtual reality, user-centered design, high interest in research, teamwork, and multidisciplinary work.
Work conditions
The work will be carried out within the IRA² team at the IBISC Lab. An experimental platform (EVR@) and existing virtual environments will be available. The trainee will constantly interact with the team’s Ph.D. students and other interns. He/she will also be invited to participate in research meetings with the project partners.
Duration: 6 months (ranging from Feb to Oct 2023)
Compensation: minimum legal compensation (around 560€/month)
Funding is available for an excellent candidate to continue this research work in a Ph.D. thesis.
Contact
Merci de faire parvenir une lettre de motivation, un CV, et les relevés de notes du Master 1 et/ou Master 2 à :
Please send your application letter, a CV, and Master transcripts (M1/M2) to:
Amine CHELLALI Laboratoire IBISC EA 4526 – Equipe IRA2
01 69 47 75 33 Bâtiment Pelvoux 2, IUP
Guillaume BOUYER Courcouronnes 91020 EVRY
https://www.ibisc.univ-evry.fr
References
- Gamelin, A. Chellali, S. Cheikh, A. Ricca, C. Dumas, and S. Otmane, Point-cloud avatars to improve spatial communication in immersive collaborative virtual environments, Personal and Ubiquitous Computing, volume 25, pages 467–484, 2021. [HAL IBISC]
- Chellali A, Dumas C, Milleville-Pennel I (2012) Haptic communication to support biopsy procedures learning in virtual environments. Presence: Teleoperators and Virtual Environments 21(4): 470–489
- Kilteni, R. Groten, and M. Slater, The sense of embodiment in virtual reality, Presence: Teleoperators and Virtual Environments, volume 21, pages 373–387, 2012
- Evrard, F. Keith, J.-R. Chardonnet, and A. Kheddar, Framework for haptic interaction with virtual avatars, in RO-MAN 2008-The 17th IEEE International Symposium on Robot and Human Interactive Communication, pages 15–20, 2008.
- N. Bailenson, N. Yee, S. Brave, D. Merget, and D. Koslow, Virtual interpersonal touch: expressing and recognizing emotions through haptic devices, Human-Computer Interaction, volume 22, pages 325–353, 2007.
- Moll J, Frid E (2017) Using eye-tracking to study the effect of haptic feedback on visual focus during collaborative object managing in a multimodal virtual interface. SweCog 2017, October 26–27, Uppsala, Sweden, pp 49–51
- Moll J, Pysander ELS, Eklundh KS, Hellström SO (2014) The effects of audio and haptic feedback on collaborative scanning and placing. Interacting with computers 26: 177–195
- Wang J, Chellali A, Cao CGL (2016) Haptic communication in collaborative virtual environments. Human factors 58: 496–508
- Fastelli, F., Simon, C., Ricca, A., & Chellali, A. (2022). Study of communication modalities for teaching distance information. In 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) (pp. 706-707). [HAL IBISC]
- Date de l’appel : 09/11/2022
- Statut de l’appel : Pourvu
- Contact coté IBISC : Amine CHELLALI (MCF Univ. Évry, IBISC équipe IRA2)
- Sujet de stage niveau Master 2 (format PDF)
- Web équipe IRA2
