Offre de stage Master 2, équipe IRA2 IBISC : « Etude des interactions multimodales expert-novices pendant l’apprentissage d’un geste technique dans un environnement virtuel immersif » (Find English version below)

Sujet : «Étude des interactions multimodales expert-novices pendant l’apprentissage d’un geste technique dans un environnement virtuel immersif»

Mots clefs:Réalité Virtuelle, Interactions multimodales, Interactions collaboratives, compagnonnage, formation au geste technique

Contexte

Ce stage s’inscrit dans les domaines de l’interaction humain-machine et de la réalité virtuelle (RV) appliqués à la formation médicale. Il vise à étudier les interactions multimodales et collaboratives permettant à un formateur d’enseigner des gestes techniques à un apprenant dans un environnement virtuel immersif. Il sera réalisé dans le cadre du projet Show-me (Virtual reality mentee-mentor multimodal collaboration for surgical skills training) financé par l’Agence Nationale de la Recherche (ANR) en collaboration avec le LabForSIMS, le CHSF, le LISN et le LS2N.

Problématique

Les internes en médecine sont traditionnellement formés sur la base du modèle de compagnonnage en s’entrainant sur les patients au cours des stages hospitaliers encadrés par des experts. Cependant, pour des raisons éthiques et de sécurité des patients, comme conclut par le rapport de la Haute Autorité de Santé 2012 « jamais la première fois sur le patient », le développement de nouveaux paradigmes de formation médicale innovants basés sur la simulation devient un nécessité et une urgence. Pour assurer cette transition pédagogique, les simulateurs basés sur les technologies de la réalité virtuelle peuvent jouer un rôle important. Cependant, les simulateurs virtuels immersifs existants sont destinés à un apprentissage en autonomie, et n’intègrent pas l’expert/tuteur pendant la formation.

L’objectif du projet ANR Show-Me est de concevoir de nouvelles techniques d’interaction multimodales et collaboratives et des interfaces utilisateurs innovantes permettant à un tuteur expert de partager ses compétences, de superviser et de guider en temps réel, un apprenant à travers un environnement de formation collaboratif et multimodal en réalité virtuelle pour un meilleur transfert des compétences médicales techniques. Cela permettra de garder le formateur dans la boucle et de profiter ainsi des avantages du modèle de compagnonnage mais dans un environnement plus sûr. Nos premiers résultats ont permis d’identifier les modalités de communication utilisées par les experts dans le monde réel (verbale/visuelle/haptique) pour enseigner ces compétences. Nous avons également pu comparer ces modalités pour l’apprentissage d’un geste technique dans un environnement immersif partagé [14].

L’objectif du présent stage est de concevoir et évaluer un prototype d’environnement virtuel immersif supportant la communication multimodale pour l’apprentissage d’un geste technique en présence d’un instructeur. Les modalités de communication seront donc combinées pour évaluer leur efficacité. La question de recherche sera de savoir si la communication multimodale est plus efficace qu’une communication uni modale pendant l’apprentissage du geste technique. Ce stage sera en soutien d’un travail de thèse de doctorat en cours.

Travail à réaliser

1. Réaliser une étude de l’état de l’art du domaine,
2. Se baser sur les études existantes pour concevoir et développer un environnement virtuel intégrant les différentes modalités de communication,
3. Mettre en place un protocole expérimental pour évaluer les techniques de communication multimodales,
4. Réaliser l’étude expérimentale et analyser les résultats,
5. Publier les résultats dans une conférence nationale ou internationale.

Compétences et qualités requises

Niveau M2 ou dernière année en école d’ingénieur, bonne maîtrise de la conception/programmation (si possible Unity/C#), connaissance des interactions multimodales, de la réalité virtuelle, de la méthodologie de conception centrée utilisateur, avoir un goût pour la recherche, le travail d’équipe et les échanges pluridisciplinaires.

Conditions du stage

Le stage se déroulera au laboratoire IBISC et sera en soutien d’un travail de thèse en cours. Une plateforme expérimentale (plateforme EVR@) et des EV pour la simulation chirurgicale sont mis à disposition. Le stagiaire sera également en interaction avec les autres doctorants et stagiaires de l’équipe. Il/elle sera également convié à participer à certaines réunions avec des cliniciens.

Durée : 6 mois (entre février et octobre 2023, selon disponibilités)

Gratification minimale légale (environ 560€/mois)

Figure 1 : Exemples des simulations et technologies présentes sur la plateforme EVR@ (CAVE, casques, systèmes de eye tracking, bras à retour d’efforts)

Examples of simulations and technologies (CAVE, HMDs, eye tracking devices, haptic devices,…) used in our EVR@ platform

Master of science Internship offer

Study of multimodal expert-novice interactions during the learning of a technical gesture in an immersive virtual environment

Keywords Virtual Reality, multimodal interactions, collaborative interactions, mentoring, technical skills training

Context

This internship is in the fields of human-computer interaction and virtual reality (VR) applied to medical training. It aims to study multimodal and collaborative interactions allowing an instructor to teach technical skills to a learner in an immersive virtual environment. This is part of the Show-me project (Virtual reality mentee-mentor multimodal collaboration for surgical skills training) funded by the National Research Agency (ANR) in collaboration with LabForSIMS, CHSF, LISN and LS2N.

Research problematic

Medical interns are traditionally trained through the companionship model by practicing on real patients during hospital internships supervised by experts. However, due to clear ethical and patient safety issues, as concluded by the 2012 Haute Autorité de Santé report « never the first time on the patient », the development of new innovative medical training paradigms based on simulation becomes a necessity and an emergency. To support this transition, simulators based on virtual reality technologies can play an important role. However, current immersive simulators are designed for autonomous training and do not include the expert/tutor during the learning.

The ANR Show-Me project aims to design multimodal and collaborative interaction techniques and innovative user interfaces allowing an expert tutor to share his skills, supervise, and guide a learner through a collaborative and multimodal training environment in virtual reality for a better transfer of technical medical skills. This permits keeping the mentor in the loop and thus benefit from the advantages of the companionship model but in a safer environment. Our first results permitted us to identify the communication means used in the real world (verbal/visual/haptic) by experts to teach these skills. We were also able to compare these modalities for learning a technical gesture in a shared virtual environment [14].

The objective of this internship is to design and evaluate a prototype of an immersive virtual environment supporting multimodal communication for learning a technical gesture with an instructor. Communication methods will therefore be combined to assess their effectiveness. The research question will be whether multimodal communication is more effective than unimodal communication during the learning of technical gestures.This internship will be in support of an ongoing PhD thesis work.

Work description

1. Conducting a literature review of the research field,
2. Building on existing studies to design and develop a virtual environment integrating the different communication modalities,
3. Setting up an experimental protocol to evaluate multimodal communication techniques,
4. Carrying out the experimental study and analyzing the results, 5. Publishing the results in a national or an international conference.

Qualifications

Master 2 or last year in an engineering school, good experience with HCI, UI design and programming (Unity 3D/C#), knowledge in multimodal interactions, virtual reality, user-centered design, high interest in research, teamwork, and multidisciplinary work.

Work conditions

The work will be carried out within the IRA² team at the IBISC Lab and will be in support of an ongoing PhD thesis work. An experimental platform (EVR@) and existing virtual environments for surgical simulation will be available. The trainee will be in constant interaction with the team’s PhD students and other interns. He/she will also be invited to participate in research meetings with the project partners.

Duration: 6 months (ranging from Feb to Oct 2023)

Compensation: minimum legal compensation (around 560€/month)

Contact

Merci de faire parvenir une lettre de motivation, un CV, et les relevés de notes du Master 1 et/ou Master 2 à :

Please send your application letter, a CV, and Master transcripts (M1/M2) to:

References

1. Chellali A, Mentis H, Miller A, Ahn W, Arikatla V, Sankaranarayanan G, Schwaitzberg S, Cao C (2016) Achieving Interface and Environment Fidelity in the Virtual Basic Laparoscopic Surgical Trainer. IJHCS 96: 22–37. [HAL IBISC]
2. Chellali A, Dumas C, Milleville-Pennel I (2012) Haptic communication to support biopsy procedures learning in virtual environments. Presence: Teleoperators and Virtual Environments 21(4): 470–489
3. Mentis H, Chellali A, Schwaitzberg S (2014) Learning to see the body: supporting instructional practices in laparoscopic surgical procedures. Proceedings of the CHI Conference on Human Factors in Computing Systems, pp 2113–2122
4. Mentis HM, Feng Y, Semsar A, Ponsky TA (2020) Remotely Shaping the View in Surgical Telementoring. Proceedings of the CHI Conference on Human Factors in Computing Systems, pp 1–14
5. Le Chénéchal M, Duval T, Gouranton V, Royan J, Arnaldi B (2019) Help! I Need a Remote Guide in My Mixed Reality Collaborative Environment. Frontiers in Robotics and AI 6: 106
6. Chengyuan, Edgar, Maria, et al. (2020) How About the Mentor? Effective Workspace Visualization in AR Telementoring. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
7. Lee G, Kang H, Lee J, Han J (2020) A User Study on View-sharing Techniques for One-to-Many Mixed Reality Collaborations. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
8. Moll J, Frid E (2017) Using eye-tracking to study the effect of haptic feedback on visual focus during collaborative object managing in a multimodal virtual interface. SweCog 2017, October 26–27, Uppsala, Sweden, pp 49–51
9. Moll J, Pysander ELS, Eklundh KS, Hellström SO (2014) The effects of audio and haptic feedback on collaborative scanning and placing. Interacting with computers 26: 177–195
10. Wang J, Chellali A, Cao CGL (2016) Haptic communication in collaborative virtual environments. Human factors 58: 496–508.
11. Ricca A, Chellali A, Otmane S (2020) Comparing touch-based and head-tracking navigation techniques in a virtual reality biopsy simulator. Virtual Reality, https://doi.org/10.1007/s10055-020-00445-7 [HAL IBISC]
12. Ricca, A. Chellali, A., Otmane, S. (2020) Influence of hand visualization on tool-based motor skills training in an immersive VR simulator. In the proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp 339-347. [HAL IBISC]
13. Ricca, A. Chellali, A., Otmane, S. (2021) The influence of hand visualization in tool-based motor-skills training, a longitudinal study. In the proceedings of the 2021 IEEE Virtual Reality and 3D User Interfaces (VR 2021), pp 103-112. [HAL IBISC]
14. Fastelli, F., Simon, C., Ricca, A., & Chellali, A. (2022). Study of communication modalities for teaching distance information. In 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) (pp. 706-707). [HAL IBISC]

• Date de l’appel : 09/11/2022
• Statut de l’appel : Pourvu
• Contact coté IBISC : Amine CHELLALI  (MCF Univ. Évry, IBISC équipe IRA2)
• Sujet de stage niveau Master 2 (format PDF)
• Web équipe IRA2