Cassandre SIMON soutient sa thèse de doctorat le mardi 17 décembre 2024, 14h, Université d’Évry Site Pelvoux, Amphithéâtre Bx30 Yasmina BESTAOUI.
Titre: Interaction collaborative et multimodalité pour la formation médicale en réalité virtuelle
Résumé
Le compagnonnage, modèle traditionnel de la formation médicale, soulève des enjeux éthiques et de sécurité car les novices s’exercent sur de vrais patients. Pour y remédier, la Haute Autorité de Santé (HAS) a instauré la directive « jamais la première fois sur un patient », encourageant l’usage de la simulation. La réalité virtuelle (RV) s’impose alors comme un outil prometteur, offrant un environnement immersif où les étudiants peuvent s’exercer sans risque pour les patients. Cependant, les simulateurs actuels sont majoritairement centrés sur l’apprentissage autonome, limitant ainsi la présence d’un instructeur pour guider les apprenants. Cette absence soulève la question de comment réintégrer un instructeur dans les simulateurs immersifs pour optimiser la formation. Dans cette thèse, nous explorons la conception d’interactions multimodales et collaboratives dans des environnements virtuels collaboratifs (EVCs), afin de permettre à un instructeur de superviser et d’accompagner un apprenant dans l’apprentissage de gestes techniques. Nous avons étudié les interactions entre instructeur et apprenant à la fois dans le monde réel et le virtuel, en adaptant une approche centrée sur l’humain. Sur la base de l’analyse de terrain, nous avons modélisé ces interactions et conçu plusieurs environnements virtuels collaboratifs pour tester différentes modalités de communication. Trois études expérimentales ont été réalisées pour évaluer l’impact des modalités de communications sur le transfert des compétences techniques. Les résultats des deux premières études montrent que les instructions visuo-haptiques offrent les meilleures performances en termes de rapidité et de précision, tandis que l’ajout de la modalité verbale améliore l’expérience utilisateur. Dans la troisième étude, les feedbacks visuels ont accéléré l’exécution des tâches, tandis que les feedbacks visuo-haptiques ont optimisé l’expérience utilisateur en réduisant la charge cognitive et en renforçant la collaboration. Nos travaux fournissent des recommandations pour la conception d’EVCs destinés à la formation aux gestes techniques. Ils montrent que l’intégration d’une communication multimodale améliore significativement les interactions entre l’instructeur et l’apprenant, en optimisant la communication et la collaboration. Ces résultats offrent des pistes prometteuses pour réintégrer efficacement l’instructeur dans les environnements virtuels de formation.
Composition du jury de thèse/Doctoral thesis jury composition
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Dominique BECHMANN | Professeure des Universités | Université de Strasbourg | Rapporteure |
| Gilles BAILLY | Directeur de Recherche CNRS | Sorbonne Université | Examinateur |
| Amine CHELLALI | Maître de Conférences | Université Évry Paris-Saclay | Co-encadrant |
| Thierry DUVAL | Professeur des Universités | IMT Atlantique | Rapporteur |
| Stéphanie FLECK | Maître de Conférences | Université de Lorraine | Examinatrice |
| Samir OTMANE | Professeur des Universités | Université Évry Paris-Saclay | Directeur de thèse |
Cassandre SIMON defends her doctoral thesis on Tuesday, December 17, 2024, 2pm, University of Évry, Pelvoux Site, Amphitheater Bx30 Yasmina BESTAOUI.
Title : Collaborative interaction and multimodality for medical training in virtual reality
Abstract
The traditional mentorship model in medical training raises ethical and safety concerns because novices often practice on real patients. In response to this, the Haut Autorité de Santé (HAS) established the directive « never the first time on a patient, » encouraging the use of simulation as an alternative. Virtual reality (VR) has emerged as a promising solution, offering an immersive environment for students to practice without posing any risk to patients. However, current simulators primarily emphasize autonomous learning, which limits the presence of an instructor to guide learners. This raises the important question of reintroducing instructors into immersive simulators to enhance the effectiveness of training. In this thesis, we explore the design of multimodal and collaborative interactions in collaborative virtual environments (CVEs), enabling an instructor to supervise and support a learner in acquiring technical skills. We studied the interactions between instructor and learner in both real and virtual worlds, adapting a human-centered approach. Based on field analysis, we modeled these interactions and designed several collaborative virtual environments to test different communication modalities. Three experimental studies were conducted to evaluate the impact of communication modalities on the transfer of technical skills. The results of the first two studies show that visuo-haptic instructions yield the best performance in terms of speed and accuracy, while the addition of verbal modality enhances the user experience. In the third study, visual feedback accelerated task execution, while visuo-haptic feedback optimized the user experience by reducing cognitive load and enhancing collaboration. Our work provides recommendations for the design of CVEs intended for training in technical skills. It demonstrates that integrating multimodal communication significantly improves interactions between the instructor and learner, optimizing both communication and collaboration. These results provide promising avenues for effectively reintroducing instructors into virtual training environments.
- Date: mardi 17/12/2024, 14h
- Lieu: Université d’Evry, Site Pelvoux, Amphithéâtre Bx30 Yasmina BESTAOUI, UFR-ST, 36 rue du Pelvoux, 91080 EVRY-COURCOURONNES
- Doctorante : Cassandre SIMON (Université d’Évry, Université Paris Saclay, IBISC équipe IRA2)
- Directeur de thèse: Samir OTMANE (PR IUT d’Évry, IBISC équipe IRA2)
- Co-encadrant de thèse : Amine CHELLALI (MCF Univ. Évry, IBISC équipe IRA2)
