Offre de thèse de doctorat, équipe IRA2 : « Système d’assistance pédagogique temps-réel en Réalité Virtuelle : Conception et évaluation de modalités de supervision et d’intervention du formateur auprès d’un groupe d’apprenants » (see English version below)

Titre: Système d’assistance pédagogique temps-réel en Réalité
Virtuelle : Conception et évaluation de modalités de supervision
et d’intervention du formateur auprès d’un groupe d’apprenants

Mots-clés: Réalité virtuelle, apprentissage immersif, supervision, coaching, interactions adaptatives,
scénarisation dynamique.

Direction de thèse

• Directeur de thèse: Samir OTMANE (PR IUT Évry, IBISC équipe IRA2), samirDOTotmaneATuniv-evryDOTfr
• Co-encadrants : Guillaume BOUYER (MCF ENSIIE, IBISC équipe IRA2), guillaumeDOTbouyerATuniv-evryDOTfr ; Guillaume LOUP (MCF Unv. Évry,IBISC équipe IRA2),guillaumeDOTloupATuniv-evryDOTfr

Laboratoire d’accueil

 IBISC (Informatique, BioInformatique, Systèmes Complexes EA4526), Université Évry Paris-Saclay

UFR S&T, 40 rue de Pelvoux 91000 Evry Courcouronnes

Résumé du projet de thèse

La Réalité Virtuelle (VR) s’impose comme un outil de formation immersive dans des domaines aussi variés que la sécurité, l’industrie, la santé ou l’éducation spécialisée. Cependant, dans la majorité des dispositifs actuels, la place du formateur est restreinte à la mise en place des dispositifs, à la configuration des scénarios et au débriefing post-simulation. Cette thèse propose de concevoir un système d’observation et d’intervention temps réel, permettant à un formateur d’analyser finement les activités des apprenants, et de déclencher selon leurs besoins des modalités pédagogiques et d’interactions variées. Ce système sera réalisé de manière modulaire et intégré dans des simulateurs existants. Les apports des modalités interactives et du système complet seront évalués en termes d’utilisabilité et de pédagogie, tant du point de vue du formateur que des apprenants. Deux études sont envisagées. Une première portera sur la formation des forces de l’ordre à la gestion d’une intervention complexe en équipe, dans laquelle le formateur pourra prendre le rôle d’un coéquipier ou d’un agresseur. Une seconde étude sera dédiée au guidage spécifique d’apprenants en situation de handicap mental.

Brève description du groupe de recherche / laboratoire d’accueil

Les travaux seront menés au sein du laboratoire IBISC (Informatique, Bioinformatique, Systèmes Complexes, EA 4526, www.ibisc.univ-evry.fr) traitant de la modélisation, la conception, la simulation et la validation des systèmes complexes, qu’ils soient vivants ou artificiels. Le laboratoire est composé de 4 équipes (AROBAS, COSMO, IRA2, SIMOB) mais également un axe transverse thématique d’intelligence artificielle et deux projets transverses applicatifs tel que la Médecine Personnalisée (MP) et la Mobilité Intelligente (MI). IBISC possède également des plateformes référencées et soutenues par Genopole : EVR@ (Environnements Virtuels et de Réalité Augmentée, http://evra.ibisc.univ-evry.fr/) et la plateforme logicielle de bioinformatique EvryRNA (https://evryrna.ibisc.univ-evry.fr/)

Cette thèse sera portée par l’équipe IRA2 (20 chercheurs permanents) dont l’un des axes de recherche vise à assister les interactions 3D des utilisateurs (tâches de navigation, sélection, manipulation et contrôle) dans les environnements virtuels ou augmentés. Les approches suivies sont en particulier : les feedbacks multimodaux (visuels, audio et haptiques), les commandes manuelles, gestuelles & tactiles, l’adaptabilité des interactions et la conception centrée utilisateurs. Les moyens matériels et logiciels de l’équipe (plateforme EVR@) seront à la disposition du (de la) candidat.e, de même que les ressources et connaissances produites par les projets collaboratifs de simulateurs en cours.

Description de la proposition de doctorat

Contexte

La Réalité Virtuelle (VR) est de plus en plus utilisée dans des contextes de formation variés, mais le rôle du formateur au sein de ces dispositifs immersifs reste souvent marginal. En effet, dans la majorité des environnements VR actuels, les formateurs interviennent principalement avant la session (briefing) et après (débriefing) (Minotti et al., 2024), mais rarement pendant l’expérience immersive elle-même. Ainsi, dans les simulateurs médicaux classiques ou les formations militaires, le scénario est prédéfini et le formateur agit essentiellement en observateur externe. Cette absence d’interactions en temps réel s’explique notamment par des contraintes techniques et logistiques et une pédagogie centrée sur l’autonomie de l’apprenant.

Certains systèmes ont tenté d’intégrer le formateur de manière plus active, par exemple à travers un canal audio ou un avatar dans l’environnement virtuel. Toutefois, cette présence reste souvent limitée à un rôle symbolique ou ponctuel, sans réels moyens d’agir sur le déroulement de la simulation en fonction de l’activité du ou des apprenants. Des travaux comme ceux de Wernick et al. (2021) soulignent pourtant que le débriefing, bien que bénéfique, ne remplace pas une intervention pédagogique contextualisée pendant la session.

Par ailleurs, quelques recherches ont introduit des dispositifs permettant des interventions directes du formateur pendant une session immersive. C’est le cas du système RTSIS développé par Muhanna (2011), qui permet de modifier un scénario en temps réel dans un environnement CAVE, ouvrant la voie à de nouvelles méthodes de contrôle pédagogique. Plus récemment, Hoek et al. (2024) ont commencé à développer un simulateur médical dans lequel les formateurs peuvent ajuster dynamiquement les paramètres physiologiques d’un patient virtuel, afin de créer ou moduler des situations critiques. Ces exemples montrent qu’une intervention du formateur en cours de simulation est techniquement possible, mais reste encore peu généralisée.

Une autre piste d’intervention consiste à exploiter les données générées en temps réel par les apprenants. Certains systèmes, comme celui proposé par Hülsmann et al. (2018), détectent automatiquement les erreurs de mouvement lors d’exercices physiques en VR et fournissent un retour immédiat sous forme visuelle ou verbale. Bien que cette approche soit principalement automatisée, elle ouvre des perspectives pour assister les formateurs dans l’identification des moments opportuns pour intervenir.

Lorsque l’on considère non pas un seul utilisateur, mais un groupe d’apprenants en VR (Paulsen et al., 2024), les besoins évoluent vers des outils de supervision plus complexes. Des initiatives comme celle de Marques et al. (2022) proposent des interfaces permettant au formateur de suivre l’activité d’un ou plusieurs utilisateurs via un écran partagé, facilitant l’observation, la coordination et l’intervention sans entrer dans l’environnement immersif lui-même. Ces solutions permettent également aux co-apprenants de tirer parti de l’expérience collective, favorisant une dynamique de groupe pédagogique.

Pour aller plus loin, certains travaux ont introduit des modèles adaptatifs ou des agents intelligents capables de moduler l’expérience selon les réactions de l’utilisateur. De Blauwe et al. (2022) proposent un cadre pour la génération modulaire de comportements dans des environnements immersifs collaboratifs, où des agents virtuels adaptent leurs actions selon le contexte social et la dynamique de groupe. Ce type d’approche est particulièrement pertinent pour les situations de formation en VR avec plusieurs apprenants, car il permet de modéliser et injecter des comportements pédagogiques (coaching, guidage, aide ou perturbation) de façon contextuelle et scénarisée. Ces travaux fournissent des bases intéressantes pour concevoir un système où les interventions du formateur peuvent être assistées, déclenchées ou enrichies en fonction de règles modulaires et du déroulement de la simulation, tout en tenant compte des interactions entre membres du groupe.

Dans l’ensemble, les recherches actuelles montrent un intérêt croissant pour l’intervention du formateur dans les environnements immersifs. Mais ces interventions restent souvent limitées à des formes d’observations passives ou à des adaptations préprogrammées. Les systèmes proposés se concentrent souvent sur une seule étape du processus (mesures, visualisation ou interactions). De plus, ils sont rarement adaptés à une situation d’apprentissage collectif. Il existe donc un besoin de concevoir une solution méthodologique et technique permettant aux formateurs d’interagir de façon pertinente, fluide et adaptative avec plusieurs apprenants en VR, en s’appuyant sur des données individualisées, contextualisées et des interfaces de supervision intuitives. Ces travaux permettraient de mettre en œuvre une pédagogie fondée sur une plus grande collaboration entre formateurs et apprenants.

Objectifs et Questions de recherche

L’objectif principal de cette thèse est de concevoir, développer et évaluer un système modulaire d’assistance aux formateurs, qui facilite des interventions adaptatives en temps réel auprès d’un ou plusieurs apprenants dans des environnements immersifs. Ce système devra permettre aux formateurs de superviser l’activité individuelle et collective, de déclencher différents types d’interactions pédagogiques (feedback, guidage, soutien, perturbation), et de s’intégrer dans des simulateurs VR existants.

Le système visé devra répondre aux besoins de formation en groupe, avec des apprenants évoluant simultanément dans un même scénario ou des sous-scénarios parallèles, tout en maintenant l’immersion et l’autonomie d’apprentissage. Il prendra appui sur des indicateurs en temps réel (performances, erreurs, attention, données physiologiques…) pour orienter les interventions et permettre au formateur d’agir de manière contextualisée.

Les questions de recherche associées sont les suivantes :

• • Quelles sont les modalités d’interactions permises par la réalité virtuelle immersive pour le formateur et les apprenants ?
  • Comment mesurer les besoins des apprenants au sein d’un groupe (difficulté technique, de compréhension, stress, perte d’attention, etc.) et communiquer les informations au formateur de manière intelligible et hiérarchisée ?
  • Quel est l’impact pédagogique et cognitif de l’intervention en temps réel du formateur, comparé à une supervision passive ou différée, en particulier dans des scénarios de groupe ?

Méthodologie et planning prévisionnel sur 3 ans

Année 1 — Analyse, cadrage et réalisation initiale du système

Objectifs principaux :

• • Réaliser un état de l’art approfondisur l’intervention du formateur en VR, les modèles d’assistance pédagogique, les modalités d’interaction collaboratives en VR et les systèmes de supervision.
  • Analyser les besoins et contraintesdes formateurs et apprenants de simulateurs immersifs via des entretiens, des observations et de la co-conception (notamment avec les acteurs du projet MASTERS et la Fondation Léopold Bélan).
  • Élaborer des modalités d’intervention dans des scénarios de formation.
  • Produire les spécifications fonctionnelles et techniquesdu système et de ses composants : architecture logicielle, types de données collectées (activité, performance, stress…).
  • Développer et tester une première version fonctionnelle du système(v1) en intégrant au besoin des composants existant au laboratoire et dans la communauté, dans un moteur VR (Unity)

Résultats attendus :

• • Synthèse de l’état de l’art
  • Scénarios d’usage formalisés.
  • Spécifications et prototype fonctionnel v1 du système d’intervention.
  • Communication dans une conférence ou un workshop XR/IHM/IAH (ex. AFIHM, AFXR, EIAH, EuroXR).

Année 2 — Intégration terrain et évaluation auprès des forces de l’ordre

Objectifs principaux :

• • Intégrer le système dans le simulateur collaboratif du projet MASTERS(formation des forces de l’ordre).
  • Réaliser une évaluation expérimentale en contexte réaliste, avec enregistrement des comportements, activité du formateur, perception des utilisateurs. Analyser les effets de l’intervention en temps réeldu formateur sur les performances collectives et individuelles, la coordination, la charge cognitive, etc.
  • Identifier les limites et besoins d’évolutiondu système suite aux retours utilisateurs.
  • Développer la version 2 du système, avec amélioration des interfaces de supervision et des modes d’intervention.

Résultats attendus :

• • Jeu de données d’évaluation complet.
  • Nouvelle version du système plus robuste (v2).
  • Publication dans une conférence XR/IHM/IAH (ex. ISMAR, IEEE VR…).

Année 3 — Évaluation sur le public en situation de handicap & rédaction

Objectifs principaux :

• • Adapter et intégrer le système v2 dans un simulateur immersif développé pour la Fondation Léopold Bellan, destiné à des jeunes en situation de handicap mental.
  • Réaliser une évaluation qualitative et quantitativeen collaboration avec les éducateurs : observer les usages du formateur, les réponses des apprenants, et les apports du système.
  • Analyser l’accessibilité, la charge cognitive et les modalités d’intervention adaptéesà ce public.
  • Compiler les résultats des deux expérimentations (forces de l’ordre et handicap) pour en extraire des lignes directrices généralessur les interventions des formateurs dans les simulations VR en groupe.
  • Rédiger le manuscrit de thèse.

Résultats attendus :

• • Évaluation complète dans le contexte handicap.
  • Liste de recommandations.
  • Manuscrit de thèse.
  • Publication dans une 2ème conférence XR/IHM/IAH (ex. IEEE ISMAR, IEEE VR…)
  • Article de synthèsesur le modèle d’intervention multi-apprenants en VR (revue : Computers & Education, Frontiers in Virtual Reality).

Profil recherché

• Diplômé(e) de Master 2 ou Ecole d’Ingénieur en informatique ou nouvelles technologies
• Connaissance des interactions humains-machines et de la réalité virtuelle et/ou augmentée. Intérêt pour la conception d’interactions, le prototypage, et les tests utilisateurs.
• Compétences en développement logiciel (type Unity/C#), bons bagages scientifiques.
• Bonne maitrise de la communication en français et en anglais (oral/écrit).
• Qualités recherchées : grande motivation, autonomie, rigueur, force de proposition, ouverture aux approches pluridisciplinaires.

La candidature devra être accompagnée d’un CV, d’une lettre de motivation et des relevés de notes M1 et M2. Les avis d’enseignants et du responsable du stage de M2 seront appréciés.

Références bibliographiques

• Minotti, K., Loup, G., Harquin, T., & Otmane, S. (2024, October). Exploring Immersive Debriefing in Virtual Reality Training: A Comparative Study. In Proceedings of the 30th ACM Symposium on Virtual Reality Software and Technology (pp. 1-10).
• Wernick, A. M., Conry, J. M., & Ware, P. D. (2021). Coaching in the time of coronavirus 2019: how simulations spark reflection. International Journal of Mentoring and Coaching in Education, 10(2), 216-233.
• Muhanna, M. A. (2011). Real-time supervisor intervention software for scenario modification in cave applications. University of Nevada, Reno.
• Hoek, K., Jaschinski, C., van Velzen, M., & Sarton, E. (2024). Development of a Real-Time Adaptable Virtual Reality-Scenario Training for Anaesthesiology Education, a User-Centered Design. In CSEDU (1) (pp. 751-757).
• Hülsmann, F., Göpfert, J. P., Hammer, B., Kopp, S., & Botsch, M. (2018). Classification of motor errors to provide real-time feedback for sports coaching in virtual reality—A case study in squats and Tai Chi pushes. Computers & Graphics, 76, 47-59.
• Paulsen, L., Dau, S., & Davidsen, J. (2024). Designing for collaborative learning in immersive virtual reality: a systematic literature review. Virtual Reality, 28(1), 63.
• Marques, B., Portela, A., Carvalho, T., Ferreira, R., Siso, D., Marques, M., … & Santos, B. S. (2022, October). Supporting multi-user co-located training for industrial procedures through immersive virtual reality (VR) and a large-scale display. In 2022 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) (pp. 749-750). IEEE.
• De Blauwe, T., Lourdeaux, D., & Sabouret, N. (2022, May). Design of modular generation of human behaviour in a collaborative context. In 2022 IEEE 25th International Conference on Computer Supported Cooperative Work in Design (CSCWD) (pp. 269-274). IEEE.
• Mascitti, I., Feituri, M., Funghi, F., Correnti, S., & Galassi, L. A. (2010, January). COACH BOT-modular e-course with virtual coach tool support. In International Conference on Agents and Artificial Intelligence (Vol. 2, pp. 115-120). SciTePress.
• Springer, J. P., Neumann, C., Reiners, D., & Cruz-Neira, C. (2011, January). An integrated pipeline to create and experience compelling scenarios in virtual reality. In Three-Dimensional Imaging, Interaction, and Measurement (Vol. 7864, pp. 429-440). SPIE.

Title: Real-time pedagogical assistance system in Virtual Reality: Design and evaluation of supervision and trainer intervention modalities with a group of learners

Names of supervisors :
Pr. Samir OTMANE – – Tel : 01 69 47 75 92
Dr. Guillaume BOUYER – – Tel : 01 69 47 06 22
Dr. Guillaume LOUP – Tel. Guillaume LOUP – – Tel : 01 69 47 75 13

Host laboratory :
IBISC (Informatique, BioInformatique, Systèmes Complexes EA4526), Université Evry Paris-Saclay
UFR S&T, 40 rue de Pelvoux 91000 Evry Courcouronnes

Abstract

Virtual Reality (VR) is establishing itself as an immersive training tool in fields as varied as security, industry, healthcare and special education. However, in the majority of current devices, the trainer’s role is restricted to setting up the devices, configuring the scenarios and post-simulation debriefing. This thesis proposes to design a real-time observation and intervention system, enabling a trainer to analyze learners’ activities in detail, and to trigger a variety of pedagogical and interaction modalities according to their needs. The system will be modular and integrated into existing simulators. The contributions of the interactive modalities and the complete system will be assessed in terms of usability and pedagogy, from both the trainer’s and the learners’ point of view. Two studies are planned. The first will focus on training law enforcement officers to manage a complex team intervention, in which the trainer can take on the role of a teammate or aggressor. A second study will be dedicated to the specific guidance of mentally handicapped learners.

Keywords : Virtual reality, immersive learning, supervision, coaching, adaptive interactions, dynamic scripting

• Date de l’appel : 24/04/2025
• Date limite de candidature: ???
• Début de thèse prévu: 1er octobre 2025
• Statut de l’appel : Non pourvu
• Contact IBISC : Samir OTMANE (PR IUT Évry, IBISC équipe IRA2), samirDOTotmaneATuniv-evryDOTfr, Guillaume BOUYER (MCF ENSIIE, IBISC équipe IRA2), guillaumeDOTbouyerATuniv-evryDOTfr, Guillaume LOUP (MCF Univ. Évry, IBISC équipe IRA2), guillaumeDOTloupATuniv-evryDOTfr
• Web équipe IRA2