Titre: Stimulations et feedbacks audio-visuels pour la marche en réalité augmentée – Application à la rééducation
Mots-clés: Réalité Augmentée, Interaction Humains-Machines, Feedbacks multisensoriels, Marche, Analyse de mouvement, Mesure de performance.
Direction de thèse
- Directeur de thèse: Samir OTMANE (PR IUT Évry, IBISC équipe IRA2), samirDOTotmaneATuniv-evry.DOT.fr
- Co-encadrant : Guillaume BOUYER (MCF ENSIIE, IBISC équipe IRA2), guillaumeDOTbouyerATuniv-evry.DOT.fr
Résumé du projet de thèse
L’objectif de cette thèse est de concevoir, développer et évaluer des feedbacks et des stimulations audio-visuelles dans le cadre de la marche en Réalité Augmentée, afin de mieux comprendre leur impact sur le mouvement et la performance de marche, et d’intégrer ces connaissances dans un jeu vidéo actif de rééducation.
Contexte
La rééducation de la marche, essentielle dans la prise en charge des troubles neurologiques et musculosquelettiques, se heurte à des limites méthodologiques : manque de personnalisation, feedbacks peu engageants, et difficulté à reproduire des environnements écologiques. La réalité augmentée (AR) émerge comme une solution innovante, combinant immersion et ancrage dans le monde réel grâce à la superposition d’informations numériques. Contrairement à la réalité virtuelle (RV), l’AR préserve la perception naturelle de l’espace, permettant une intégration sélective de stimuli thérapeutiques (guidages visuels, cues auditifs) adaptés aux déficits spécifiques.
Le laboratoire IBISC collabore actuellement avec la Fondation Ellen Poidatz dans le projet ARROW, dont l’objectif est de développer, évaluer et industrialiser une plateforme de jeux vidéo actifs pour la rééducation à la marche en Réalité Augmentée [1,2]. Cette solution technologique permet aux patients de réaliser des protocoles d’exercices dans leur environnement réel, avec leurs aides usuelles, tout en leur apportant un accompagnement thérapeutique et ludique. Elle fournit également une analyse de leurs performances utile pour l’équipe thérapeutique (Fig. 1).
L’un des défis du projet est l’ajout d’objets virtuels, de stimulations visuelles et audio ou encore de feedbacks, qui soient à la fois cohérents avec le jeu, pertinents et utiles pour la rééducation de la marche, et adaptés aux besoins du patient. Des travaux récents ont par exemple montré l’impact bénéfique d’un son spatialisé pour améliorer la performance de marche en réalité virtuelle [3], l’utilité d’un entrainement à la marche avec retour auditif pour améliorer le contrôle du tronc et l’activation des muscles chez les patients hémi-parétiques post-AVC [4] ou encore la modification de la cadence de marche chez des sujets sains soumis à des stimulations audio ou visuelles [5].
Nos travaux ont permis de concevoir un modèle des feedbacks adapté au contexte de la réalité augmentée, et de comparer plusieurs mécaniques de feedbacks visuels pour contrôler la vitesse de marche des patients [6], qui ont ensuite été intégrées dans le jeu (Fig. 1).
Cependant, beaucoup de questions se posent encore pour arriver à concevoir des retours ou des stimulations audio-visuels pertinents pour les patients, et comprendre réellement leur impact sur les performances et les paramètres spatiaux-temporels de la marche ou plus généralement sur l’activité de rééducation.
Cette thèse propose d’explorer ces problématiques clés pour contribuer au développement d’outils de rééducation innovants et efficaces, exploitant les jeux vidéo actifs et la réalité augmentée.
Objectifs du travail de thèse et résultats attendus
L’objectif de cette thèse est de contribuer à ce projet en concevant et en évaluant des mécaniques de stimulations et de feedbacks pour la marche en réalité augmentée.
Pour cela, le travail consistera à
-
- Faire un état de l’art des travaux existants, en ayant une approche multidisciplinaire (rééducation, réalité virtuelle et augmentée, apprentissage moteur)
- S’approprier les matériels, applications et codes disponibles au laboratoire
- Participer à l’identification des pistes de recherche
- Concevoir et prototyper des mécaniques de stimulations et de feedbacks. On s’intéressera notamment :
- Au paramétrage spatial des objets et des guides virtuels : position, taille, trajectoire, dynamique…
- A la sonification de la pose du pied : type de son, délai, rythme…
- Mise en place d’expérimentations auprès de participants sains ou de patients o Choix d’un protocole expérimental et de métriques sur la base de l’état de l’art o Développement logiciel du protocole
- Participation à la rédaction d’un dossier au comité éthique o Réalisation de pré-tests o Réalisation de l’évaluation o Analyse des résultats
- Publier les travaux dans des conférences et/ou revues internationales reconnues.
Participants et modalités pratiques
Cette thèse sera portée par l’équipe IRA2 du laboratoire IBISC (www.ibisc.univ–evry.fr/ira2) dont l’un des axes de recherche vise à assister les interactions 3D des utilisateurs (tâches de navigation, sélection, manipulation et contrôle) dans les environnements virtuels ou augmentés. Les approches suivies sont en particulier : les feedbacks multimodaux (visuels, audio et haptiques), les commandes manuelles, gestuelles & tactiles, l’adaptabilité des interactions et la conception centrée utilisateurs. Les moyens matériels et logiciels de l’équipe (plateforme EVR@ et solution complète ARROW) seront à la disposition du (de la) candidat.e.
Le(la) candidat(e) retenu(e) sera inscrit(e) en thèse à l’École Doctorale Sciences et technologies de l’information et de la communication (STIC) de l’Université Paris-Saclay. La thèse sera placée sous la direction de Samir Otmane (Univ. Évry / IBISC) et co-encadrée par Guillaume Bouyer (ENSIIE / IBISC). Une collaboration avec le Pôle Recherche et Innovation de la Fondation Ellen Poidatz est envisagée pour les besoins en analyse du mouvement et l’accès aux patients.
Candidature
Profil recherché :
-
- Diplômé(e) de Master 2 ou Ecole d’Ingénieur, en informatique ou nouvelles technologies pour la santé
- Connaissance des interactions humains-machines et de la réalité virtuelle et/ou augmentée.
Intérêt pour la conception d’interactions, le prototypage, et les tests utilisateurs.
-
- Compétences en développement logiciel (type Unity/C#), bons bagages scientifiques.
- Bonne maitrise de la communication en français et en anglais (oral/écrit).
- Qualités recherchées : grande motivation, autonomie, rigueur, force de proposition, ouverture aux approches pluridisciplinaires.
La candidature devra être accompagnée d’un CV, d’une lettre de motivation et des relevés de notes M1 et M2. Les avis d’enseignants et du responsable du stage de M2 seront appréciés.
En savoir plus sur ADUM.
Title: Stress and Cognitive Load Modulation through Causal Inference in EEG for Virtual Reality applications
Keywords: Augmented Reality, Human-Computer Interaction, Multisensory Feedback, Gait, Motion Analysis, Performance Measurement.
Doctoral thesis direction
- PhD thesis supervisor: Samir OTMANE (PR IUT Évry, IBISC IRA2 team), samirDOTotmaneATuniv-evryDOTfr
- PhD thesis co-supervisor : Guillaume BOUYER (Assis. prof. ENSIIE, IBISC IRA2 team), guillaumeDOTbouyerATuniv-evryDOTfr
Abstract
The objective of this thesis is to design, develop, and evaluate audio-visual feedback and stimulations within the context of gait in Augmented Reality, in order to better understand their impact on movement and gait performance, and to integrate this knowledge into an active video game for rehabilitation.
Project description
Gait rehabilitation, essential in the management of neurological and musculoskeletal disorders, faces methodological limitations: lack of personalization, unengaging feedback, and difficulty in reproducing ecological environments. Augmented Reality (AR) is emerging as an innovative solution, combining immersion and anchoring in the real world through the superimposition of digital information. Unlike Virtual Reality (VR), AR preserves the natural perception of space, allowing for the selective integration of therapeutic stimuli (visual guidance, auditory cues) adapted to specific deficits.
The IBISC laboratory is currently collaborating with the Ellen Poidatz Foundation on the ARROW project, which aims to develop, evaluate, and industrialize an active video game platform for gait rehabilitation using Augmented Reality (AR) [1,2]. This technological solution enables patients to perform exercise protocols in their real environment, using their usual assistive devices, while benefiting from both therapeutic and engaging support. Additionally, it provides an analysis of their performance, which is valuable for the therapeutic team (Fig. 1).
One of the key challenges of the project is the integration of virtual objects, visual and auditory stimuli, and feedback that are simultaneously coherent with the game, relevant and beneficial for gait rehabilitation, and tailored to the patient’s needs. Recent studies have demonstrated, for instance, the beneficial impact of spatialized sound on gait performance in virtual reality [3], the effectiveness of gait training with auditory feedback in improving trunk control and muscle activation in post-stroke hemiparetic patients [4], and the influence of auditory and visual stimuli on modifying gait cadence in healthy individuals [5].
Our own work has led to the development of a feedback model adapted to the context of augmented reality, as well as a comparison of various visual feedback mechanisms for controlling patients’ walking speed [6], which were subsequently integrated into the game (Fig. 1).
However, many questions remain regarding the design of relevant audiovisual feedback and stimuli for patients and the understanding of their actual impact on gait performance, spatiotemporal parameters, and more broadly, rehabilitation activity. This doctoral research aims to explore these critical issues to contribute to the development of innovative and effective rehabilitation tools that leverage active video games and augmented reality.
Objectives of the thesis and expected results
The objective of this thesis is to contribute to this project by designing and evaluating stimulation and feedback mechanisms for gait in augmented reality. To this end, the work will consist of:
-
- Conducting a state-of-the-art review of existing work, adopting a multidisciplinary approach (rehabilitation, virtual and augmented reality, motor learning…).
- Becoming proficient with the hardware, applications, and code available in the laboratory.
- Participating in the identification of research directions.
- Designing and prototyping stimulation and feedback mechanisms. Particular attention will be paid to:
- The spatial parameters of virtual objects and guides: position, size, trajectory, dynamics…
- The sonification of foot posture: type of sound, delay, rhythm…
- Setting up experiments with healthy participants or patients:
- Selection of an experimental protocol and metrics based on the state of the art. o Software development of the protocol. o Participation in the writing of a submission to the ethics committee. o Conducting pre-tests.
- Carrying out the evaluation.
- Analysis of the results.
- Publishing the work in recognized international conferences and/or journals.
Participants and practical arrangements
This thesis will be supported by the IRA2 team of the IBISC laboratory (www.ibisc.univ–evry.fr/ira2), whose one of research axis aims to assist users’ 3D interactions (navigation, selection, manipulation and control tasks) in virtual or augmented environments. The approaches followed are in particular: multimodal feedbacks (visual, audio and haptic), manual, gestural & tactile controls, adaptability of interactions and user-centered design. The team’s hardware and software resources (EVR@ platform and complete ARROW solution) will be available to the candidate.
The selected candidate will be enrolled as a doctoral student at the Doctoral School of Information and Communication Sciences and Technologies (STIC) of the Université Paris-Saclay.
The thesis will be supervised by Samir Otmane (Univ. Evry / IBISC) and co-supervised by Guillaume Bouyer (ENSIIE / IBISC). A collaboration with the Research and Innovation Center of the Ellen Poidatz Foundation is planned for motion analysis needs and access to patients.
This thesis will be supported by the IRA2 team of the IBISC laboratory (www.ibisc.univ-evry.fr/ira2), one of whose research focuses on assisting users’ 3D interactions.
Candidature application
Desired profile:
-
- Master’s degree (Master 2) or Engineering School degree holder, in computer science or new technologies for health.
- Knowledge of Human-Computer Interaction and virtual and/or augmented reality. Interest in interaction design, prototyping, and user testing.
- Software development skills (e.g., Unity/C#), strong scientific background.
- Good command of English or French communication (oral/written).
- Desired qualities: strong motivation, autonomy, rigor, proactivity, openness to multidisciplinary approaches.
The application must include a CV, a cover letter, and transcripts from Master 1 and Master 2. Letters of recommendation from professors and the Master 2 internship supervisor will be appreciated.
See more at ADUM.
References
- https://www.youtube.com/watch?v=aNdIkUt7O1Q
- Anne-Laure Guinet, Retours sensoriels multimodaux en réalité augmentée pour la rééducation de la marche des enfants atteints de paralysie cérébrale, Thèse de doctorat de l’Université Paris Saclay, 16 mars 2022.
- Mahmud, M. R., Stewart, M., Cordova, A., & Quarles, J. (2022, October). Auditory feedback to make walking in virtual reality more accessible. In 2022 IEEE international symposium on mixed and augmented reality (ISMAR) (pp. 847-856). IEEE.
- Jung KS, Bang H, In TS, Cho HY. Gait training with auditory feedback improves trunk control, muscle activation and dynamic balance in patients with hemiparetic stroke: A randomized controlled pilot study. J Back Musculoskelet Rehabil. 2020;33(1):1-6.
- Retzinger GR, Golbarg B, Pham WT, Lachica IJ, Chan T, Hinkel-Lipsker JW. Holographic Hintways: A systems feasibility and usability study of augmented reality cueing for gait adaptation. Gait Posture. 2024 Jan;107:218-224.
- -L. Guinet, G. Bouyer, S. Otmane and E. Desailly, « Visual Feedback in Augmented Reality to Walk at Predefined Speed Cross-Sectional Study Including Children With Cerebral Palsy, » in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 30, pp. 2322-2331, 2022.
- Date de l’appel : 04/04/2025
- Date limite de candidature: ??? 2025
- Début de thèse prévu: 1er octobre 2025
- Statut de l’appel : Non pourvu
- Contact IBISC : Samir OTMANE (PR IUT Évry, IBISC équipe IRA2), samirDOTotmaneATuniv-evryDOTfr, Guillaume BOUYER (MCF ENSIIE, IBISC équipe IRA2), guillaumeDOTbouyerATuniv-evryDOTfr
- En savoir plus sur ADUM
- Web équipe IRA2
