Ayman BEGHDADI soutient sa thèse de doctorat le jeudi 23 novembre 2023 à 10h en salle Ax101 du site Pelvoux de l’Université d’Évry. Une retransmission via Zoom est également disponible: https://univ-evry-fr.zoom.us/j/95590481330?pwd=U3V6dTk1OHdQV0ErQzJNVzBqZnlIUT09
Titre : Interactions multi sensorielles entre un système robotique multidimensionnel et multi capteur
Résumé :
Dans le cadre de simulateur de réalité mixte, la qualité de l’immersion ne peut être évaluée qu’à travers des questionnaires post-simulations faits sur les utilisateurs. Afin de s’affranchir de cette limite, nous proposons un système reproduisant la capacité de l’humain à percevoir son mouvement en vue d’évaluer la qualité de l’immersion de manière qualitative. Dans notre système, l’humain est ainsi remplacé par un robot humanoïde NAO et un modèle de perception visuo-inertiel du mouvement permettant de simuler par biomimétisme la fonction cognitive visuo-spatiale de l’humain. Ce système soulève des problématiques relatives aux traitements des flux d’information visuelle et inertielle réalisés respectivement par le cortex visuel et le système vestibulaire. En conséquence, une méthode de SLAM visuel robuste aux dynamiques de scène est proposée en substitue des tâches réalisées par le cortex visuel. Cette méthode exploite les informations spatiales, sémantiques et d’interactions présentes dans la scène observée dans le but d’atteindre un niveau de robustesse similaire à l’humain. Une base de données contenant des images photo-réalistes dégradées de manière globale et locale a également été produite pour rendre notre méthode de SLAM moins sensible aux phénomènes de distorsions liées aux conditions d’acquisition. Les estimations visuelles et inertielles sont ensuite intégrées à un framework liant notre robot NAO et le modèle de perception utilisé en vue de déterminer le mouvement perçu selon l’humain et ainsi émettre un avis sur la qualité de l’immersion. Ce framework offre alors la possibilité de calibrer des scénarios pour le simulateur qui garantissent à la fois une restitution des sensations et l’intégrité physique de l’utilisateur. Enfin, dans l’objectif d’optimiser l’immersion, une méthode d’apprentissage par renforcement pour l’optimisation de la restitution des sensations inertielles à travers le Motion Cueing Algorithm est proposée. Cette méthode permet une meilleure retranscription des sensations inertielles par la plateforme robotique du simulateur.
Composition du jury de thèse/Composition of the doctoral thesis jury
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Ali AMOURI | PRCE DR | Université Paris-Saclay (Univ. Évry) | Co-encadrant de thèse |
| Lotfi BEJI | Maître de conférence HDR | Université Paris-Saclay (Univ. Évry) | Co-encadrant de thèse |
| Faïz BEN AMAR | Professeur des universités | Sorbonne Université | Examinateur |
| Jenny BENOIS-PINEAU | Professeure des Universités | Université de Bordeaux | Rapporteure et examinatrice |
| Adriana TAPUS | Professeure des Universités | ENSTA Paris | Rapporteure et examinatrice |
| David FOFI | Professeur des Universités | Université de Bourgogne | Examinateur |
| Malik MALLEM | Professeur des Universités | Université Paris-Saclay (Univ. Évry) | Directeur de thèse |
| Éric MONACELLI | Professeur des Universités | Université Paris-Saclay | Examinateur |
Ayman BEGHDADI defends his doctoral thesis on Thursday November 23, 2023 at 10 a.m. in room Ax101 on the Pelvoux site of the University of Évry. A broadcast via Zoom is also available: https://univ-evry-fr.zoom.us/j/95590481330?pwd=U3V6dTk1OHdQV0ErQzJNVzBqZnlIUT09
Title : Multi-sensory interactions between a multidimensional and multi-sensor robotic system
Abstract :
In mixed-reality simulators, immersion quality can only be assessed through post-simulation user questionnaires. In order to overcome this limitation, we propose a system that reproduces the human’s ability to perceive its own movement, in order to assess the quality of immersion in a qualitative way. In our system, the human is replaced by a NAO humanoid robot and a visuo-inertial motion perception model that simulates the visuo-spatial cognitive function of humans. This system raises issues relating to the processing of visual and inertial information flows by the visual cortex and vestibular system, respectively. Consequently, a visual SLAM method robust to scene dynamics is proposed as a substitute for tasks performed by the visual cortex. This method exploits the spatial, semantic, and interaction information present in the observed scene, with the aim of achieving a human-like level of robustness. A database containing globally and locally degraded photo-realistic images has also been produced to make our SLAM method less sensitive to distortion phenomena linked to acquisition conditions. The visual and inertial estimates are then integrated into a framework linking our NAO robot and the perception model used, in order to determine the movement perceived by the human and thus give an opinion on the quality of immersion. This framework then offers the possibility of calibrating scenarios for the simulator that guarantee both the restitution of sensations and the physical integrity of the user. Finally, with the aim of optimizing immersion, a reinforcement learning method for optimizing the restitution of inertial sensations through the Motion Cueing Algorithm is proposed. This method enables a better transcription of inertial sensations by the simulator’s robotic platform.
- Date : jeudi 23/11/2023, 10h00
- Lieu: Site Pelvoux, Université d’Évry, salle Ax101
- Retransmission via Zoom https://univ-evry-fr.zoom.us/j/95590481330?pwd=U3V6dTk1OHdQV0ErQzJNVzBqZnlIUT09
- Doctorant : Ayman BEGHDADI, IBISC équipe IRA2
- Direction de thèse : Malik MALLEM (PR Univ. Évry, IBISC équipe IRA2), Lotfi BEJI (MCF HDR Univ. Évry, IBISC équipe SIAM), Ali AMOURI (PRCE Univ. Évry, IBISC équipe IRA2)
