Sujet : « Étude du comportement visuel des motocyclistes : modélisation et formation sur simulateur virtuel »
Mots clés : Interaction-Humain-Machine, Réalité Virtuelle, Intelligence Artificielle, Formation à la conduite Moto, Simulateur, Eye-tracking.
Direction des travaux
- Directeur de thèse : Amine CHELLALI (MCF Univ. Evry Université Paris Saclay, IBISC équipe IRA2) – amineDOTchellaliATuniv-evryDOTfr
- Co-encadrant : Hichem ARIOUI (MCF Univ. Evry Université Paris Saclay, IBISC équipe SIAM) – hichemDOTariouiATuniv-evryDOTfr
Domaines scientifique et axes stratégiques
Ce projet interdisciplinaire se trouve à la frontière entre les domaines de l’interaction humain-machine (IHM) et de la réalité virtuelle (RV) d’un côté, et de l’automatique et le traitement de données de l’autre. Il répond à des enjeux sociétaux majeurs comme la mobilité et la sécurité routière. Il sera réalisé au sein de l’équipe IRA2 du laboratoire IBISC et de l’équipe SIAM en lien avec deux axes transverses de recherche du laboratoire IBISC autour de l’IA et de la mobilité intelligente. Il fait suite au projet TEDw[1] lauréat de l’AAP 2019 du Département STIC de l’Université Paris-Saclay et qui a permis de financer une partie des équipements nécessaires à sa réalisation.
[1] Training the Eye for Driving two-wheeled vehicles
Thématique scientifique : actualité et enjeux
1.1. Contexte
Les véhicules à deux-roues motorisés (V2RM) sont un axe de recherche prioritaire pour les institutions en charge de l’étude du comportement et de la sécurité des usagers vulnérables. L’accidentologie des deux-roues est bien plus importante, comparée à celle des autres usagers. En moyenne, 1200 motards sont tués chaque année sur les routes depuis 20 ans. Alors que la mortalité routière en France a connu une baisse notable, celle des motards s’est fortement aggravée (~25% des accidents mortels sur la route, bilan de l’ONISR). Aujourd’hui, la situation reste critique et demeure un enjeu européen comme en témoigne l’investissement de la communauté européenne dans ce secteur, notamment en ce qui concerne les conducteurs novices qui constituent 45% des accidents.
Bien que les avancées techniques soient balbutiantes, les études portant sur les facteurs humains dans ce contexte sont quasi absentes. Ce projet de thèse se veut précurseur au niveau national sur la modélisation des conducteurs des V2RM dans le but de prédire les situations accidentogènes et d’aider les conducteurs novices à mieux réagir.
1.2. Problématique scientifique
La conduite est une tâche dynamique complexe dans laquelle le conducteur doit traiter en permanence les informations de son environnement [1]. Ceci est nécessaire pour contrôler la vitesse et la direction du véhicule, ou encore pour éviter les véhicules et les dangers. Dans ce contexte, la vision humaine est capitale pour une meilleure conduite. Aussi, le rôle de la direction du regard du conducteur et l’étendue de son champ visuel sur la conduite a été l’objet de plusieurs travaux de recherche [2, 3, 4, 5, 6]. Ces études ont montré que ces facteurs impactent la variabilité de la direction du véhicule et son positionnement sur la chaussée. D’autres études ont examiné la relation entre différents facteurs humains (déficience visuelle, distractions, charge cognitive…) et la conduite [7, 8, 9]. Cependant très peu de ces travaux ont concerné les V2RM. A ce jour, aucun travail n’a abordé l’impact de la direction du regard sur la conduite moto.
De nombreuses discussions avec des centres de formation à la conduite V2RM ont confirmé que l’impact de la direction du regard sur les performances de conduite est capital et se manifeste à travers différentes situations telles que : 1- l’adaptation de la vitesse lors d’un changement de voie, 2- le maintien de la trajectoire dans les courbes, 3- la position sur la chaussée pendant les virages, 4- le maintien des distances inter véhiculaires, 5- les compétences d’anticipation, 6- l’interaction avec les autres véhicules, etc. Un exemple avéré est celui d’un mouvement de haut en bas de la tête qui conduit en une trajectoire en zig-zag (variabilité accrue) de la moto menant à des situations parfois dangereuses. Cependant, il n’existe actuellement aucun outil de formation permettant de transmettre cette expertise à des conducteurs novices.
1.3. Objectifs du projet de thèse
Ce projet utilisera les techniques issues du domaine de l’IA pour analyser et modéliser le comportement humain et les techniques d’Interaction humain-machine basées sur une approche centrée sur l’humain afin de modifier ce comportement. Pour ce faire, ce projet se propose, d’un côté, d’analyser les impacts des comportements oculaires du conducteur sur les performances de la conduite des V2RM, en fonction de l’expertise du conducteur et d’en extraire les relations de cause-à-effet. De l’autre côté, il vise à concevoir et à évaluer un simulateur de virtuel permettant la correction de la direction du regard des motocyclistes pour améliorer leurs performances de conduite (faire converger la trajectoire réelle vers celle souhaitée). Cette étape consistera à proposer de nouvelles techniques multimodales de guidage dans des environnements virtuels de formation à la conduite.
La première tâche (1) de ce travail de thèse consistera à valider le simulateur virtuel développé actuellement au sein du laboratoire. Ce système est capable de reproduire une situation de conduite réelle dans un environnement simulé [10]. Cet outil logiciel est couplé avec la plateforme physique de simulation (fig. 1) de V2RM du laboratoire [11]. Il permet à l’aide d’un casque de RV équipé d’un oculomètre (HTC Vive Pro Eye) de simuler des scénarios de conduite d’une moto et d’extraire les comportements oculaires du conducteur. Cette validation sera nécessaire afin de s’assurer que le comportement du conducteur sur le simulateur est similaire à son comportement en conduite réelle. En effet, la validité de ce type de systèmes ainsi que l’impact de la fidélité des interactions restent des questions ouvertes [2, 10]. Une étude sur le potentiel mal du simulateur sera également réalisée.
La seconde tâche (2) consistera ensuite à analyser et à comparer les performances de conduite entre plusieurs motards en fonction de différents paramètres, en particulier, la direction et la trajectoire de leur regard. Les mesures seront réalisées sur le simulateur avec des motards ayant des niveaux d’expertise différents (novice, confirmé et expert). Les paramètres de conduite qui incluent la trajectoire réalisée, les changements de voies, la variabilité du placement latéral, l’accomplissement de la trajectoire de sécurité, le suivi de leader, seront codées par des réseaux de neurones profonds [12, 13]. Ces derniers seront capables (1) d’évaluer le niveau d’un conducteur et (2) de prédire la trajectoire optimale dans un environnement non contrôlé. Un des scénarios types que l’on prendra comme base de comparaison sera celui de la prise de virages (avec ou sans trafic).
La troisième tâche (3) consistera à proposer, sur la base du modèle identifié, un outil de formation des motards en réalité virtuelle pour améliorer les performances des conducteurs novices. Cet outil permettra : 1- d’extraire les comportements oculaires du conducteur novice en temps-réel pendant la conduite simulée, 2- de comparer ces données avec le modèle proposé et 3- de mettre en place des guides multimodaux permettant de corriger la direction de son regard, lorsque celle-ci diverge de celle d’une conduite sûre. En se basant sur une méthodologie de conception centrée sur l’humain [14], différentes modalités de guidage seront explorées et comparées à travers des échanges avec les experts du domaine et des études expérimentales simulant différents scénarios de conduite. Dans ce contexte, des guides visuels ont été explorer pour impacter la direction du regard des conducteurs de voitures. L’étude a néanmoins montré peu d’effets sur le comportement visuel des conducteurs [15]. Il s’agira donc d’explorer cette modalité dans le cadre des V2RM mais également d’explorer d’autres modalités tels que les retours haptiques [10] ou sonores ou des combinaisons de plusieurs de ces modalités. A plus long terme, il sera nécessaire d’évaluer le transfert des compétences apprises sur le simulateur proposé vers le monde réel. Une nouvelle étude expérimentale devra être mise en place pour évaluer les performances de conduite, mais cette fois dans une situation de conduite réelle. Ceci nécessitera l’instrumentation du conducteur et de la moto afin de pouvoir recueillir et analyser les données.
Résultats attendus
- Réaliser une étude de l’état de l’art sur l’analyse du comportement oculaire notamment dans le domaine de la conduite de véhicules et sur les guides virtuels pour la formation,
- Concevoir, développer et évaluer un prototype virtuel d’un simulateur de conduite V2RM couplé à une plateforme physique existante (travail en cours),
- Proposer un modèle permettant de décrire les relations de cause-à-effet entre le comportement oculaire et les performances de conduite des motocyclistes, en fonction de l’expertise du conducteur,
- Concevoir un système d’aide à la conduite basé sur des guides multimodaux, permettant la correction de la direction du regard des conducteurs de V2RM afin d’améliorer les performances de conduite,
- Évaluer le prototype pour valider son efficacité pour la formation des conducteurs novices,
- Publier les résultats dans des conférences internationales reconnues (ex. IEEE VR, IEEE ISMAR) et dans au moins une revue internationale de renom (IJHCS, Frontiers in Robotics and AI).
Compétences et qualités requises pour le candidat(e)
- Niveau M2 ou équivalent en RV, Robotique et/ou IA
- Une bonne maîtrise de la conception/programmation (si possible Unity/C#),
- Des connaissances de la réalité virtuelle, des approches centrées utilisateur, des études utilisateur, des méthodes d’analyse de données oculumétriques, et des méthodes d’IA,
- Des compétences en mécatronique et en robotique seraient un plus afin de faciliter l’interfaçage du simulateur physique avec les environnements virtuels développés,
- Avoir un goût pour la recherche, le travail d’équipe et les échanges pluridisciplinaires.
Par ailleurs, les critères de sélection du candidat sont très importants, nous citons par exemple :
- La qualité du candidat (résultats du Master ou équivalents, aptitudes du candidat à la recherche telles qu’elles peuvent s’évaluer à partir des périodes de stage ou mémoire de recherche, publications, et recommandations des encadrants pédagogiques),
- L’adéquation du profil du candidat à la réalisation du projet de thèse.
Conditions de travail
Cette thèse sera réalisée au laboratoire IBISC ( Laboratoire IBISC EA 4526 – Equipe IRA2, Equipe SIAM – entrée par le 36 Rue du Pelvoux 91080 EVRY-COURCOURONNES). Elle fera suite aux travaux de l’équipe IRA2 sur l’étude du comportement visuel [16], la conception des simulateurs de conduite et des aides multimodales pour la formation [10, 14, 17]. Elle sera réalisée en collaboration avec l’équipe SIAM du laboratoire qui a une longue expérience dans le domaine de la conception des simulateurs et des systèmes d’aides à la conduite des V2RM [11, 18].
La direction de la thèse sera assurée par Amine CHELLALI (70%) avec la co-encadrement de Hichem ARIOUI (30%). Hedi Tabia, participera au projet en tant que conseiller scientifique sur l’utilisation des méthodes d’IA.
Des plateformes expérimentales (fig. 1) (plateforme de réalité virtuelle EVR@, plateforme Véhicules et Drones) seront mises à disposition avec différents dispositifs matériels et logiciels nécessaires à la réalisation du projet (oculomètres, casques de RV, motos, simulateur de moto, logiciel d’analyse de données oculaires…). Des collaborations avec l’Université Gustave Eiffel (ex IFSTTAR) sont également en cours dans le cadre de ce projet.
Toutes les études expérimentales impliquant des personnes devront être validées par le comité d’éthique de l’Université Paris Saclay (CER-PS) avant leur réalisation afin de s’assurer que les protocoles expérimentaux respectent les règles éthiques et de protection des personnes impliquées.
Dossier de candidature
Le dossier de candidature comportant un CV, une lettre de motivation, les relevés de notes (M1 et M2) avec classements, deux lettres de recommandation est à envoyer par mail à :
- Amine CHELLALI (MCF Univ. Évry, IBISC équipe IRA2) – amineDOTchellaliATunivDOTevryDOTfr
- Hichem ARIOUI (MCF HDR Univ. Évry, IBISC équipe SIAM) – hichemDOTariouiATunivDOTevryDOTfr
avant le 10 Mai 2021. La candidature finale devra également être directement déposée sur le site de candidature de l’Université Paris Saclay avant le 15 Mai 2021.
Références
[1] Schnebelen D, Charron C, Mars F (2021) Model-based estimation of the state of vehicle automation as derived from the driver’s spontaneous visual strategies. Journal of Eye Movement Research 12: 10 HAL https://hal.archives-ouvertes.fr/hal-03142031/
[2] Lobjois R, Mars F (2019) Effects of motorcycle simulator configurations on steering control and gaze behavior in bends. Journal of experimental psychology: applied HAL https://hal.archives-ouvertes.fr/hal-02279075
[3] Vansteenkiste P, Van Hamme D, Veelaert P, Philippaerts R, Cardon G, Lenoir M (2014) Cycling around a curve: the effect of cycling speed on steering and gaze behavior. PloS one 9 https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0102792
[4] Itkonen T, Pekkanen J, Lappi O (2015) Driver gaze behavior is different in normal curve driving and when looking at the tangent point. PloS one 10 https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0135505
[5] Di Nocera F, Camilli M, Terenzi M (2006) Using the distribution of eye fixations to assess pilots’ mental workload. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, pp 63–65 https://www.researchgate.net/publication/266016987_Using_the_Distribution_of_Eye_Fixations_to_Assess_Pilots’_Mental_Workload
[6] Lobjois R, Siegler IA, Mars F (2016) Effects of visual roll on steering control and gaze behavior in a motorcycle simulator. Transportation research part F: traffic psychology and behaviour 38: 55–66 HAL https://hal.archives-ouvertes.fr/hal-01307490
[7] Harbluk JL, Noy YI, Trbovich PL, Eizenman M (2007) An on-road assessment of cognitive distraction: Impacts on drivers’ visual behavior and braking performance. Accident Analysis & Prevention 39: 372–379 https://www.researchgate.net/publication/6740788_An_on-road_assessment_of_cognitive_distraction_Impacts_on_drivers’_visual_behavior_and_braking_performance
[8] Seya Y, Nakayasu H, Yagi T (2013) Useful field of view in simulated driving: Reaction times and eye movements of drivers. i-Perception 4: 285-298 https://www.researchgate.net/publication/259355312_Useful_Field_of_View_in_Simulated_Driving_Reaction_Times_and_Eye_Movements_of_Drivers
[9] Deng Q, Wang J, Hillebrand K, Benjamin CR, Söffker D (2019) Prediction performance of lane changing behaviors: a study of combining environmental and eye-tracking data in a driving simulator. IEEE Transactions on Intelligent Transportation Systems DOI 10.1109/TITS.2019.2937287
[10] Bouyer G, Chellali A, Lécuyer A (2017) Inducing self-motion sensations in driving simulators using forcefeedback and haptic motion. 2017 IEEE Virtual Reality (VR), pp 84–90 HAL https://hal.archives-ouvertes.fr/hal-01524537/
[11] Arioui H, Nehaoua L, Hima S, Séguy N, Espié S (2010) Mechatronics, design, and modeling of a motorcycle riding simulator. IEEE/ASME Transactions on Mechatronics 15: 805–818 HAL https://hal.archives-ouvertes.fr/hal-00515557/
[12] Luvizon D, Picard D, Tabia H (2020) Multi-task Deep Learning for Real-Time 3D Human Pose Estimation and Action Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence HAL https://hal.archives-ouvertes.fr/hal-02558843
[13] Paumard MM, Picard D, Tabia H (2020) Deepzzle: Solving Visual Jigsaw Puzzles With Deep Learning and Shortest Path Optimization. IEEE Transactions on Image Processing 29: 3569–3581 HAL https://hal.archives-ouvertes.fr/hal-02494602
[14] Chellali A, Mentis HM, Miller A, Ahn W, Arikatla VS, Sankaranarayanan GS, Schwaitzberg SD, Cao CGL (2016) Achieving Interface and Environment Fidelity in the Virtual Basic Laparoscopic Surgical Trainer. International Journal of Human-Computer Studies 96: 22–37 HAL https://hal.archives-ouvertes.fr/hal-01344244
[15] Mars F (2008) Steering and gaze control modifications from directed or spontaneous use of a visual augmentation cue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, pp 1541– 1545 HAL https://hal.archives-ouvertes.fr/hal-00457754
[16] Mentis HM, Chellali A, Schwaitzberg S (2014) Learning to see the body: supporting instructional practices in laparoscopic surgical procedures. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp 2113–2122 HAL https://hal.archives-ouvertes.fr/IBISC/hal-00957806
[17] Roth-Monzon EL, Chellali A, Dumas C, Cao CGL (2012) Training effects of a visual aid on haptic sensitivity in a needle insertion task, Vancouver, pp 199–202 HAL https://hal.archives-ouvertes.fr/hal-00665855/
[18] Nehaoua L, Arioui H, Seguy N, Mammar S (2013) Dynamic modelling of a two-wheeled vehicle: Jourdain formalism. Vehicle System Dynamics 51: 648–670 HAL https://hal.archives-ouvertes.fr/hal-00786265
- Date de l’appel : 30/04/2021
- Statut de l’appel : Non pourvu
- Contacts : Amine CHELLALI (MCF Univ. Évry, IBISC équipe IRA2), Hichem ARIOUI (MCF HDR Univ. Évry, IBISC équipe SIAM)
- Sujet de thèse (format PDF)
- Web équipe IRA2
- Web équipe SIAM
