Rayane BENYOUCEF soutient sa thèse de doctorat le mercredi 8 décembre 2021 à 10h.
Titre : Contribution à la cinématique à partir du mouvement : approches basées sur des observateurs non linéaires
Mots clés : Estimation, Caméra, Profondeur, Vitesse linéaire.
Résumé :
Ce manuscrit présente les différentes contributions scientifiques au cours de cette thèse, dans le but de résoudre le problème de la reconstruction 3D structure from motion (SfM) à travers la synthèse de modèles dynamiques et d’algorithmes d’observation pour la reconstruction de variables non mesurées. Il ne fait aucun doute que les capteurs de vision sont la source la plus importante fournissant des informations riches sur l’environnement et c’est là que l’estimation de la structure de la scène commence à trouver des usages professionnels. Il y a eu un intérêt significatif pour récupérer la structure 3D d’une scène à partir de pixels en 2D en considérant une séquence d’images. Plusieurs solutions à ce problème ont été proposées dans la littérature. L’objectif du problème classique de la « structure from mouvement (SfM) » est d’estimer les coordonnées euclidiennes des points caractéristiques suivis, attachés à un objet (c’est-à-dire la structure 3D) à condition que le mouvement relatif entre la caméra et l’objet soit connu. Il est largement traité dans la littérature que le mouvement translationnel de la caméra a un effet important sur la performance de l’estimation de la structure 3D. Pour les caméras embarquées (eye-in-hand) portées par un robot manipulateur fixés au sol, il est simple de mesurer la vitesse linéaire. Cependant, en ce qui concerne les caméras montées sur des robots mobiles, certains problèmes pratiques peuvent survenir. Par conséquent, un autre objectif de cette thèse est de trouver des stratégies pour développer des observateurs non linéaires déterministes pour résoudre le problème de SfM et obtenir une estimation fiable des vitesses linéaires variables dans le temps, utilisées comme entrées du schéma d’estimation, ce qui est une exigence implicite pour la plupart des visions actives. Les techniques utilisées sont basées sur les modèles de Takagi-Sugeno et de la théorie de Lyapunov. Dans la première partie, une solution pour le problème SfM est présentée, où le but principal est d’identifier la structure 3D d’un point caractéristique observé par une caméra calibrée en supposant une connaissance précise des vitesses linéaires et angulaires de la caméra. Ensuite, ce travail est étendu à l’étude de la reconstruction 3D d’un point en considérant une caméra partiellement calibrée. Dans la deuxième partie, la thèse se focalise sur l’identification de la structure 3D d’un point caractéristique suivi et de la vitesse linéaire de la caméra. Dans un premier temps, la stratégie présentée vise à récupérer les informations 3D et l’estimation de la vitesse linéaire partielle de la caméra. Ensuite, la thèse introduit l’estimation de la structure et l’estimation complète de la vitesse linéaire de la caméra, où l’observateur proposé n’a besoin que de la vitesse angulaire de la caméra et des accélérations linéaires et angulaires correspondantes. Les performances de chaque observateur sont mises en évidence à l’aide d’une série de simulations avec plusieurs scénarios.
Composition du jury de thèse
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Hichem ARIOUI | Maître de Conférences HDR | Université d’Évry, Université Paris-Saclay | Directeur de thèse |
| Aziz BENALLEGUE | Professeur des Universités | Université de Versailles | Examinateur |
| Hicham HADJ-ABDELKADER | Maître de Conférences | Université d’Évry, Université Paris-Saclay | Encadrant de thèse |
| Youcef MEZOUAR | Professeur des Universités | Institut Pascal / Institut Français de Mécanique Avancée | Rapporteur |
| Lamri NEHAOUA | Maître de Conférences | Université d’Évry, Université Paris-Saclay | Encadrant de thèse |
| Hélène PIET-LAHANIER | Adjointe scientifique | ONERA Palaiseau | Examinatrice |
| Pascal VASSEUR | Professeur des Universités | Université de Picardie Jules Verne | Examinateur |
| Omar TAHRI | Professeur des Universités | Université Bourgogne Franche-Comté | Rapporteur |
Title: Contribution to kinematics from motion : nonlinear observer based approaches
Keywords: Estimation, Camera, Depth, Linear velocity
Abstract
This manuscript outlines the various scientific contributions during this thesis, with the objective of solving the problem of the 3D reconstructure Structure from Motion (SfM) through the synthesis of dynamic models and observation algorithms for the reconstruction of unmeasured variables. Undoubtedly, vision sensors are the most important source providing rich information about the environment and that’s where the scene structure estimation begins to find professional uses. There has been significant interest in recovering the 3D structure of a scene from 2D pixels considering a sequence of images. Several solutions have been proposed in the literature for this issue. The objective of the classic “structure from motion (SfM)” problem is to estimate the Euclidean coordinates of tracked feature points attached to an object (i.e., 3-D structure) provided the relative motion between the camera and the object is known. It is thoroughly addressed in literature that the camera translational motion has a strong effect on the performance of 3D structure estimation. For eye-in-hand cameras carried by robot manipulators fixed to the ground, it is straightforward to measure linear velocity. However when dealing with cameras riding on mobile robots, some practical issues may occur. In this context, particular attention has been devoted to estimating the camera linear velocities. Hence another objective of this thesis is to find strategies to develop deterministic nonlinear observers to address the SfM problem and obtain a reliable estimation of the unknown time-varying linear velocities used as input of the estimator scheme which is an implicit requirement for most active vision. The techniques used are based on TakagiSugeno models and Lyapunov-based analysis. In the first part, a solution for the SfM problem is presented, where the main purpose is to identify the 3D structure of a tracked feature point observed by a moving calibrated camera assuming a precise knowledge of the camera linear and angular velocities. Then this work is extended to investigate the depth reconstruction considering a partially calibrated camera. In the second part, the thesis focuses on identifying the 3D structure of a tracked feature point and the camera linear velocity. At first, the strategy presented aims to recover the 3D information and partial estimate of the camera linear velocity. Then, the thesis introduces the structure estimation and full estimation of the camera linear velocity, where the proposed observer only requires the camera angular velocity and the corresponding linear and angular accelerations. The performance of each observer is highlighted using a series of simulations with several scenarios and experimental tests.
- Date : mercredi 08/12/2021, 10h
- Lieu : Site Pelvoux, Amphithéâtre Bx30
- Doctorante : Rayane BENYOUCEF, Université d’Évry Université Paris Saclay, IBISC équipe SIAM
- Directeur de thèse : Hichem ARIOUI (MCF HDR Univ. Évry, IBISC équipe SIAM)
