Ahmed TABIA soutient sa thèse de doctorat le vendredi 6 septembre 2024, 14h sur le site Pelvoux, salle Ax101.
Titre: Estimation de la pose avec une caméra évènementielle
Résumé
La pose de la caméra est utilisée pour décrire la position et l’orientation d’une caméra dans un système de coordonnées absolues, en référence à six degrés de liberté. L’estimation de la pose de la caméra est essentielle dans divers domaines d’application, tels que la réalité augmentée, la navigation robotique et les véhicules autonomes. Ces domaines s’appuient sur la pose de la caméra pour les calculs ultérieurs, tels que la localisation des objets et la perception de la scène.
L’estimation de la pose d’une caméra présente des difficultés dans différents scénarios ; les mauvaises conditions d’éclairage, notamment l’obscurité ou la luminosité extrêmes, limitent l’efficacité de la plupart des méthodes basées sur les caractéristiques. Ces conditions d’éclairage défavorables empêchent une détection et une correspondance précises des caractéristiques, ce qui affecte la précision de l’estimation de la position de la caméra. Les scènes dépourvues de textures distinctes compliquent l’extraction de points clés significatifs, tandis que les mouvements rapides entraînent un flou de bougé, ce qui affecte la qualité de l’image et la précision de l’estimation de la pose.
La plupart des difficultés rencontrées dans l’estimation de la pose de la caméra sont largement liées à la nature des caméras traditionnelles, qui capturent le monde comme une série d’images statiques prises successivement à un rythme rapide. Dans les cas où ces difficultés sont particulièrement prononcées, les caméras basées sur les événements offrent des avantages potentiels.
Les caméras événementielles sont des capteurs bio-inspirés qui imitent le fonctionnement de la rétine humaine, capturant les changements d’intensité des pixels plutôt que d’enregistrer des images complètes à un rythme fixe, comme le font les caméras traditionnelles basées sur les images.
Cette thèse se concentre sur l’estimation de la pose des caméras événementielles et vise à explorer l’application des méthodes d’apprentissage profond pour l’estimation de la pose et la relocalisation basées sur ces caméras, en tirant parti de leurs propriétés uniques telles que la haute résolution temporelle, la faible latence et la large gamme dynamique.
La thèse apporte plusieurs contributions au domaine de l’estimation de la pose des caméras basée sur les événements à l’aide de techniques d’apprentissage profond. Ces contributions peuvent être résumées comme suit :
- La thèse fournit un aperçu complet des informations fondamentales et des travaux connexes, établissant ainsi une base solide et une compréhension contextuelle de l’estimation de la pose de la caméra basée sur les événements.
- La thèse explore et développe des approches spécialisées d’apprentissage profond adaptées à l’estimation de la pose de la caméra basée sur les événements. Ces techniques exploitent la puissance de l’apprentissage profond pour estimer avec précision la pose de la caméra à l’aide de données événementielles.
- La thèse introduit des méthodes pour projeter les données d’événements dans des données de type image, facilitant l’application d’approches d’apprentissage profond dédiées. Ce processus de projection permet une utilisation efficace des données d’événements dans la tâche d’estimation de la pose de la caméra.
- La thèse propose une nouvelle approche qui applique directement des techniques d’apprentissage profond aux données d’événements brutes, en les traitant comme un nuage de points plutôt qu’en les convertissant en images. Cette approche tire parti de l’ensemble des informations capturées par la caméra basée sur les événements et permet un processus d’apprentissage de bout en bout.
Composition du jury de thèse/Doctoral thesis jury composition
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Samia AINOUZ | Professeure des Universités | INSA de Rouen | Présidente |
| Fabien BONARDI | Maître de Conférences | Université Paris-Saclay, Univ. Évry | Co-encadrant de thèse |
| Samia BOUCHAFA-BRUNEAU | Professeure des Universités | Université Paris-Saclay, Univ. Évry | Directrice de thèse |
| Michele GOUIFFES | Professeure des Universités | Université Paris-Saclay | Examinatrice |
| Choubeila MAAOUI | Professeure des Universités | Université de Loraine | Rapporteure |
| Christophe SABOURIN | Professeur des Universités | Université Paris-Est Créteil | Rapporteur |
Ahmed TABIA defends his doctoral thesis on Friday September 6, 2024, 2 p.m. on the Pelvoux site, room Ax101.
Title: Pose Estimation With Event Camera
Abstract:
Camera pose is used to describe the position and orientation of a camera in an absolute coordinate system, with reference to six degrees of freedom. Estimating the camera pose is essential in various application domains, such as augmented reality, robotic navigation, and autonomous vehicles. These fields rely on camera pose for subsequent calculations, such as object localization and scene perception.
Estimating the pose of a camera presents challenges in different scenarios; poor lighting conditions, including extreme darkness or brightness, limit the effectiveness of most feature-based methods. These unfavorable lighting conditions hinder precise feature detection and matching, thereby affecting the accuracy of camera pose estimation. Scenes lacking distinct textures complicate the extraction of meaningful keypoints, while rapid motion leads to motion blur, affecting image quality and pose estimation accuracy.
Most of these challenges encountered in camera pose estimation are largely related to the nature of traditional cameras, which capture the world as a series of static images taken successively at a rapid pace. In cases where these difficulties are particularly pronounced, event-based cameras offer potential advantages.
Event-based cameras are bio-inspired sensors that mimic the functioning of the human retina, capturing changes in pixel intensity rather than recording full images at a fixed rate, as traditional frame-based cameras do.
This thesis focuses on estimating the pose of event-based cameras and explores the application of deep learning methods for pose estimation and relocalization based on these cameras, leveraging their unique properties such as high temporal resolution, low latency, and wide dynamic range.
The thesis makes several contributions to event-based camera pose estimation using deep learning techniques. These contributions can be summarized as follows:
- The thesis provides a comprehensive overview of foundational information and related work, thus establishing a solid foundation and contextual understanding of event-based camera pose estimation.
- Thethesisexploresanddevelopsspecializeddeeplearningapproaches tailored to event-based camera pose estimation. These techniques harness the power of deep learning to accurately estimate camera pose using event data.
- The thesis introduces methods to project event data into image-like data, facilitating the application of dedicated deep learning approaches. This projection process allows for efficient use of event data in the camera pose estimation task.
- The thesis proposes a novel approach that directly applies deep learning techniques to raw event data, treating them as a point cloud rather than converting them into images. This approach leverages the entirety of information captured by the event-based camera and enables an end-to-end learning process.
- Date: vendredi 06/09/2024, 14h
- Lieu: Site Pelvoux, salle Ax101
- Doctorant : Ahmed TABIA (Université d’Évry, Université Paris Saclay, IBISC équipes SIAM)
- Directrice de thèse: Samia BOUCHAFA-BRUNEAU (PR Univ. Évry, IBISC équipe SIAM)
- Co-encadrant de thèse : Fabien BONARDI (MCF Univ. Évry, IBISC équipe SIAM)
