Sijie HU soutient sa thèse de doctorat le vendredi 6 octobre 2023, 14h sur le site Pelvoux, amphithéâtre Y.Bestaoui – Bx30. La soutenance de thèse est accessible également à distance via Zoom: https://univ-evry-fr.zoom.us/j/92655141381?pwd=K1l3ci9XMmhaZytTenJVYm5lVnBYUT09
Titre: Deep Learning pour la fusion multimodale d’images: application à l’analyse de scènes extérieures dans des conditions difficiles
Résumé
Les données visuelles multimodales peuvent fournir des informations différentes sur la même scène, améliorant ainsi la précision et la robustesse de l’analyse de scènes. Cette thèse se concentre principalement sur la façon d’utiliser efficacement les données visuelles multimodales telles que les images en couleur, les images infrarouges et les images de profondeur, et sur la façon de fusionner ces données visuelles pour une compréhension plus complète de l’environnement. Nous avons choisi la segmentation sémantique et la détection d’objets, deux tâches représentatives de la vision par ordinateur, pour évaluer et valider différentes méthodes de fusion de données visuelles multimodales. Ensuite, nous proposons un schéma de fusion RGB-D basé sur l’attention additive, considérant la carte de profondeur comme une modalité auxiliaire pour fournir des indices géométriques supplémentaires, et résolvant le coût élevé associé à l’auto-attention. Compte tenu de la complexité de la perception de scènes en conditions de faible luminosité, nous avons conçu un module de fusion croisée qui utilise l’attention de canal et spatiale pour explorer les informations complémentaires des paires d’images visible-infrarouge, améliorant ainsi la perception de l’environnement par le système. En fin, nous avons également abordé l’application des données visuelles multimodales dans l’adaptation de domaine non supervisée. Nous proposons d’utiliser des indices de profondeur pour guider le modèle à apprendre la représentation de caractéristiques invariables au domaine. Les nombreux résultats expérimentaux indiquent que les méthodes proposées surpassent les autres méthodes sur plusieurs bases de données multimodales disponibles publiquement et peuvent être étendues à différents types de modèles, démontrant ainsi davantage la robustesse et les capacités de généralisation de nos méthodes dans les tâches de perception de scènes en extérieur.
Composition du jury de thèse
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Fabien BONARDI | Maître de Conférences | Université d’Évry, Université Paris-Saclay | Co-encadrant |
| Samia BOUCHAFA-BRUNEAU | Professeure des Universités | Université d’Évry, Université Paris-Saclay | Co-directrice de thèse |
| Antoine MANZANERA | Professeur des Universités | ENSTA Paris | Examinateur |
| Sylvie CHAMBON | Maître de Conférences HDR | INP Toulouse | Rapporteure |
| Anissa MOKRAOUI | Professeure des Universités | Université Sorbonne Paris Nord | Examinatrice |
| Yassine RUICHEK | Professeur des Universités | Université de Technologie Belfort-Montbéliard | Rapporteur |
| Dro Désiré SIDIBÉ | Professeur des Universités | Université d’Évry, Université Paris-Saclay | Directeur de thèse |
- Date : vendredi 06/10/2023, 14h
- Lieu : Site Pelvoux, Amphithéâtre Y.Bestaoui – Bx30, soutenance de thèse accessible via Zoom: https://univ-evry-fr.zoom.us/j/92655141381?pwd=K1l3ci9XMmhaZytTenJVYm5lVnBYUT09
- Doctorant : Sijie HU, Université d’Évry, Université Paris Saclay, IBISC équipe SIAM
- Directeur de thèse: Désiré SIDIBE (PR Univ. Évry, IBISC équipe SIAM)
- Co-directrice de thèse : Samia BOUCHAFA-BRUNEAU (PR Univ. Évry, IBISC équipe SIAM)
- Co-encadrant de thèse: Fabien BONARDI (MCF Univ. Évry, IBISC équipe SIAM)
- Annonce de la thèse (anglais/français) au format PDF
- Le document de thèse de doctorat est disponible sur HAL
