Alexandre HEUILLET soutient sa thèse de doctorat le lundi 4 décembre 2023 à 15h30 dans Amphithéâtre Bx30 du site Pelvoux de l’Université d’Évry. Une retransmission via Zoom est également disponible: https://universite-paris-saclay-fr.zoom.us/j/96288613809?pwd=Uzd5OXJvMHVLdWhWaERtbk9qeXVIdz09
Titre : Optimisation Automatique des Architectures de Réseaux de Neurones Profonds via un Objectif Différentiable
Résumé :
L’intelligence artificielle (IA) a gagné en popularité ces dernières années, principalement en raison de ses applications réussies dans divers domaines tels que l’analyse de données textuelles, la vision par ordinateur et le traitement audio. La résurgence des techniques d’apprentissage profond a joué un rôle central dans ce succès. L’article révolutionnaire de Krizhevsky et al., AlexNet, a réduit l’écart entre les performances humaines et celles des machines dans les tâches de classification d’images. Des articles ultérieurs tels que Xception et ResNet ont encore renforcé l’apprentissage profond en tant que technique de pointe, ouvrant de nouveaux horizons pour la communauté de l’IA. Le succès de l’apprentissage profond réside dans son architecture, conçue manuellement avec des connaissances d’experts et une validation empirique. Cependant, ces architectures n’ont pas la certitude d’être la solution optimale. Pour résoudre ce problème, des articles récents ont introduit le concept de Recherche d’Architecture Neuronale (NAS), permettant l’automatisation de la conception des architectures profondes. Cependant, la majorité des approches initiales se sont concentrées sur de grandes architectures avec des objectifs spécifiques (par exemple, l’apprentissage supervisé) et ont utilisé des techniques d’optimisation coûteuses en calcul telles que l’apprentissage par renforcement et les algorithmes génétiques. Dans cette thèse, nous approfondissons cette idée en explorant la conception automatique d’architectures profondes, avec une emphase particulière sur les méthodes NAS différentiables (DNAS), qui représentent la tendance actuelle en raison de leur efficacité computationnelle. Bien que notre principal objectif soit les réseaux convolutifs (CNNs), nous explorons également les Vision Transformers (ViTs) dans le but de concevoir des architectures rentables adaptées aux applications en temps réel.
Composition du jury de thèse/Composition of the doctoral thesis jury
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Hichem ARIOUI | Maître de conférence HDR | Université Paris-Saclay, Univ. Évry | Co-encadrant de thèse |
| Florence D’ALCHÉ-BUC | Professeure des universités | Télécom Paris, Institut Polytechnique de Paris | Rapporteure |
| Isabelle GUYON | Professeure des universités | Université Paris-Saclay, Google Brain | Membre invité |
| Blaise HANCZAR | Professeur des Universités | Université Paris-Saclay, Univ. Évry | Examinateur |
| David PICARD | Professeur des Universités | École des Ponts ParisTech, CNRS, Université Gustave Eiffel | Examinateur |
| Raúl SANTOS-RODRIGUEZ | Professeur | Université de Bristol | Rapporteur |
| Hedi TABIA | Professeur des Universités | Université Paris-Saclay (Univ. Évry) | Directeur de thèse |
| Kamal YOUCEF-TOUMI | Professeur | Massachusetts Institute of Technology (Etats-Unis) | Membre invité |
Alexandre HEUILLET defends his doctoral thesis on Monday December 4, 2023 at 3:30 p.m. in Amphitheater Bx30 on the Pelvoux site of the University of Évry.
A broadcast via Zoom is also available: https://universite-paris-saclay-fr.zoom.us/j/96288613809?pwd=Uzd5OXJvMHVLdWhWaERtbk9qeXVIdz09
Title : Exploring Differentiable Neural Architecture Search for Deep Neural Network Design
Abstract :
Artificial Intelligence (AI) has gained significant popularity in recent years, primarily due to its successful applications in various domains, including textual data analysis, computer vision, and audio processing. The resurgence of deep learning techniques has played a central role in this success. The groundbreaking paper by Krizhevsky et al., AlexNet, narrowed the gap between human and machine performance in image classification tasks. Subsequent papers such as Xception and ResNet have further solidified deep learning as a leading technique, opening new horizons for the AI community. The success of deep learning lies in its architecture, which is manually designed with expert knowledge and empirical validation. However, these architectures lack the certainty of an optimal solution. To address this issue, recent papers introduced the concept of Neural Architecture Search (NAS), enabling the learning of deep architectures. However, most initial approaches focused on large architectures with specific targets (e.g., supervised learning) and relied on computationally expensive optimization techniques such as reinforcement learning and evolutionary algorithms. In this thesis, we further investigate this idea by exploring automatic deep architecture design, with a particular emphasis on differentiable NAS (DNAS), which represents the current trend in NAS due to its computational efficiency. While our primary focus is on Convolutional Neural Networks (CNNs), we also explore Vision Transformers (ViTs) with the goal of designing cost-effective architectures suitable for real-time applications.
- Date : lundi 04/12/2023, 15h30
- Lieu: Site Pelvoux, Université d’Évry, Amphithéâtre Bx30
- Retransmission via Zoom https://universite-paris-saclay-fr.zoom.us/j/96288613809?pwd=Uzd5OXJvMHVLdWhWaERtbk9qeXVIdz09
- Doctorant : Alexandre HEUILLET, IBISC équipe IRA2
- Direction de thèse : Hedi TABIA (PR Univ. Évry, IBISC équipe IRA2), Hicham ARIOUI (MCF HDR, IBISC équipe SIAM)
