Sujet : «Descente de gradient multi-objectif pour le deep learning»
Mots-clefs : optimisation multi-objectif, Deep learning, Apprentissage automatique.
Encadrants : Eric Angel : , Farida Zehraoui :
Laboratoire d’accueil et lieu de stage : Laboratoire IBISC-IBGBI. Univ. Evry – ParisSaclay. 23 boulevard de France. 91034 Evry
Durée : 5 à 6 mois
Descriptif :
Les méthodes de descente de gradient stochastiques sont très utilisées dans le domaine de l’apprentissage automatique et plus particulièrement, pour optimiser les paramètres des réseaux de neurones (deep learning).
Il existe un certain nombre de résultats théoriques sur la vitesse de convergence de ces méthodes selon le type de fonctions à optimiser (convexe, fortement convexe, non convexe) [1].
La plupart des méthodes de descente de gradient visent à optimiser une seule fonction représentant un seul objectif ou une combinaison linéaires de plusieurs objectifs.
Récemment des variantes de la descente de gradient pour l’optimisation multiobjectif ont été proposées dans la littérature [2]. Ces méthodes ont été utilisées pour faire de l’apprentissage multitâches (Multi-task learning) [3].
L’objectif de ce stage est d’étudier les méthodes de descente de gradient à la fois stochastiques et permettant de faire de l’optimisation multiobjectif. Quelques travaux récents ont commencé à proposer et à étudier de tels algorithmes [4,5] et quelques résultats de convergence ont été obtenus [6], mais il reste beaucoup de pistes de recherches à explorer. Dans ce stage, on s’intéressera à l’adaptation des techniques de réduction de variance, utilisées pour les algorithmes de descente de gradient stochastiques, au cadre multiobjectif. L’approche développée sera appliquée dans le domaine de la médecine de précision.
Procédure de candidature
Pour candidater, écrire à et à en joignant un CV et une lettre de motivation.
Références
[1] Y. Nesterov, Introductory lectures on convex optimization: A basic course. Springer, 2014.
[2] Désidéri, J.-A. Multiple-gradient descent algorithm (mgda) for multiobjective optimization. Comptes Rendus Mathematique, 350, 313–318, 2012.
[3] Sener, O., & Koltun, V. Multi-task learning as multi-objective optimization. NeurIPS, 2018). [4] Q. Mercier, F. Poirion, J.-A. Désidéri, A stochastic multiple gradient descent algorithm, European Journal of Operational Research 271, 808-817, 2018.
[5] Liu, L.N. Vicente, The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning, arXiv:1907.04472, 2021.
[6] Zeng, Y. Dai, Convergence rate of gradient descent method for multi-objective optimization, Journal of Computational Mathematics, vol 37, number 5, 689-703, 2019.
- Date de l’appel : 06/12/2021
- Statut de l’appel : Non pourvu
- Contacts cotés IBISC : Éric ANGEL (PR Univ. Évry, IBISC équipe AROB@S) ericDOTaangelATuniv-evryDOTfr et Farida ZEHRAOUI (MCF Univ. Évry, IBISC équipe AROB@S) faridaDOTzehraouiATuniv-evryDOTfr
- Sujet de stage niveau Master 2 (format PDF)
- Web équipe AROB@S
