Zahra RAMEZANPANAH soutient sa thèse de doctorat le mardi 15 décembre 2020 : « Interaction Bilatérale Homme-Robots Humanoïdes »

Zahra RAMEZANPANAH soutient sa thèse de doctorat le mardi 15 décembre 2020 à 10h. La soutenance de thèse est retransmise en direct publiquement via Collaborate.

Titre : Interaction Bilatérale Homme-Robots Humanoïdes

Mots-clés : Descripteurs basés sur le modèle de Laban, Reconnaissance de gestes, Émotions à partir de gestes corporels, Interaction homme-robot.

Résumé :

Dans cette thèse, nous abordons le problème de la reconnaissance du langage corporel humain afin d’établir une interaction bilatérale entre les humains et les robots humanoïde et nous en apportons de nouvelles contributions. Notre approche est fondée sur l’identification de gestes humains, en utilisant une méthode d’analyse de mouvement qui décrit avec précision les mouvements. Cette thèse est constituée de deux parties: la reconnaissance des gestes et la reconnaissance des émotions induites par les gestes. Dans chacun des deux parties, nous mettons en œuvre des méthodes d’apprentissage classiques d’une part et, d’autre part, des méthodes utilisant l’apprentissage profond. Dans la première partie de ce travail, nous avons d’abord défini un descripteur local basé sur l’analyse des mouvements de Laban (LMA), afin de décrire les mouvements. LMA est une méthode permettant de caractériser un mouvement en utilisant quatre composants: Corps, Espace, Forme et Effort. Comme le seul but de cette partie est la reconnaissance gestuelle, seuls les trois premiers facteurs ont été utilisés. L’algorithme Dynamic Time Warping (DTW) est implémenté pour trouver les similitudes des courbes obtenues à partir des vecteurs descripteurs issus de la méthode LMA. Enfin, l’algorithme Support Vector Machine (SVM) est utilisé pour catégoriser les données obtenues. Grâce à la normalisation, notre système est invariant aux positions et orientations initiales des sujets. grâce à l’utilisation des Splines, les données sont échantillonnées afin de réduire la taille des descripteurs et d’adapter les données aux méthodes de classification. Plusieurs expériences utilisant des bases de données publiques ont permis de valider nos choix. Dans un deuxième temps, nous avons construit un nouveau descripteur basé sur les coordonnées géométriques des différentes parties du corps pour présenter un mouvement. Pour ce faire, en plus des distances entre le centre de la hanche et les autres articulations du corps et des changements angulaires dans le temps, nous définissons les triangles formés par les différentes parties du corps et calculons leur aire. Nous calculons également la superficie de l’enveloppe convexe englobant l’ensemble des articulations. À la fin, nous ajoutons la vitesse des différentes articulations dans le descripteur proposé. Nous avons utilisé un réseau de mémoire à long terme (LSTM) pour évaluer ce descripteur. L’algorithme proposé est mis en œuvre sur deux ensembles de données publiques, NTU RGB+D 120 et SYSU 3D HOI, et les résultats sont comparés favorablement avec ceux disponibles dans la littérature. Dans la deuxième partie de cette thèse, nous présentons d’abord un algorithme de haut niveau pour identifier les émotions par l’observation des mouvements corporels. Afin de définir un descripteur robuste, deux méthodes sont mises en œuvre : la première est la méthode LMA, complétée du facteur « Effort » alors que la seconde utilise un ensemble de caractéristiques spatio-temporelles. Un pipeline de reconnaissance des mouvements expressifs est proposé afin de reconnaître les émotions des personnes à travers leurs gestes en utilisant des méthodes d’apprentissage automatique (Random Decision Forest, Feed Forward Neural Network). Une étude comparative est fai te entre ces deux méthodes afin d’en choisir la meilleure. Notre démarche est validée dans un premier temps grâce à des bases de données publiques, puis par la base de données Expressive Motion (XEM) de gestes expressifs, que nous avons créée à partir de notre propre ensemble de données de gestes expressifs issues du capteur XSENS. Enfin, en appuie de XEM, nous décrivons une étude statistique basée sur la perception humaine afin d’évaluer le système de reconnaissance ainsi que le descripteur proposé. Cela nous permet d’estimer la capacité de notre système à classer et à analyser les émotions comme un être humain. Dans cette partie, deux tâches sont effectuées avec les deux classifieurs (le RDF pour l’apprentissage et l’approche humaine pour la validation).

Composition du jury de thèse

• Date : mardi 15/12/2020, 10h00
• Retransmission via Collaborate
• Doctorante : Zahra RAMEZANPANAH, IBISC équipe IRA2
• Direction de thèse : Malik MALLEM (PR Univ. Évry, IBISC équipe IRA2)
• Voir le document de thèse dans HAL