Sujet : «Réalité Augmentée Mobile pour les Expériences Educatives »
Contexte
Les systèmes de Réalité Augmentée (RA) sont de plus en plus utilisés dans divers domaines d’applications, tels que : la médecine, le divertissement, la culture, l’urbanisme, l’industrie, ameublement/décoration, etc. Les avancées scientifiques et techniques des dernières années ont permis le développement de larges gammes d’applications, de frameworks et de plateformes logicielles pour la reconnaissance d’objets, le suivi temporel et le recalage de modèles 3D sur des images réelles en environnement non contrôlé (intérieur et extérieur).
Google a développé le SDK ARCore pour la conception et le déploiement d’application de RA. ARCore est doté de trois capacités fondamentales pour le mixage réel-virtuel, qui sont : le suivi de mouvement, la compréhension de l’environnement et l’estimation de la lumière. ARCore réalise essentiellement les deux principes de la RA qui sont : la localisation temps réel et le recalage virtuel, c’est un SDK gratuit et disponible pour Android.
Afin d’unifier le développement des applications RA sur plateformes mobiles, Unity a créé une API commune, appelée AR Foundation, qui prend en charge plusieurs SDK de RA pour faciliter l’implémentation et le déploiement d’applications multiplateformes. En effet, AR Foundation comprend les principales fonctionnalités de ARKit, ARCore, de Magic Leap et de HoloLens, ainsi que des fonctionnalités de Unity pour créer des applications fiables et déployables sur différents OS et plateformes. Ce framework permet de tirer parti de toutes ces propriétés logicielles dans un flux de production unifié et offre les caractéristiques suivantes :
- Détecter des surfaces planes et construire des maillages de représentation temps réel. – Utiliser des points de référence individuels pour générer des plans.
- Estimer et définir l’éclairage pour adapter les traitements et le rendu en conséquence. – Raycasting envers des plans et des objets virtuels.
AR Foundation fonctionne avec Android et iOS avec un pipeline de construction et de test intuitive et facile à mettre en production. AR Foundation est basé sur Unity et permet de créer et d’exécuter la simulation virtuelle sur des plateformes mobiles en s’affranchissant des contraintes de configurations.
Objectifs du stage
Le système de RA doit permettre de superposer des modèles 3D d’objets dans un flux de caméra temps réel pour une expérience d’apprentissage et d’éducation innovante.
L’objectif alors sera de superposer des modèles virtuels dynamiques et interactif pour expliquer des expériences scientifiques ou des phénomènes naturels dans un environnement mixte doté d’un réalisme de qualité. Ces objets 3D sont ajoutés à un support visuel d’un sujet d’étude qui est initialement un contenu textuel ou des images 2D.
L’application devra fournir une meilleure sensation de visualisation et d’interaction. La scène réelle est enrichie par des graphiques 3D qui seront manipulés par les gestes tactiles de la main (déplacer, tourner, zoom avant/arrière) dans un paradigme d’immersion et d’interaction inné aux systèmes de RA.
Étapes
- État de l’art sur les SDK, frameworks et plateformes de la RA.
- Conception et création d’environnements en RA sur smartphone.
- Test d’algorithmes de reconnaissance d’objet et d’interaction virtuelle.
- Intégration de l’approche de détection multi-objets dans l’environnement mixte.
- Implémentation de l’interface tactile interactive sur les objets virtuels.
- Test et validation du système en conditions réelles de l’expérience-utilisateur.
Plateformes logicielles
ARCore, AR Foundation, Unity, Android
Profil recherché et compétences requises
- Étudiant(e) en Master 2 Recherche dans le domaine Informatique.
- Formation en Computer Graphics (transformations projectives, modelview, shaders, mesh) et en Computer Vision (détection d’objet, analyse vidéo, tracking, géométrie multi-vues).
- Compétences en programmation C#, C++, OpenCV.
- Motivation et intérêt pour la recherche et le développement.
Contacts
Références
- Unity Technologies, AR Foundation, https://unity.com/fr/unity/features/arfoundation, [Online; accessed: November, 2022].
- Google, ARCore, https://developers.google.com/ar, [Online; accessed: November, 2022]
- Apple, ARKit, https://developer.apple.com/augmented-reality, [Online; accessed: November, 2022]
- PTC, Vuforia, https://developer.vuforia.com, [Online; accessed: November, 2022]
- Samini, K. L. Palmerius, and P. Ljung, A review of current, complete augmented reality solutions, 2021 International Conference on Cyberworlds (CW), 2021, pp. 49–56 [6] H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, Speeded-up robust features (SURF), J. Computer Vision and Image Understanding 110(3), 2008, 346–359
- Calonder, V. Lepetit, C. Strecha and P. Fua, Brief: Binary robust independent elementary features, Proceedings of the 11th European Conference on Computer Vision: Part IV, Heraklion, Crete, Greece, 2010, pp. 778–792
- Rublee, V. Rabaud, K. Konolige and G. Bradski, Orb: An efficient alternative to sift or surf, Proceedings of the 2011 International Conference on Computer Vision (ICCV), 2011, pp. 2564–2571
- Date de l’appel : 21/11/2022
- Statut de l’appel : Pourvu
- Contacts coté IBISC/ESME : Madjid MAIDI (ESME/ IBISC équipe IRA2), Samir OTMANE (PR IUT Évry, IBISC équipe IRA2)
- Sujet de stage niveau Master 2 (format PDF)
- Web équipe IRA2
