L'analyse multimodale de l'état cognitif et émotionnel en mouvement

La reconnaissance des émotions joue un rôle croissant dans divers domaines de la santé, notamment la prévention des maladies, le diagnostic, le suivi des traitements et la promotion de la santé numérique, en favorisant des interventions adaptatives et réactives. Les technologies de reconnaissance des émotions peuvent appuyer les interventions visant à modifier les comportements en identifiant les états affectifs liés à la motivation, à l'observance et à l'engagement. Parmi les technologies existantes, on retrouve aussi bien des signaux physiologiques (ex : électroencéphalogramme), l'étude du langage ou bien l'analyse quantifiée du mouvement. L'analyse de la littérature révèle un intérêt croissant dans la capacité à estimer les émotions des sujets au travers de deux méthodologies distinctes 1. La captation de vidéos faciales (Canedo & Neves, 2019; González-González et al., 2025) ou 2. La captation de la cinématique corporelle (Kang & Gross, 2015, 2016; Stout et al., 2026). Cette thèse a pour objectif d'améliorer l'analyse et la détection de l'état cognitif et émotionnel lors du mouvement humain en combinant ces deux approches méthodologiques par captations vidéo et outils de Deep Learning (DL). Contrairement aux approches classiques, ce projet vise à innover sur deux niveaux scientifiques. Premièrement en suivant une approche écologique par l'analyse du mouvement dite « markerless » afin d'éviter aux maximum les biais expérimentaux et d'ouvrir le champ d'application des outils développés hors du laboratoire. Deuxièmement par l'utilisation d'outils avancés de DL comme des transformer multimodaux. École doctorale : Ecole Doctorale Polytechnique Hauts-de-France Direction : Laura WALLARD Financement : Concours pour un contrat doctoral