Apprentissage multimodal avec prise en compte de l'incertitude pour la cartographie des pigments : fusion conjointe de données XRF et hyperspectrales

Cette thèse porte sur l'identification des matériaux et des pigments dans le domaine de la conservation du patrimoine (peintures, photographies, sculptures, etc.). L'objectif est de développer une méthode d'apprentissage sobre en données et capable de quantifier l'incertitude, en combinant plusieurs sources d'information hétérogènes, notamment la fluorescence X (XRF) et l'imagerie optique spectrale (hyperspectrale ou multispectrale). Le cœur du projet est le démélange multimodal (multimodal unmixing), c'est-à-dire l'estimation, en chaque point de l'œuvre, des proportions des différents pigments, malgré peu d'annotations et des écarts importants entre capteurs et entre œuvres. L'identification des pigments découlera ensuite de ces estimations. Le travail tiendra explicitement compte des lois physiques de mélange propres à chaque modalité : mélange quasi linéaire pour la XRF, et modèles de type Kubelka–Munk pour l'imagerie optique. Les principaux axes de recherche sont : Acquisition et prétraitement des données multimodales, avec réalisation de maquettes peintes, constitution de jeux de données et alignement entre modalités ; Apprentissage de représentations robustes, guidé par la physique, avec auto-supervision, augmentation de données et adaptation aux changements de domaine ; Fusion multimodale et quantification de l'incertitude, pour produire des cartes de pigments interprétables, pondérer dynamiquement les modalités et fournir des niveaux de confiance utiles aux experts. Résultats attendus : un jeu de données multimodal de référence, des algorithmes de fusion adaptés au patrimoine culturel, et une chaîne complète de cartographie des pigments produisant des cartes d'abondance interprétables et exploitables par les conservateurs. École doctorale : Sciences et Technologies de l'Information et de la Communication Direction : Sylvie LE HEGARAT Financement : Europe - MSCA (Marie Sklodowska-Curie Action)