Modèles de fondation tabulaires pour les données hétérogènes

Les modèles de fondation tabulaires (Tabular Foundation Models, TFMs) exploitant l'apprentissage en contexte (In-Context Learning), tels que TabICL et TabPFN, ont récemment remis en question la domination des arbres de décision boostés par gradient sur les données tabulaires. Cependant, les TFMs actuels à l'état de l'art sont limités aux données numériques et rencontrent des difficultés pour traiter nativement des variables hétérogènes telles que le texte, les dates et les identifiants catégoriels. Ce projet de thèse vise à dépasser cette limitation en concevant la prochaine génération de TFMs capables de traiter des données tabulaires de types mixtes. Le défi central consiste à développer de nouveaux générateurs de données synthétiques de pré-entraînement adaptés à ces différents types de données, à faire évoluer l'architecture lorsque cela est nécessaire en fonction de la nature des données, et à comprendre comment des tokens présentant des géométries fondamentalement différentes peuvent interagir au sein d'une même architecture. École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Direction : Marine LE MORVAN Financement : ANR