Apprentissage prédictif et modèles de monde pour les systèmes intelligents multimodaux

Les systèmes intelligents ont de plus en plus besoin de comprendre et d'anticiper les environnements dynamiques en utilisant des informations issues de sources multiples et hétérogènes. Celles-ci peuvent inclure des images, de la vidéo, du texte, des données de capteurs, des traces de mobilité, des données de communication ou d'autres signaux contextuels. L'apprentissage prédictif et les approches basées sur les modèles de monde offrent une voie prometteuse pour acquérir des représentations compactes qui capturent la structure pertinente et l'évolution au fil du temps. Cette proposition examine comment de telles approches peuvent soutenir la prédiction, l'apprentissage de représentations et la prise de décision au sein des systèmes intelligents multimodaux. Les domaines d'application potentiels comprennent la mobilité connectée, les systèmes sensibles aux communications (communication-aware), l'intelligence artificielle collaborative ainsi que d'autres environnements dynamiques. Le domaine d'application final sera sélectionné à l'issue d'une première revue de la littérature, d'une évaluation des données et d'une étude de faisabilité. La proposition est délibérément agnostique en matière de modèles. JEPA est un exemple possible de cadre d'apprentissage prédictif auto-supervisé qui pourra être évalué au cours de la recherche, aux côtés d'autres approches appropriées telles que les méthodes basées sur les transformeurs, les approches contrastives, génératives ou les modèles de fondation multimodaux. Le choix final du modèle s'appuiera sur la problématique de recherche, les données disponibles, les contraintes de calcul et les preuves empiriques. École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Direction : Anis LAOUITI Financement : Associations, fondations, programmes privés étrangers