Etude de la sécurité des Vision Language Models (VLM) face aux attaques adverses

Les modèles vision-langage (VLM) sont rapidement intégrés à des chaînes de traitement opérationnelles : compréhension de documents, réponse à des questions visuelles, analyse biométrique et vidéo, et de plus en plus agents autonomes qui perçoivent, raisonnent et agissent. Un VLM n'est pas un bloc monolithique : c'est une composition associant un réseau visuel dorsal, un module d'adaptation par projection ou par attention croisée, et un grand modèle de langage (LLM). Ce projet part de l'hypothèse qu'une telle composition hérite des vulnérabilités de chacun de ses constituants: injection de prompt et jailbreak du côté du LLM, perturbations adverses, décalage de distribution et portes dérobées du côté de l'encodeur visuel et, plus important encore, que la composition elle-même fait apparaître des surfaces d'attaque qu'aucun de ses composants ne présente isolément. Les VLM open source actuels (LLaVA, BLIP-2, Qwen-VL et leurs successeurs) ont convergé vers des réseaux dorsaux de type vision transformer (ViT), dont le profil de vulnérabilité diffère qualitativement de celui des réseaux convolutifs : chez les ViT, la robustesse n'est pas un sous-produit gratuit de l'auto-attention, mais un objet de conception à part entière. La thèse prend donc le ViT comme premier maillon à sécuriser et cherche à déterminer dans quelle mesure une perturbation injectée au niveau des pixels se propage à travers la pile multimodale jusqu'à modifier la décision finale du système déployé. Le travail s'organise autour de cinq questions de recherche : (QR1) la propagation des vulnérabilités du ViT dans le comportement multimodal ; (QR2) l'existence d'une préséance de sécurité entre modalités, du point de vue du coût, de la discrétion et de la transférabilité pour l'attaquant ; (QR3) l'émergence compositionnelle d'un comportement malveillant à partir de modalités individuellement bénignes au sein d'un espace de représentation partagé ; (QR4) la capacité d'une attaque à échapper à l'interprétabilité a posteriori tout en trompant le transformer qu'elle vise ; enfin (QR5) la propagation et l'amplification des injections indirectes au sein de systèmes multi-agents multimodaux. Les contributions attendues couvriront un modèle de menace systématisé pour l'ensemble du cycle de vie des VLM, de nouvelles méthodes d'attaque validées au niveau applicatif sur des modèles à poids ouverts réalistes, ainsi que des défenses évaluées selon des protocoles adaptatifs et de bout en bout. Les résultats seront publiés dans des conférences de rang A*/A (CORE) et des revues Q1 (JCR), sous une politique de divulgation coordonnée conforme aux pratiques de l'industrie. École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Direction : Sonia VANIER Financement : CIFRE ANRT