Jumeaux numériques personnels pour les personnes aveugles et malvoyantes : mémoire adaptative et intelligence d'assistance frugale

La déficience visuelle peut affecter profondément l'autonomie, la mobilité, la sécurité et la participation aux activités quotidiennes. Les technologies d'assistance actuelles apportent un soutien essentiel, mais donnent un accès limité aux informations spatiales et épisodiques issues de l'expérience visuelle quotidienne. Ce projet vise à développer des Jumeaux Numériques Visuels Personnels : des systèmes adaptatifs construisant et mettant continuellement à jour une représentation personnalisée de ce qu'une personne a vécu, de l'endroit et du moment où elle l'a rencontré, et de l'évolution de son environnement. Les données visuelles seront acquises à l'aide de caméras conventionnelles et événementielles, au moyen d'enregistrements égocentrés capturant les interactions avec l'environnement. Inspiré des principes computationnels de la consolidation de la mémoire biologique, le système étudiera comment les expériences pertinentes peuvent être conservées, consolidées, mises à jour ou oubliées. L'objectif est de fournir une assistance personnalisée et sensible au contexte pour la mobilité, la compréhension de l'environnement et les activités quotidiennes, afin de renforcer l'autonomie, la sécurité et le bien-être des personnes aveugles et malvoyantes. Le projet combine sciences cognitives, vision par ordinateur, IA et ingénierie neuromorphique pour développer de nouvelles approches visant à représenter l'environnement des personnes aveugles et malvoyantes. Il étudiera comment traitement événementiel, apprentissage continu et mémoire neuronale adaptative peuvent être intégrés pour construire une représentation personnalisée, dynamique et actualisée de leur environnement. La vision événementielle repose sur des capteurs signalant de manière asynchrone les changements locaux de la scène visuelle, plutôt que de capturer des images complètes à intervalles fixes, offrant ainsi une base prometteuse pour une perception à faible latence et économe en énergie. En parallèle, des mécanismes de consolidation et d'oubli inspirés des neurosciences seront étudiés avec les avancées récentes sur la mémoire artificielle à long terme, afin d'examiner comment les principes de la mémoire biologique peuvent guider des systèmes capables de sélectionner, mettre à jour et supprimer l'information. La représentation décrira ce qui entoure la personne, où se trouvent les éléments, ce qui a déjà été rencontré et comment l'environnement évolue. Un défi central consiste à atteindre ces capacités sous de fortes contraintes de temps de calcul et d'énergie. Plutôt que de traiter et stocker en permanence toutes les informations visuelles reçues, le système apprendra quelles informations sont pertinentes, lesquelles doivent être consolidées ou oubliées, quand elles doivent être perçues ou récupérées, et quand un calcul est nécessaire. Les caméras événementielles et, lorsque cela est pertinent, les approches neuromorphiques seront étudiées pour obtenir une perception à faible latence et économe en énergie. Le projet développera et validera les principes computationnels sous-jacents, en vue de leur déploiement futur sur des plateformes portables ou robotiques légères. Le projet examinera si l'efficacité énergétique peut devenir une propriété intrinsèque d'une intelligence adaptative d'assistance, plutôt que de résulter uniquement de matériels plus performants. Le projet sera mené dans le cadre d'une collaboration entre l'Université de Toulouse/CNRS, avec Benoit Cottereau (Directeur de recherche CNRS, CerCo), et la National University of Singapore (NUS), avec Wei Tsang Ooi (Professeur). En combinant perception spatiale et mémoire humaines, vision par ordinateur, neurosciences computationnelles et IA frugale, le projet vise à poser de nouvelles bases pour une intelligence d'assistance personnalisée, sûre et durable, contribuant à terme à une plus grande autonomie et à une meilleure qualité de vie des personnes aveugles et malvoyantes. École doctorale : CLESCO - Comportement, Langage, Éducation, Socialisation, Cognition Direction : Benoit COTTEREAU Financement : MSCA COFUND BEST