Évaluation et optimisation de Small Language Models (SLMs) domaine-spécifique pour les applications RH

Cette thèse porte sur un problème scientifique encore largement ouvert : comment évaluer de manière fiable, puis optimiser conjointement, des modèles de langue compacts (Small Language Models, SLMs) spécialisés dans un domaine où la notion de « bonne réponse » n'est ni factuelle, ni univoque, mais contextuelle, subjective et juridiquement contrainte. Le domaine des ressources humaines (RH), retenu comme terrain d'étude, cumule ces trois propriétés : les réponses attendues dépendent du contexte organisationnel, font l'objet de désaccords légitimes entre experts, et sont encadrées par le droit du travail, le RGPD et l'AI Act européen, qui classe les systèmes d'IA appliqués aux RH parmi les systèmes à haut risque. Alors que le médical, le juridique et la finance disposent de modèles spécialisés et de benchmarks dédiés (Med-PaLM 2, LegalBench, BloombergGPT), le domaine RH ne dispose à ce jour d'aucun cadre d'évaluation scientifiquement fondé. La thèse propose (i) une théorie de la mesure pour les tâches génératives à vérité de référence faible, opérationnalisée dans un benchmark public HR-Eval doté de garanties psychométriques explicites (accord inter-annotateurs, fiabilité des juges LLM, sensibilité aux biais) ; (ii) une formalisation de la spécialisation de SLMs comme problème d'optimisation multi-objectif (qualité métier, équité, coût computationnel), résolu sur le front de Pareto plutôt que par agrégation ad hoc ; et (iii) une méthodologie de constitution de corpus sensibles combinant données réelles anonymisées et données synthétiques, avec quantification du biais introduit par la synthèse. Le cadre industriel CIFRE, fourni par la suite SaaS RH OloSuite, garantit l'accès aux données, la validation écologique des résultats et le transfert des contributions. École doctorale : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES Direction : Jean-Charles LAMIREL Financement : CIFRE ANRT