About this role

Dans le cadre d'une thèse CIFRE menée en partenariat entre Berger-Levrault et l'INRIA, la mission porte sur la conception de méthodologies d'évaluation automatique pour les agents IA et les moteurs de réponse intégrés aux solutions logicielles de Berger-Levrault. Ces agents sont mobilisés pour des cas d'usage métier variés, tels que la recherche documentaire, l'interrogation de données, le filtrage d'informations ou encore l'appel à des fonctions métier.

L'enjeu est de mieux qualifier la pertinence, la robustesse et la fiabilité des réponses produites par ces systèmes dans des environnements professionnels exigeants. La mission vise à dépasser les processus actuels de validation, encore fortement dépendants de l'expertise humaine, de l'annotation manuelle et de la constitution ponctuelle de jeux de tests de référence. Il s'agira de proposer des approches permettant d'automatiser tout ou partie de ces étapes, de construire des jeux de tests évolutifs, de définir des indicateurs adaptés aux contextes métier et d'identifier plus rapidement les situations de sous-performance.

Les travaux devront notamment prendre en compte les limites des métriques d'évaluation génériques lorsqu'elles sont appliquées à des corpus métier complexes, spécialisés ou fortement contextualisés. À terme, cette mission contribuera à renforcer la testabilité et la maturité des systèmes IA développés par Berger-Levrault. Les résultats attendus permettront de mieux objectiver la qualité des moteurs de réponse, de détecter les écarts de performance, de déclencher des alertes lorsque nécessaire et de caractériser les incertitudes associées aux réponses produites.

La thèse devra ainsi produire à la fois des contributions scientifiques en intelligence artificielle, traitement automatique des langues et sciences cognitives, ainsi que des apports opérationnels directement exploitables dans un cadre industriel.

Source listing: francetravail