Candidater : https://orange.jobs/jobs/offer.do?joid=101323&lang=FR

Thèse - Suivi de l'état du dialogue dans un contexte dialogique long et en alignement avec les bases de connaissances - F/H

Votre rôle est d'effectuer un travail de thèse sur le sujet de recherche : Suivi de l'état du dialogue dans un contexte dialogique long et en alignement avec les bases de connaissances.

La compréhension du langage naturel est un composant fondamental des systèmes de dialogue automatiques [1,2]. Deux types de compréhension de dialogue sont identifiés: la compréhension hors contexte (un seul énoncé) et dans le contexte dialogique (plusieurs énoncés). Plusieurs solutions industrielles rendent les dialogues plus naturels grâce à la brique de compréhension hors contexte ou avec très peu de contexte (SIRI, Amazon Alexa, Cortana, Orange Djingo, RASA etc.). Les dialogues pour l'assistance technique Orange sont très complexes : ils ont en moyenne 163 tours de parole (énoncés), 2230 tokens (l'unité minimale ou morceaux de mots) en moyenne.

La compréhension du langage naturel dans un contexte dialogique long est toujours un axe de recherche ouvert [3] car il s'agit de concevoir des architectures d'apprentissage profond complexes, performantes et optimales.

La compréhension hors contexte est généralement traitée comme la projection de l'énoncé de l'utilisateur vers un modèle sémantique, au travers par exemple d'une classification de son intention et de l'extraction des valeurs des slots associés [4]. Cette représentation, contextualisée dans l'historique du dialogue, correspond à l'état de l'utilisateur tel que perçu par le système et s'appelle « Dialogue State Tracking (DST) » en anglais ou suivi de l'état du dialogue. Les approches probabilistes appellent cette brique la trace de l'état de croyance, « Belief State Tracking » ou simplement « Belief Tracking » (BT). Un challenge, (« Dialogue State Tracking » (DST) challenge) a été lancé en 2012 pour susciter le développement de nouveaux modèles de BT pour un système de dialogue vocal, prenant en compte le bruit de la reconnaissance de la parole. Depuis, des approches ont été proposées pour favoriser le transfert entre domaines pour les dialogues textuels (chatbots) et ont évolué en tirant parti des méthodes d'apprentissage automatique des Support Vector Machines [5] au Deep Learning [3,6].

Les verrous à résoudre sont :

    traiter des conversations longues
    traiter l'alignement avec les bases de connaissance
    favoriser le transfert de domaine pour les applications multi-domaine
    détecter des sujets hors domaine et traiter des nouveaux domaines

Les conversations longues restent un problème ouvert car ces approches nécessitent beaucoup de mémoire et sont gourmandes en données. On s'intéresse à l'étude de l'apprentissage sans exemples, zero-shot learning pour pouvoir développer rapidement des systèmes de dialogue sur de nouveaux domaines.

L'étude du suivi de l'état du dialogue pour les contextes longs s'inscrit naturellement dans les efforts d'investissement qu'Orange met en oeuvre dans le domaine de l'Intelligence Artificielle.

[1] Williams, Jason D et Steve Young (2007). « Partially observable Markov decision processes for spoken dialog systems ». In: Computer Speech & Language 21.2.

[2] Sarikaya, Ruhi, Geoffrey E Hinton et Anoop Deoras (2014). « Application of deep belief networks for natural language understanding ». In: IEEE/ACM.

[3] Heck, Michael et al. (juil. 2020). « TripPy: A Triple Copy Strategy for Value Independent Neural Dialog State Tracking ». SigDIAL, p. 35-44.

[4] Rojas-Barahona, Lina M. et al. (déc. 2016). « Exploiting Sentence and Context Representations in Deep Neural Models for Spoken Language Understanding ». CoLING.

[5] Henderson, Matthew, Blaise Thomson et Jason Williams (2014). « The second dialog state tracking challenge ». SIGDIAL. 263. [6] Budzianowski, Pawe? et al. (2018). « MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling ». EMNLP.

Profil :

Vous avez suivi un cursus d'ingénieur et/ou Master de Recherche, avec des connaissances dans l'apprentissage automatique et dans au moins l'un des domaines de compétences cités.

Une première expérience de mise en oeuvre d'algorithmes d'apprentissage neuronal (dans le cadre d'un stage par exemple) serait un plus.
Vous avez des compétences dans les domaines de l'Intelligence Artificielle, de l'apprentissage automatique et particulièrement dans l'apprentissage profond.

Vous disposez d'un bon niveau en mathématiques (optimisation numérique, statistiques, probabilités, etc.).

Vous maîtrisez le développement logiciel.

Vous maîtrisez l'anglais lu, écrit, parlé.

Vous êtes curieux-se, attiré-e par les nouvelles technologies, et prêt-e à suivre le rythme de leurs évolutions.

Vous aimez le travail en équipe, au sein de projets pluridisciplinaires, et contribuer à un objectif commun, tout en étant autonome sur les activités qui sont les vôtres.

Vous avez de bonnes capacités d'analyse et de synthèse.

Maîtriser un des outils d'apprentissage profond suivants : Torch, pyTorch, TensorFlow, MXNet serait un plus.

Vous aimez communiquer le résultat de vos travaux à travers de rapports écrits et des présentations orales.

Contexte

Vous rejoindrez un équipe spécialisée en dialogue, composée d'une quinzaine de personnes : chercheurs, data scientists, architectes, développeurs, thésards et stagiaires.
entité

Orange est un acteur clé de l'innovation numérique. Dans un secteur des technologies de l'information et de la communication qui connaît un bouleversement de sa chaîne de valeur, avec la multiplication des acteurs et l'apparition de nouveaux modèles économiques, l'innovation constitue un levier majeur de croissance pour Orange.

Au sein de la Division Orange Innovation dont l'ambition est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, vous travaillerez chez DATA IA au sein de l'équipe NADIA (Natural Dialogue Interaction), qui est en charge du développement de systèmes de dialogue et qui conduit des travaux de recherche sur le dialogue en langage naturel notamment avec l'utilisation des techniques d'apprentissage (renforcement, renforcement inversé, supervisé et non supervisé).