Proposition de stage M2R (fouille de données et parole)

Contact : Sophie Rosset (rosset@limsi.fr)

Lieu : LIMSI - CNRS, bat 508, BP 133, 91403 Orsay Cedex, groupe Traitement du Langage Parlé

Titre : Fouilles de données appliquées à des données audio : erreurs et entités nommées

Contexte 
Ce stage de M2 s'inscrit dans les domaines du Traitement Automatique des
Langues (TAL) et de la Parole (TAP) ainsi que celui de la fouille de
données. Nous nous intéressons plus particulièrement à la
caractérisation des erreurs d'un système de transcription de la parole
dont les sorties sont utilisées par un système de reconnaissance
d'Entités Nommées. Il s'agit de mettre en place une méthode permettant
de classifier et de caractériser les erreurs de plusieurs systèmes de
transcription de la parole en quantifiant leur impact sur un (ou
plusieurs) systèmes de reconnaissance d'Entités Nommées. Cette méthode
devra être généralisable à d'autres types d'applications comme la
traduction automatique ou un système de dialogue homme/machine.

Sujet
Les systèmes de reconnaissance de la parole sont évalués en utilisant
le taux d'erreurs de mots (WER ou Word Error Rate) qui considère
chaque mot comme ayant une importance égale. Or on constate que cette
métrique d'évaluation ne permet de mesurer la difficulté qu'aura un
système d'extractions d'information. Autrement dit, si on applique un
même système de détection d'entités nommées sur deux sorties de
système de reconnaissance ayant pourtant un même WER, le taux d'erreur
du système de détection d'entités nommées sera différent.

L'objectif de ce stage est donc de caractériser les erreurs d'un
système de reconnaissance de la parole en fonction d'une tâche de
détection d'entités nommées et de l'impact qu'ont ces erreurs.

Nous nous focaliserons au cours de ce stage sur la parole
journalistique en utilisant les données d'une campagne d'évaluation
récente. Cette campagne a mis en évidence une très grosse perte de
résultats des systèmes de reconnaissance d'entités nommées sur des
sorties de système de reconnaissance automatique de la parole (30% de
perte) [1].

Les sorties de trois systèmes de transcription seront étudiées. Leur
impact devra être étudié sur au moins un système d'identification
d'Entités Nommées également fourni par le LIMSI. Ces systèmes sont à
l'état de l'art et pourront donc servir de première référence.

[1]  Olivier Galibert; Sophie Rosset; Cyril Grouin; Pierre Zweigenbaum; Ludovic Quintard. Structured and Extended Named Entity Evaluation in Automatic Speech Transcriptions. IJCNLP 2011 (http://aclweb.org/anthology-new/I/I11/I11-1058.pdf)

Informations pratiques

Le stage, d'une durée de 5 mois, se déroulera au LIMSI, dans le groupe
Traitement du Langage Parlé et le stagiaire recevra une gratification
(de l'ordre de 480 euros/mois).