Titre : Sous-titrage automatique de parole dans une 'smart class' pour l'accessibilité
des personnes sourdes

Responsable(s) :
    Isabelle Estève (LIDILEM) : isabelle.esteve@u-grenoble3.fr
    François Portet & Benjamin Lecouteux (LIG-GETALP) : Francois.Portet@imag.fr,
benjamin.lecouteux@imag.fr

Mots-clés : Reconnaissance automatique de la parole, surdité, Communication améliorée et
alternative, accessibilité, smart space.
Durée du projet : 4/5/6 mois
Nombre maximal d'étudiants : 1 ou 2

Lieu du stage : Laboratoire d'Informatique de Grenoble, UMR CNRS 5217, 110 av. de la
Chimie - Domaine Universitaire de Saint-Martin-d?Hères

Description

Le but de ce projet est de mettre en place un système de reconnaissance automatique de la
parole pour le sous-titrage en direct de cours académiques. Ce système s'adresserait en
priorité aux personnes sourdes pour remédier aux difficultés d'accessibilité au discours
en français oral de l'enseignant et pour favoriser ainsi l'accès à l'enseignement
supérieur de ce public. En complément à la réalisation du système de sous-titrage, le
projet comporte la réalisation d'une interface de communication pour permettre à une
personne sourde, de poser des questions ou faire des remarques pendant le déroulement du
cours. La surdité ayant des implications communicatives fortes, notamment concernant
l'accès à la langue française dans ses dimensions orales mais également écrites. Une
adaptation aux besoins des utilisateurs sourds des sous-titrages fera partie intégrante
du projet.
A terme, d'autres applications pourraient également être envisagées : public FLS/FLE
notamment pour lesquels le suivi de cours en langue française orale peut poser difficulté.

Le déroulement du stage consistera à :
- étude bibliographique des solutions existantes et des besoins spécifiques aux personnes
sourdes
- prise en main du système de reconnaissance vocale automatique KALDI
- prise en main du système d'analyse sonore Cirdox
- tests sur des corpus enregistrés
- connexion des sorties de reconnaissance à un système de sous-titrage
- tests en-ligne
- tests dans la 'smart class' avec un professeur et des étudiants
- si le temps le permet, étude de réalisation d'interface d'interaction.

Profil du candidat :
- Master/Ingénieur en Informatique, télécommunication ou traitement du signal
- Intérêt avéré pour les technologies vocales et ou la Communication améliorée et
alternative
- Maîtrise du langage C impérative, connaissance de Linux.
- Esprit d'équipe, ouverture et autonomie

Références

[1] D. Povey, A. Ghoshal, G. Boulianne, L. Burget, O. Glembek, N. Goel, M.  Hannemann, P.
Motlicek, Y. Qian, P. Schwarz, J. Silovsky, G. Stemmer and K. Vesely. The Kaldi Speech
Recognition Toolkit,  Idiap-RR-04-2012
[2] B. Lecouteux, G. Linares, and S. Oger. Integrating imperfect transcripts into speech
recognition systems for building high-quality corpora. Computer Speech and Language, 2011.
[3] F. Aman, M. Vacher, S. Rossato, R. Dugheanu, F. Portet, J. Le Grand, Y. Sasa. Étude
de la performance des modèles acoustiques pour des voix de personnes âgées en vue de
l'adaptation des systèmes de RAP. JEP-TALN-RECITAL 2012, volume 1: JEP, Jun 2012,
Grenoble, France. ATALA/AFCP, pp.707--714.