Lieu : LORIA (Nancy, France)

Equipe : MULTISPEECH

Durée : 16 mois

Début : Hiver 2018

Contact :

Slim Ouni  slim.ouni@loria.fr

Denis Jouvet  denis.jouvet@loria.fr

 

MULTISPEECH étudie différents aspects de la modélisation de la parole, tant pour la reconnaissance de la parole que pour la synthèse de la parole. Les approches développées mettent en ?uvre du traitement du signal et des modèles statistiques. Les modélisations les plus récentes reposent sur les réseaux de neurones et l?apprentissage profond qui ont apporté des gains substantiels de performance dans de nombreux domaines.

 

Les technologies vocales peuvent également servir pour l?apprentissage de langues. L?objectif consiste alors à détecter les défauts de prononciation des apprenants (prononciation des sons et intonation), à poser des diagnostics et à aider l?apprenant à améliorer sa prononciation en lui fournissant des informations multimodales (textuelles, sonores et visuelles). Plusieurs projets collaboratifs récents ont porté sur ce thème et ont permis de constituer des corpus de parole d?apprenants, d?analyser la parole non-native d?apprenants et d?approfondir la fiabilité de retours automatiques vers l?apprenant.

 

Dans le cadre du projet collaboratif e-FRAN METAL qui porte sur l?utilisation du numérique dans l?éducation, ces techniques seront adaptées, enrichies, et mises en oeuvre pour aider à l?apprentissage d?une langue étrangère à l?école. Des expérimentations sont prévues dans des classes de collège et de lycée.

 

Les travaux menés porteront sur l?amélioration et le développement d?outils vocaux pour l?évaluation des prononciations, tant au niveau des sons qu?au niveau de l?intonation. Un point important à étudier et à approfondir concerne la fiabilité des traitements et des mesures effectués (e.g., durée des sons issues de la segmentation phonétique, et valeurs de la fréquence fondamentale), et la prise en considération de ces informations de fiabilité des mesures dans l?établissement des diagnostics sur les défauts de prononciation, et les retours vers les apprenants.

 

Après une adaptation des outils et modèles au contexte non-natif des apprenants d?une langue étrangère, la plus grande partie du projet sera consacrée à des aspects plus innovants, et concernera l?étude d?approches à base d?apprentissage profond pour la détection de défauts de prononciation, et l?estimation des incertitudes sur les mesures faites (durées des sons et valeurs de la fréquence fondamentale) afin d?assurer la fiabilité des diagnostics effectués.

 

- Connaissances en traitement de la parole, reconnaissance de la parole, ou synthèse de la parole

- Connaissance, voire maitrise d?un toolkit de reconnaissance de la parole

- Expérience des réseaux de neurones, et si possible maitrise d?un toolkit de réseaux de neurones

- Bonnes compétences en informatique, et en programmation

 

Français:

 

English