Missions

Ce post-doctorat fait partie du projet ANR GEPETO (GEstures and PEdagogy of InTOnation), dont le but est d'étudier l'utilisation de gestes manuels par le biais d'interfaces humain-machine, pour la conception d'outils et méthodes permettant l'apprentissage du contrôle de l'intonation (mélodie) dans la parole. 

En particulier, ce poste se place dans le contexte de la rééducation vocale, dans le cas de dégradation ou d'absence de vibration des plis vocaux chez des patients atteints de troubles du larynx. Les solutions médicales actuelles pour remplacer cette vibration consistent à injecter une source sonore artificielle dans le conduit vocal, directement par la bouche ou en transmission par les tissus du cou, grâce à un électrolarynx. Ce vibreur génère une source vocale de substitution sur laquelle l'utilisateur peut articuler normalement de la parole. Une alternative est de capter à l'aide d'un microphone la parole non-voisée produite par une personne en absence de vibration des plis vocaux (par exemple un chuchotement), et d'y ré-introduire le voisement en temps-réel par synthèse vocale. La voix reconstruite est alors jouée en temps-réel sur un haut-parleur. Aujourd'hui, l'ensemble de ces systèmes génèrent des signaux d'intonation (mélodie) relativement constante, conduisant à des voix très robotiques.

Le but du projet GEPETO à GIPSA-lab est d'ajouter à ces deux solutions un contrôle de l'intonation en temps-réel par le geste de la main, qui sera capté par diverses interfaces (tablette, accéléromètre, etc.), et d'étudier l'usage de tels systèmes dans des situations d'interactions orales.

Le post-doctorat se concentrera sur la solution de conversion chuchotement-parole qui est déjà disponible au laboratoire. Le travail sera divisé en deux tâches.

Dans un premier temps, il s'agira d'ajouter le contrôle gestuel de l'intonation au système de conversion chuchotement-parole. Celui-ci se fera dans l'environnement Max/MSP (langage C/C++), où différents modules sont déjà disponibles au laboratoire (gestion des interfaces, moteur de synthèse, analyse de la parole chuchotée). Diverses interfaces permettant de capter les gestes manuels dans différents espaces (trajectoire sur une surface, dans l'espace, pression, etc.) seront étudiées.

Dans un deuxième temps, nous chercherons à évaluer l'usage d'un tel système dans une application de suppléance vocale, et en particulier la coordination entre le contrôle manuel de l'intonation avec le contrôle naturel de l'articulation. 
D'abord, diverses stratégies de contrôle seront étudiées étant donnée les interfaces disponibles. Notamment, la question du contrôle du voisement (activation ou non de la source glottique) sera abordée. Cette première étape sera évaluée sur des tâches simples d'imitation de phrases, selon des critères de coordination rythmique entre contrôle de la source et de l'articulation, ainsi que de charge cognitive associée à la combinaison des deux contrôles.
Ensuite, nous travaillerons sur l'usage d'un tel système dans des situations de communication. Il s'agit d'un contexte où l'utilisateur doit produire des phrases intelligibles et expressives pour son interlocuteur, sans référence à imiter. Nous proposerons des stratégies d'apprentissage à l'utilisation d'un tel système, et les évaluerons sur plusieurs échelles temporelles (jours, semaines, mois). Ces stratégies seront développées selon des protocoles proposés par des partenaires du projet travaillant sur l'apprentissage du contrôle de l'intonation de langues étrangères.

Activités

- Prendre en main les différents modules pour la conversion chuchotement-parole disponibles au laboratoire (analyse du chuchotement, moteur de synthèse, gestion des interfaces) dans l'environnement Max/MSP
- Connecter les différents modules et développer le système de suppléance vocale contrôlé par le geste manuel, en testant divers contrôleurs gestuels pour le contrôle de l'intonation et du voisement
- Proposer un protocole d'évaluation de ces capteurs en termes de synchronisation rythmique des contrôles manuel et articulatoire, ainsi que de charge cognitive
- Évaluer ces capteurs sur un groupe d'utilisateurs
- Proposer des méthodes d'apprentissage pour l'usage d'un tel système
- Proposer un protocole d'évaluation de l'apprentissage sur plusieurs échelles temporelles (jours, semaines, mois)
- Évaluer l'apprentissage sur un groupe d'utilisateur

Compétences

- Langage C/C++ (connaissance approfondie)
- Matlab (connaissance approfondie)
- Programmation Max/MSP (connaissance souhaitée)
- Traitement du signal (connaissance générale)
- Traitement de la parole (connaissance souhaitée)
- Forte motivation pour la méthodologie et l'expérimentation
- Maîtrise du français (langue utilisée pour le développement et l'évaluation du système)

Expérience souhaitée:
Synthèse de la parole, codage temps-réel Max MSP, interfaces homme-machine, expériences cognitives

Contexte de travail

Gipsa-lab est une unité de recherche mixte du CNRS, de Grenoble INP, et de l'Université de Grenoble Alpes ; elle est conventionnée avec Inria et l'Observatoire des Sciences de l'Univers de Grenoble.
Fort de 350 personnes dont environ 150 doctorants, Gipsa-lab est un laboratoire pluridisciplinaire développant des recherches fondamentales et finalisées sur les signaux et systèmes complexes. Il est reconnu internationalement pour ses recherches en Automatique, Signal et Images, Parole et Cognition et développe des projets dans les domaines stratégiques de l'énergie, de l'environnement, de la communication, des systèmes intelligents, du vivant et de la santé et de l'ingénierie linguistique. 
De par la nature de ses recherches, Gipsa-lab maintient un lien constant avec le milieu économique via un partenariat industriel fort. 
Son potentiel d'enseignants-chercheurs et chercheurs est investi dans la formation au niveau des universités et écoles d'ingénieurs du site grenoblois (Université Grenoble Alpes).
Gipsa-lab développe ses recherches au travers de 16 équipes de recherche organisées en 4 pôles.
Elle compte 150 permanents et environ 250 non-permanents (doctorants, post-doctorants, chercheurs invités, étudiants stagiaires de master, etc.).

Le.a post-doctorant.e sera rattaché.e à l'équipe CRISSP (Cognitive Robotics, Interactive Systems, Speech Processing) du Pôle Parole et Cognition de GIPSA-lab.