Missions

Ce post-doctorat fait partie du projet ANR GEPETO* (GEstures and PEdagogy of InTOnation), dont le but est d'étudier l'utilisation de gestes manuels par le biais d'interfaces humain-machine, pour la conception d'outils et méthodes permettant l'apprentissage du contrôle de l'intonation (mélodie) dans la parole. 
En particulier, ce poste se place dans le contexte de la rééducation vocale, dans le cas de dégradation ou d'absence de vibration des plis vocaux chez des patients atteints de troubles du larynx. Les solutions médicales actuelles pour remplacer cette vibration consistent à injecter une source sonore artificielle dans le conduit vocal, directement par la bouche ou en transmission par les tissus du cou, grâce à un électrolarynx. Ce vibreur génère une source vocale de substitution sur laquelle l'utilisateur peut articuler normalement de la parole. Une alternative est de capter à l'aide d'un microphone la parole non-voisée produite par une personne en absence de vibration des plis vocaux (par exemple un chuchotement), et d'y ré-introduire le voisement en temps-réel par synthèse vocale. La voix reconstruite est alors jouée en temps-réel sur un haut-parleur. Aujourd'hui, l'ensemble de ces systèmes génèrent des signaux d'intonation (mélodie) relativement constante, conduisant à des voix très robotiques.
Le but du projet GEPETO à GIPSA-lab est d'ajouter à ces deux solutions un contrôle de l'intonation en temps-réel par le geste de la main, et d'étudier l'usage de tels systèmes dans des situations d'interactions orales.


Objectifs :
Nous avons développé dans la première partie du projet une solution de conversion chuchotement-parole en temps-réel à laquelle peuvent se connecter diverses interfaces permettant de capter les gestes manuels dans différents espaces (trajectoire sur une surface, dans l'espace, pression, etc.) pour le contrôle de l'intonation. Le post-doctorat aura pour but d'évaluer un tel système dans des situations de production et interaction orales dans une application de suppléance vocale. 
Nous aborderons dans un premier temps la question du contrôle du voisement (activation ou non de la source voisée). Nous avons implémenté une méthode semi-automatique basée sur le centroïde spectral du signal de chuchotement qui nécessite que l'utilisateur ajuste la production de son chuchotement pour qu'une décision correcte de voisement soit prise (Ardaillon et al., Interspeech 2022)**. Nous chercherons alors à évaluer dans quelle mesure cette adaptation au système est possible. 
Nous étudierons dans un deuxième temps le contrôle prosodique par le geste manuel de motifs intonatifs typiques (par exemple : les modalités de phrase, l'accentuation), en fonction des degrés de liberté offerts par les interfaces disponibles (tablette tactile Sensel Morph, accéléromètre, etc.). Cette étape sera évaluée à la fois sur des tâches simples d'imitation de phrases, mais aussi dans des situations de communication où l'utilisateur doit produire des phrases intelligibles et expressives pour son interlocuteur, sans référence à imiter. 
Ces deux questions de recherche portent donc sur l'adaptation d'un.e utilisateur.trice de sa production de parole et de ses gestes manuels pour le contrôle du voisement et de l'intonation, respectivement. Il s'agira pour chaque étude de proposer des protocoles expérimentaux permettant à la fois l'évaluation des sujets sur les tâches de contrôle, mais aussi leur capacité d'apprentissage à l'utilisation d'un tel système. 

* http://gepeto.dalembert.upmc.fr/project_fr.html
** http://www.gipsa-lab.grenoble-inp.fr/~olivier.perrotin/media/papers/10675_file_Paper.pdf

Activités

- Prendre en main le système de conversion chuchotement-parole dans l'environnement Max/MSP
- Proposer un protocole d'apprentissage pour le contrôle du voisement
- Proposer un protocole d'évaluation du contrôle de l'intonation sur les tâches d'imitation et de production
- Proposer un protocole d'apprentissage pour le contrôle de l'intonation
- Évaluer l'ensemble sur des groupes d'utilisateurs

Compétences

Les personnes n'ayant pas de compétence dans certains des domaines listés sont néanmoins encouragées à déposer une candidature. 
- Perception et production de la parole
- Méthodologie expérimentale en Sciences de la Parole / Phonétique
- Outils d'analyse de résultats (par ex: R/Python/Matlab)
- Interaction humain machine
- Programmation Max/MSP (prise en main du dispositif existant et améliorations)  
- Compréhension du français (langue utilisée pour le développement et l'évaluation du système)

Contexte de travail

Le Gipsa-lab est une unité de recherche commune CNRS, Grenoble-INP (Institut de Technologie de
Grenoble), Université de Grenoble conventionnée par l'Inria et l'Observatoire des Sciences de l'Univers de
Grenoble.
Avec 350 personnes dont environ 150 doctorants, Gipsa-lab est une unité de recherche multidisciplinaire
développant à la fois des recherches fondamentales et appliquées sur des signaux et des systèmes complexes.
Gipsa-lab développe des projets dans les domaines stratégiques de l'énergie, de l'environnement, de la
communication, des systèmes intelligents, de la vie et de la santé et de l'ingénierie linguistique.
Par ses activités de recherche, Gipsa-lab maintient un lien constant avec l'environnement économique grâce à
un partenariat fort avec les entreprises.
Le personnel du Gipsa-lab est impliqué dans l'enseignement et la formation dans les différentes universités et
écoles d'ingénieurs de l'agglomération grenobloise (Université Grenoble Alpes).
Gipsa-lab est internationalement reconnu pour la recherche réalisée en Automatique et Diagnostic, Sciences
de l'Information et de l'Image du Signal, Parole et Cognition. L'unité développe sa recherche au travers de 16
équipes organisées en 4 pôles de recherche :
.Automatique et Diagnostic
.Sciences des Données
.Géométries, Apprentissage, Information et Algorithmes
.Paroles et Cognition
Le Gipsa-lab regroupe 150 permanents et environ 250 non permanents (doctorants, post-doctorants,
chercheurs invités, personnel administratifs et techniques, stagiaires en master…)
Le.a post-doctorant.e sera rattaché.e à l'équipe CRISSP (Cognitive Robotics, Interactive Systems, Speech Processing) du Pôle Parole et Cognition de GIPSA-lab. Il/elle travaillera avec Olivier Perrotin de l'équipe CRISSP, et Nathalie Henrich Bernardoni de l'équipe MOVE (Analyse et Modélisation de l'Homme en Mouvement : Biomécanique, Cognition, Vocologie) du Pôle Science des Données.