Offre d’emploi : 1 Chargé.e de recherche et développement (H/F) Conversion neuronale de l’identité vocale pour la réalisation d’attaques adverses

Disponibilité et durée : 18 mois, de préférence à partir du 01 juin 2023

Description du poste: Dans le cadre du projet ANR BRUEL (2022-2026), l’équipe Analyse et Synthèse des sons recherche un.e chargé.e de recherche pour la conception, l’implémentation, et l’apprentissage d’algorithmes de conversion neuronale de l’identité vocale pour la création d’attaques d’usurpation d’identité. A partir d’un ensemble de scénarios d’attaques envisagées pour réaliser ces attaques en fonction des moyens et ressources disponibles (expertise, algorithmes, données), les travaux consisteront dans un premier temps à réaliser l’implémentation d’un banc d’essais d’algorithmes pour évaluer la robustesse des systèmes d’authentification et de détection face à ces attaques. Les travaux porteront dans un second temps sur l’une ou plusieurs des problématiques suivantes : - L’apprentissage de la conversion d’identité à partir de données de qualité hétérogène et dégradée (compression, bruits, etc…) librement accessibles (par exemple sur internet), et le transfert d’identité à partir de peu de données par des stratégies d’adaptation neuronale à partir de peu d’exemples; - La génération de conversions avec un contrôle de l’emprunte acoustique pour que l’attaque soit adaptée à l’environnement sonore et au canal de communication en fonction des scénarios envisagés (depuis des conditions professionnelles jusqu’à des conditions dégradées de communication téléphonique ou internet). L’ensemble des travaux réalisés seront évalués selon les protocoles usuels en conversion d’identité vocale, mais également en relation avec les partenaires du projet pour mesurer les performances des systèmes d’authentification/détection en fonction des scénarios envisagés. Les avancées réalisées seront intégrées au système de conversion neuronale de l'identité vocale de l’Ircam et évaluées in situ dans le cadre de productions professionnelles et/ou artistiques réalisées à l’Ircam. Le.a chargé.e de recherche collaborera également avec l’équipe de développement et participera aux activités du projet (évaluation des algorithmes, réunions, spécifications, livrables, rapports).

Présentation du projet BRUEL Le projet ANR BRUEL (ElaBoRation d’Une méthodologie d’EvaLuation des systèmes d’identification par la voix) concerne l’évaluation/certification des systèmes d’identification par la voix face aux attaques adverses. En effet, les systèmes de reconnaissance automatique du locuteur sont vulnérables non seulement à la parole produite artificiellement par synthèse vocale, mais aussi à d'autres formes d'attaques telles que la conversion d’identité vocale et la relecture. Les artefacts créés lors de la création ou la manipulation de ces attaques frauduleuses constituent les marques laissées dans le signal par les algorithmes de synthèse vocale permettant ainsi de distinguer la voix réelle originale d’une voix usurpée. Dans ces conditions, la détection de l'usurpation d'identité requiert d'évaluer les contre-mesures d'usurpation d'identité en même temps que les systèmes de reconnaissance du locuteur. Le projet BRUEL ambitionne de proposer la première méthodologie d’évaluation/certification des systèmes d'identification par la voix basée sur une approche Critères Communs.

Contexte de travail Le travail sera effectué à l’IRCAM au sein de l’équipe Analyse et Synthèse des sons encadré par Nicolas Obin et Axel ROEBEL (SU, CNRS, IRCAM). Le travail pourra être mené partiellement à distance, avec la nécessité d’une participation aux réunions d’avancement du projet. L'Ircam est une association à but non lucratif, associée au Centre National d'Art et de Culture Georges Pompidou, dont les missions comprennent des activités de recherche, de création et de pédagogie autour de la musique du XXème siècle et de ses relations avec les sciences et technologies. Au sein de l'unité mixte de recherche, UMR 9912 STMS (Sciences et Technologies de la Musique et du Son) commune à l’Ircam, à Sorbonne Université, au CNRS, et au Ministère de la Culture et de la Communication, des équipes spécialisées mènent des travaux de recherche et de développement informatique dans les domaines de l'acoustique, du traitement des signaux sonores, des sciences cognitives, des technologies d’interaction, de l’informatique musicale et de la musicologie.

L'Ircam est situé au centre de Paris à proximité du Centre Georges Pompidou au 1, Place Stravinsky 75004 Paris.

Expérience et compétences requises: Nous recherchons un.e candidat.e spécialisé.e en apprentissage de réseaux de neurones profonds et en traitement automatique de la parole ou en vision, de préférence en deep fakes. Le·a candidate devra avoir une thèse de doctorat en sciences informatiques dans les domaines de l’apprentissage par réseaux de neurones profonds, ainsi que des publications dans des conférences et revues reconnues dans le domaine. Le·a candidat·e idéal·e aura:

• Une solide expertise en apprentissage machine, et en particulier en réseaux de neurones profonds.

• Une bonne expérience en traitement automatique de la parole ; de préférence dans le domaine de la génération ou des deep-fakes;

• Maîtrise du traitement du signal audio-vidéo numérique;

• Une excellente maîtrise du langage de programmation Python, de l’environnement TensorFlow pour l’apprentissage de réseaux de neurones, et du calcul distribué sur des serveurs GPUs

• Excellente maîtrise de l’anglais scientifique parlé et écrit

• Autonomie, travail en équipe, productivité, rigueur et méthodologie

Salaire Selon formation et expérience professionnelle

Candidatures Prière d'envoyer une lettre de motivation et un CV détaillant le niveau d'expérience/expertise dans les domaines mentionnés ci-dessus (ainsi que tout autre information pertinente) à Nicolas.Obin@ircam.fr et Axel.Roebel@ircam.fr Date limite de candidature 31 mai 2023