Offre d’emploi : 1 Chargé.e de recherche et développement (H/F) Génération de deep fakes audio-visuel

Disponibilité et durée : 15 mois, de préférence à partir du 01 juin 2023

Description du poste Dans le cadre du projet ASTRID DeTOX (2023-2025), l’équipe Analyse et Synthèse des sons recherche un.e chargé.e de recherche pourl’implémentation et l’apprentissage d’algorithmes pour la génération de deep fakes audio-visuels avec les missions suivantes : - Collection, implémentation, et apprentissage d’algorithmes représentatifs de l’état-del’art pour la génération de deep fakes audio et visuel - Implémentation d’un nouvel algorithme de génération de deep fakes audio-visuel avec synchronisation des deux modalités en particulier pour assurer la cohérence de la parole et du mouvement du lèvre et du bas du visage - Construction de bases de données audio-visuel des personnes ciblées et apprentissage de modèles de génération de deep fakes pour ces personnes Le.a chargé.e de recherche collaborera également avec l’équipe de développement et participera aux activités du projet (évaluation des algorithmes, réunions, spécifications, livrables, rapports). Présentation du projet DeTOX Les récents challenges ont montré qu'il était extrêmement difficile de mettre au point des détecteurs universels de vidéos hyper-truquées - à l'exemple des 'deep fakes' utilisés pour contrefaire l'identité d'une personne. Lorsque les détecteurs sont exposés à des vidéos générées par un algorithme nouveau, c'est-à-dire inconnu lors de la phase d'apprentissage, les performances sont encore extrêmement limitées. Pour la partie vidéo, les algorithmes examinent les images une par une, sans tenir compte de l'évolution de la dynamique faciale au cours du temps. Pour la partie vocale, la voix est générée de manière indépendante de la vidéo ; en particulier, la synchronisation audio-vidéo entre la voix et les mouvements des lèvres n'est pas prise en compte. Ceci constitue un point faible important des algorithmes de génération de vidéos hyper-truquées. Le présent projet vise à implémenter et à apprendre des algorithmes de détection de deepfakes personnalisés sur des individus pour lesquels on peut disposer et/ou fabriquer de nombreuses séquences audio-vidéo réelles et falsifiées. En se basant sur des briques technologiques de base en audio et vidéo récupérées de l'état de l'art, le projet se concentrera sur la prise en compte de l'évolution temporelle des signaux audio-visuels et de leur cohérence pour la génération et la détection. Nous souhaitons ainsi démontrer qu'en utilisant simultanément l’audio et la vidéo et en se focalisant sur une personne précise lors de l'apprentissage et de la détection, il est possible de concevoir des détecteurs efficaces même face à des générateurs encore non répertoriés. De tels outils permettront de scruter et de détecter sur le web d'éventuelles vidéos hyper-truquées de personnalités françaises importantes (président de la république, journalistes, chef d'étatmajor des armées, ...) et ce dès leur publication.

Contexte de travail Le travail sera effectué à l’IRCAM au sein de l’équipe Analyse et Synthèse des sons encadré par Nicolas Obin et Axel ROEBEL (SU, CNRS, IRCAM). Le travail pourra être mené partiellement à distance, avec la nécessité d’une participation aux réunions d’avancement du projet. L'Ircam est une association à but non lucratif, associée au Centre National d'Art et de Culture Georges Pompidou, dont les missions comprennent des activités de recherche, de création et de pédagogie autour de la musique du XXème siècle et de ses relations avec les sciences et technologies. Au sein de l'unité mixte de recherche, UMR 9912 STMS (Sciences et Technologies de la Musique et du Son) commune à l’Ircam, à Sorbonne Université, au CNRS, et au Ministère de la Culture et de la Communication, des équipes spécialisées mènent des travaux de recherche et de développement informatique dans les domaines de l'acoustique, du traitement des signaux sonores, des sciences cognitives, des technologies d’interaction, de l’informatique musicale et de la musicologie.

L'Ircam est situé au centre de Paris à proximité du Centre Georges Pompidou au 1, Place Stravinsky 75004 Paris.

Expérience et compétences requises Nous recherchons un.e candidat.e spécialisé.e en apprentissage de réseaux de neurones profonds et en traitement automatique de la parole ou en vision, de préférence en deep fakes. Le·a candidate devra avoir une thèse de doctorat en sciences informatiques dans les domaines de l’apprentissage par réseaux de neurones profonds, ainsi que des publications dans des conférences et revues reconnues dans le domaine. Le·a candidat·e idéal·e aura:

• Une solide expertise en apprentissage machine, et en particulier en réseaux de neurones profonds.

• Une bonne expérience en traitement automatique de la parole ou en vision ; de préférence dans le domaine des deep-fakes;

• Maîtrise du traitement du signal audio-vidéo numérique;

• Une excellente maîtrise du langage de programmation Python, de l’environnement TensorFlow pour l’apprentissage de réseaux de neurones, et du calcul distribué sur des serveurs GPUs

• Excellente maîtrise de l’anglais scientifique parlé et écrit

• Autonomie, travail en équipe, productivité, rigueur et méthodologie

Salaire Selon formation et expérience professionnelle

Candidatures Prière d'envoyer une lettre de motivation et un CV détaillant le niveau d'expérience/expertise dans les domaines mentionnés ci-dessus (ainsi que tout autre information pertinente) à Nicolas.Obin@ircam.fr et Axel.Roebel@ircam.fr Date limite de candidature 31 mai 2023