ISCApad #316 |
Thursday, October 10, 2024 by Chris Wellekens |
6-1 | (2024-04-02) Proposition de these @ INRIA Nancy France INRIA Nancy propose une thèse sur la génération de la langue des signes à partir de la parole, à l’Université de Lorraine (à Nancy). Pour plus de détails et pour postuler, consultez : https://jobs.inria.fr/public/classic/fr/offres/2024-07443
| ||||||||||||||||
6-2 | (2024-04-03) Two post-docs@Afeka Center of Language Processing (ACLP), Tel-Aviv, Israel Two 2 open postdoctoral positions on the topic of Spoofing-robust speaker verification. The aim of the research is to combine time and frequency domain information to achieve a better generalization robustness to new attacks. The positions are open at Afeka Center of Language Processing (ACLP), Tel-Aviv, Israel, to work with Prof.Itshak Lapidot and his colleagues from Ben-Gurion University. Candidates can contact Prof. Lapidot Prof. Itshak Lapidot | Researcher | ACLP – Afeka Center for Language Processing | Afeka Academic College of Engineering | Mobile: 052-8902471 |Tel: +972-3-7688793 | itshakl@afeka.ac.il
| ||||||||||||||||
6-3 | (2024-04-15) PhD , Université d'Aix-Marseille, France Nous recherchons un doctorant en sciences cognitives pour travailler sur un volet du projet ANR-JCJC FRENCHMELO « La prosodie pour comprendre le langage : du traitement de la langue native à l’acquisition de langues étrangères ». Ce volet vise à investiguer la sensibilité des francophones natifs au marqueurs acoustiques de l’accentuation. La personne recrutée participera à la mise en place d’études électrophysiologiques prévues dans le cadre de ce projet. Cette personne sera également en charge de la collecte, l’analyse et la diffusion des données issues de ces études. Ce poste, d’une durée de trois ans, est à pourvoir au Laboratoire Parole et Langage d'Aix Marseille Université à Aix-en-Provence. Le doctorant sera encadré par Amandine Michelas et Sophie Dufour et sera intégré à l’équipe de recherche S2S et au Groupe Prosodie du Laboratoire Parole et Langage. La date de début prévue est le 1er octobre 2024.
Les candidats devront être titulaires d’un master de recherche en sciences cognitives, en psychologie cognitive ou en sciences du langage. Le candidat doit avoir un intérêt fort et documenté pour la phonétique et la psycholinguistique. Une expérience antérieure avec l’électrophysiologie est un avantage mais n'est pas une condition requise.
Les candidats intéressés sont priés de soumettre, pour le 30/06/2024 au plus tard, un dossier de candidature comprenant : - une lettre de motivation - un curriculum vitae (comprenant l'adresse e-mail et le numéro de téléphone de contact), - tout autre document pertinent, le tout dans un seul fichier pdf envoyé aux adresses suivantes : amandine.michelas@univ-amu.fr et sophie.dufour@univ-amu.fr
| ||||||||||||||||
6-4 | (2024-04-30) PhD offer at IMT-Atlantique, Brest, France Summary • Subject: Language & vision-based mobility assistance for visually impaired people
• Keywords: Assistive Technologies, Visual Impairment, Computer Vision, Image Captioning • Research Unit: Lab-STICC (UMR CNRS 6285) • Team: RAMBO - Robot interaction, Ambient system, Machine learning, Behaviour, Optimization • Location: IMT Atlantique, Brest • Start: September/October 2024 • Duration: 3 years • Supervision: Panagiotis Papadakis, Christophe Lohr Full subject description: https://www.imt-atlantique.fr/sites/default/files/recherche/Offres%20de%20th%C3%A8ses/2024/2024_Language%20%26%20vision-based%20mobility%20assistance.pdf Application The candidate must hold (or is about to obtain) a Master Degree in Computer Science with theoretical and practical skills in AI algorithms and associated deep-learning tools (e.g. Pytorch), and a solid background in Computer Vision. The candidate should be fluent in English (working and publishing main language), but French speaking is an advantage (meetings with end-users representatives). A detailed application should be addressed to thesis-application-rambo@imt-atlantique.fr, including a cover letter, an up-to-date CV, transcripts of grades (last two years), and a list of referees. Deadline: 17 May 2024
| ||||||||||||||||
6-5 | (2024-05-03) Post-doc à l' INA, Paris, France Dans le cadre du projet ANR Pantagruel, l’INA recrute au sein de son équipe de recherche un postdoc spécialisée en TAL pour un CDD de 18 mois. Le cadre des travaux proposé est l’analyse de transcriptions de flux audiovisuels pour l’évaluation de LLMs et leur utilisation en sciences sociales computationnelles. Il s’agit donc de reprendre et adapter des tâches de NLP / SLU au contexte particulier de ces contenus (langue orale, news, débats, talkshow, ...). Les principales tâches sur lesquelles il/elle sera amené à se pencher sont à déterminer parmi les suivantes : segmentation sémantique, détection d’événements médiatiques, extraction de citations, désambiguïsation d'entités nommées, analyse de sentiments, catégorisation, résumé automatique, détection de propos haineux et RAG. Pour ces tâches, il est prévu de mener de bout en bout la création de corpus (train et eval) avec les équipes de l’INA, le développement du code et l’évaluation sur plusieurs modèles de fondation, dont ceux issu du projet Pantagruel. Un accès à notre cluster de calcul ainsi qu’à AdAstra est prévu.
| ||||||||||||||||
6-6 | (2024-05-05) 3 offres de doctorat à l'INRIA, France Inria ouvre trois offres de thèse sur l'IA vocale :
| ||||||||||||||||
6-7 | (2024-05-14) Professorship (W3) in Language Technology, Saarland University, Germany Saarland University, Germany, is a campus university with an international focus and a strong research profile. With numerous internationally respected research institutes on campus and dedicated support for collaborative projects, Saarland University is an ideal environment for innovation and technology transfer. The German Research Center for Artificial Intelligence (DFKI) is Germany's leading application‐driven research institute with a core technology transfer mission. DFKI is currently the world's largest research centre for artificial intelligence operated as a public‐private partnership. DFKI maintains close collaborative ties with national and international companies and is firmly rooted in the worldwide scientific AI landscape.
| ||||||||||||||||
6-8 | (2024-05-30) PhD candidate in speech sciences, University of Mons, Belgium The Metrology and Language Sciences Department (web.umons.ac.be/smsl/) of the University of Mons is looking for candidates to take up a post of PhD candidate (M/F) from August 1, 2024.
CANDIDATE PROFILE (M/F) :
- Entry level: 'Bac +5' (master 300 ECTS credits) at least ; - Initial training allowing access to doctoral studies organised by the Faculty of Psychology and Educational Sciences (Psychology, Educational Sciences, Speech Therapy, Linguistics) or by the Faculty of Medicine (in particular: ENT and neurology); - Solid skills in the field of speech and language sciences, as well as in statistical data processing and research methodology; - Good command of scientific English (oral and written); sufficient command of French; - Good teamwork skills, creativity, autonomy, rigour, scientific curiosity; - Additional assets: programming skills (knowledge of a language such as Python or R), clinical experience with patients with motor speech disorders, possession of a driving licence and a private vehicle.
JOB PROFILE :
The post holder (M/F) will contribute to the Department's research efforts in the area covered by the ARC EvalDY project described below. He/she will be preparing a doctoral thesis related to this project. They may be required to play a minor role in the department's teaching supervision activities.
Full-time research grant for a period of three years, renewable in one-year increments, with a starting date of 1st of August, 2024 at the earliest.
RECRUITMENT PROCEDURE:
Interested candidates are requested to submit, by June 26, 2024 at the latest, an application including : - a letter of motivation - a curriculum vitae (including e-mail address and contact telephone number), - transcripts of each year of higher education, - any other relevant documents, all in a single pdf file sent to the following address: veronique.delvaux@umons.ac.be After an initial assessment of applications based on the application file, a sub-set of candidates will be selected for a second phase involving a selection interview. Successful candidates will be notified by e-mail and/or telephone. The interviews will take place on July 4, 2024, in Mons or remotely via Teams.
PROJECT: Evaluation of voice and speech disorders in dysarthria: EvalDy
The general aim of the project is to contribute to the characterisation and assessment of voice and speech disorders in dysarthria. The objective assessment (via acoustic and articulatory measurements) of pathological speech production is a rapidly expanding field of research, particularly in the French-speaking world, and there are many challenges to be met.
In the first phase, the project aims to document the speech production of a large number of French-speaking Belgian dysarthric patients, both men and women, with diverse profiles in terms of the type of dysarthria and associated aetiology (Parkinson's disease, Wilson's disease, Huntington's disease, Friedreich's ataxia, multiple sclerosis, amyotrophic lateral sclerosis, Kennedy's disease, dysarthria after stroke or head trauma) and the degree of severity of the dysarthria (mild, moderate, severe).
The acoustic recordings concern all the participants, who will be asked to produce the 8 modules of the MonPaGe 2.0.s protocol (repetition of pseudowords, intelligibility task, pneumo-phonatory module, reading of text, spontaneous speech, production of verbal diadocokinesis, automatic series and sentences with varied prosodic contours), to which 3 additional modules will be added (specifically targeting nasal phenomena, glides and phonetic flexibility skills). Several sub-groups of participants will be invited to carry out some of the modules in an experimental setting that will enable acoustic measurements to be combined with physiological measurements in order to study certain specific phenomena (acoustics and nasometry for nasality; acoustics, electroglottography and aerodynamics for coordination between the laryngeal and supra-laryngeal systems; acoustics and ultrasound imaging for articulatory precision; acoustics and imaging by nasofibroscopy and stroboscopy for voice quality). Analysis of this large data set, in particular analysis of the relationships between acoustic and articulatory measurements, will aim to reduce the multiple acoustic measurements to a smaller number of reliable, robust indicators that can be used to characterise all the dimensions of dysarthric speech: laryngeal functioning, pneumo-phonatory behaviour (including intensity control), fluency, articulatory precision and gestural coordination, organisation of the vowel system, and aptitude for phonetic flexibility.
In a second phase, the project aims to use the acoustic indicators thus isolated to develop (i.e. design, operationalise, then assess the psychometric qualities and finally adapt) several assessment tools, each of which will be dedicated to meeting a more precise objective, defined either in relation to a research question or to a need identified in clinical practice.
The first objective concerns the sub-clinical signs of dysarthria in Parkinson's disease, and the possibility of using certain acoustic indices such as vocal biomarkers to assist clinicians in the early diagnosis of the disease. The second objective is to contribute to differential diagnosis, using a tool for acoustic assessment of speech production to distinguish between different subtypes of dysarthria, as well as between dysarthria and apraxia of speech. The third clinical objective concerns the temporal dynamics of the disease, viewed from an intra-individual perspective. The aim is to propose a tool that is suitable for longitudinal monitoring of dysarthric patients, once the diagnosis has been made. The fourth objective relates to a fundamental research question, that of characterising the evolution of dysarthria as a function of the degree of severity in the context of the retrogenesis hypothesis. The fifth objective concerns intelligibility. The aim is to produce a tool for assessing the intelligibility of dysarthric speech, which can be used in future work on the link between intelligibility, communicative efficiency and quality of life in dysarthric patients.
Prof. Véronique Delvaux, PhD Chercheur qualifié FNRS à l'UMONS Chargée de cours UMONS & ULB Service de Métrologie et Sciences du Langage SMSL Institut de Recherche en Sciences et Technologies du Langage IRSTL Local –1.7, Place du Parc, 18, 7000 Mons +3265373140 https://web.umons.ac.be/smsl/veronique_delvaux/ https://trends.levif.be/canal-z/entreprendre/z-science-14-06-23/
| ||||||||||||||||
6-9 | (2024-05-30) Fully funded PhD positions,Universirty of Bordeaux (LaBRI), France In the framework of the PEPR Santé numérique “Autonom-Health” project (Health, behaviors and autonomous digital technologies), the speech is looking for candidates for a fully funded PhD position (36 months).
Gross salary: approx. 2044 €/month Starting date: October 2024 Candidate profile:
Required qualifications: Master in Signal processing / speech analysis / computer science
Skills: Python programming, statistical learning (machine learning, deep learning), automatic signal/speech processing, excellent command of French (interactions with French patients and clinicians), good level of scientific English. Know-how: Familiarity with the ESPNET toolbox and/or deep learning frameworks, knowledge of automatic speech processing system design. Social skills: good ability to integrate into multi-disciplinary teams, ability to communicate with non-experts. Previsional agenda:
The « Autonom-Health » project is a collaborative project on digital health between SANPSY, LaBRI, LORIA, ISIR and LIRIS. The abstract of the « Autonom-Health » project can be found at the end of this email. The missions that will be addressed by the retained candidates are among these tasks, according to the profile of the candidate: - Data collection tasks:
- Definition of scenarii for collecting spontaneous speech using Social Interactive Agents (SIAs) - Collection of patient/doctor interactions during clinical interviews - ASR-related tasks - Evaluate and improve the performances of our end2end ESPNET-based ASR system for French real-world spontaneous data recorded from healthy subjects and patients, - Adaptation of the ASR system to clinical interviews domain, - Automatic phonetic transcription / alignment using end2end architectures - Adapting ASR transcripts to be used with semantic analysis tools developed at LORIA - Speech analysis tasks - Analysis of vocal biomarkers for different diseases: adaptation of our biomarkers defined for sleepiness, research of new biomarkers targeted to specific diseases. Location: The position is to be hosted at LaBRI, but depending on the profile of the candidate, close collaboration is expected either with the LORIA teams : « Multispeech » (contact: Emmanuel Vincent emmanuel.vincent@inria.fr) and/or the « Sémagramme » (contact: Maxime Amblard maxime.amblard@loria.fr). The Laboratoire Bordelais de Recherche en Informatique (LaBRI) is a renowned research center known for its excellence in various fields of computer science, including algorithms, artificial intelligence, networks, and human-computer interaction. It boasts advanced technological resources and participates in numerous European and international research projects. PhD students benefit from a stimulating academic environment and enriching interdisciplinary collaborations. Located in Bordeaux, LaBRI offers a pleasant and dynamic living environment.
Applications: To apply, please send by email at jean-luc.rouas@labri.fr a single PDF file containing a full CV, cover letter (describing your personal qualifications, research interests and motivation for applying), contact information of two referees and academic certificates (Master, Bachelor certificates). —— Abstract of the « Autonom-Health » project: Western populations face an increase of longevity which mechanically increases the number of chronic disease patients to manage. Current healthcare strategies will not allow to maintain a high level of care with a controlled cost in the future and E health can optimize the management and costs of our health care systems. Healthy behaviors contribute to prevention and optimization of chronic diseases management, but their implementation is still a major challenge. Digital technologies could help their implementation through numeric behavioral medicine programs to be developed in complement (and not substitution) to the existing care in order to focus human interventions on the most severe cases demanding medical interventions. However, to do so, we need to develop digital technologies which should be: i) Ecological (related to real-life and real-time behavior of individuals and to social/environmental constraints); ii) Preventive (from healthy subjects to patients); iii) Personalized (at initiation and adapted over the course of treatment) ; iv) Longitudinal (implemented over long periods of time) ; v) Interoperated (multiscale, multimodal and high-frequency); vi) Highly acceptable (protecting users’ privacy and generating trustability). The above-mentioned challenges will be disentangled with the following specific goals: Goal 1: Implement large-scale diagnostic evaluations (clinical and biomarkers) and behavioral interventions (physical activities, sleep hygiene, nutrition, therapeutic education, cognitive behavioral therapies...) on healthy subjects and chronic disease patients. This will require new autonomous digital technologies (i.e. virtual Socially Interactive Agents SIAs, smartphones, wearable sensors). Goal 2: Optimize clinical phenotyping by collecting and analyzing non-intrusive data (i.e. voice, geolocalisation, body motion, smartphone footprints, ...) which will potentially complement clinical data and biomarkers data from patient cohorts. Goal 3: Better understand psychological, economical and socio-cultural factors driving acceptance and engagement with the autonomous digital technologies and the proposed numeric behavioral interventions. Goal 4: Improve interaction modalities of digital technologies to personalize and optimize long-term engagement of users. Goal 5: Organize large scale data collection, storage and interoperability with existing and new data sets (i.e, biobanks, hospital patients cohorts and epidemiological cohorts) to generate future multidimensional predictive models for diagnosis and treatment. Each goal will be addressed by expert teams through complementary work-packages developed sequentially or in parallel. A first modeling phase (based on development and experimental testings), will be performed through this project. A second phase funded via ANR calls will allow to recruit new teams for large scale testing phase. This project will rely on population-based interventions in existing numeric cohorts (i.e KANOPEE) where virtual agents interact with patients at home on a regular basis. Pilot hospital departments will also be involved for data management supervised by information and decision systems coordinating autonomous digital Cognitive Behavioral interventions based on our virtual agents. The global solution based on empathic Human-Computer Interactions will help targeting, diagnose and treat subjects suffering from dysfunctional behavioral (i.e. sleep deprivation, substance use...) but also sleep and mental disorders. The expected benefits from such a solution will be an increased adherence to treatment, a strong self-empowerment to improve autonomy and finally a reduction of long-term risks for the subjects and patients using this system. Our program should massively improve healthcare systems and allow strong technological transfer to information systems / digital health companies and the pharma industry. Jean-Luc ROUAS CNRS Researcher Bordeaux Computer Science Research Laboratory (LaBRI) 351 Cours de la libération - 33405 Talence Cedex - France T. +33 (0) 5 40 00 35 28 www.labri.fr/~rouas
| ||||||||||||||||
6-10 | (2024-05-28) Enseignant Université de Strasbourg, France La faculté des Lettres de l’Université de Strasbourg recrute pour la rentrée 2024 – 2025 un enseignant contractuel en linguistique française. La personne recrutée aura à assurer un service de 384 heures en licences sciences du langage et Lettres modernes et classiques. La rémunération est alignée sur la grille des enseignants du second degré en fonction du profil du candidat. Le contrat débutera au 1er septembre 2024 pour une durée d’un an. Nous essayons autant que possible donner plusieurs groupes de TD pour tenter de limiter la charge de travail de préparation mais cela reste un volume important en fin de thèse. Compte tenu du nombre d'heures à assurer, il n'est pas toujours possible de grouper les enseignements et il est donc probable que la personne recrutée ait cours jusqu'à 5 jours par semaine. Nous avons toutefois l'habitude de partager nos supports de cours et intégrer au mieux nos nouveaux collègues. L'offre est publiée et consultable sous https://www.unistra.fr/universite/travailler-a-luniversite/personnels-enseignants/enseignants-contractuels#c15883854 -- Camille Fauth Maître de conférences Vice présidente déléguée à l'Orientation - Transition secondaire / supérieur Responsable de la licence Sciences du Langage - Faculté des Lettres Responsable des stages du master Métiers de l'édition - Faculté des Lettres UR 1339 LiLPa - Université de Strasbourg
| ||||||||||||||||
6-11 | (2024-05-31) Poste contractuel d’enseignant-chercheur, Avignon Université / Laboratoire Informatique d’Avignon (LIA), France Un poste contractuel d’enseignant-chercheur est ouvert à plein temps au Centre d’Enseignement et de Recherche en Informatique, Avignon Université / Laboratoire Informatique d’Avignon (LIA) pour la rentrée prochaine 2024.
Côté recherche, la personne recrutée pourra intégrer l’une des deux équipes du LIA, dont l’équipe Speech and Language Group pour travailler sur ses différentes thématiques autour du traitement automatique de la parole et du langage.
Pour postuler, rendez-vous sur https://univ-avignon.fr/acces-rapide/recrutement-concours/personnels-enseignants/enseignant-contractuel/ ou directement sur https://recrutement.univ-avignon.fr/poste/LRU_27_EC_2024 pour accéder à la plateforme de recrutement. La fiche de poste est accessible sur le dernier lien.
ATTENTION : les délais de candidature sont extrêmement courts - jusqu’au 10 juin soir prochain.
| ||||||||||||||||
6-12 | (2024-06- 03) Offre de these, GIPSA-Lab, Grenoble, France
Si :
- vous cherchez une thèse en sciences et technologies de la parole ;
- vous vous demandez si on peut prédire l'intonation de la voix à partir des lèvres, de la langue ou du visage ;
- vous vous demandez quelle serait la qualité d'une interaction orale avec quelqu'un utilisant ce système ;
- vous aimez l'apprentissage automatique, les expériences comportementales, et les montagnes
alors cliquez ici : https://www.gipsa-lab.grenoble-inp.fr/~olivier.perrotin/media/others/SilentPitch_PhD.pdf
En vous souhaitons bonne réception, n'hésitez pas à me contacter pour obtenir plus de détails,
et n'hésitez pas à diffuser à vos étudiants qui ne sont pas encore inscrits à la liste parole,
Olivier Perrotin
_________________________________________ Dr. Olivier Perrotin | Chargé de recherche CNRS CNRS / Grenoble INP / UGA GIPSA-lab, Département Parole et Cognition, équipe CRISSP 11 rue des Mathématiques – BP 46 38402 St Martin d’Hères Bâtiment B - Bureau B353 Tel: +33 (0)4 76 57 45 36 Web : http://www.gipsa-lab.grenoble-inp.fr/~olivier.perrotin/
| ||||||||||||||||
6-13 | (2024-06-06) One year postdoc Naver Labs Europe We offer this 1y postdoc on LLM-based agents, to work with us on the UTTER EU Project
Come work with us on one or several of these topics: i] managing uncertainty and ambiguity ii] improving the use of conversational context iii] ensuring the safety and alignment of LLMs.
| ||||||||||||||||
6-14 | (2024-06-07) Deux postes d'ingenieur à l'INRIA Nancy, France INRIA Nancy propose deux offres de postes d'ingénieur. Nous vous remercions de les transmettre aux potentielles personnes intéressées. Les candidats sont invités à postuler en ligne dès que possible. Les candidatures seront évaluées au fil de l'eau. Contexte : À travers le projet COLaF (Corpus et Outils pour les Langues de France), Inria a pour objectif de contribuer au développement de corpus et d’outils libres pour le français et les autres langues de France (alsacien, breton, corse, occitan, etc). La promotion et sauvegarde de ces langues dépend de la disponibilité des technologies linguistiques, mais ces langues sont largement ignorées par les industriels. Poste 1 : Ingénieur en Traitement des Langues et Développement de Modèles de reconnaissance de la parole La principale difficulté au développement de technologies linguistiques variées est le manque de données. En particulier, les données audio ont besoin d’une transcription pour la plupart des applications. Mais transcrire manuellement des données audio est coûteux en temps, nécessite la participation d’un.e locuteur.trice de bon niveau, et peut résulter en des données inconsistentes en l’absence d’orthographe standard. Afin d’augmenter la quantité de données audio annotées pour diverses langues de France, et de développer la première brique de chaines de traitement variées pour ces langues, nous souhaitons développer une chaine de traitement pour l’entrainement de systèmes de reconnaissance de la parole (ASR, automatic speech recognition). Pour plus d'information et postuler : https://jobs.inria.fr/public/classic/fr/offres/2024-07719
Poste 2 : Ingénieur en Traitement Linguistique et Développement de Modèles de synthèse de la parole L’un des souhaits exprimés par la communauté est un système de synthèse de la parole (TTS, text to speech) qui permettrait de créer facilement du contenu audio à partir de textes, et donc d’enrichir les média existants dans ces langues. Le système devra être adapté au contexte des langues peu dotées. Il devra être souple afin de s’adapter à des sources de données d’entrainement variant dans leur quantité et qualité. Il s’agit de types d’enregistrements variés : longues interviews, phrases isolées, émissions de TV, etc.
Pour plus d'information et postuler : https://jobs.inria.fr/public/classic/fr/offres/2024-07720
| ||||||||||||||||
6-15 | (2024-06-05 )PhD student @ KTH, Stockholm, Sweden We are looking for a PhD student interested in Artificial Intelligence, Natural Language Processing and Speech Technology, that will work in a newly funded project at the Department of Speech, Music and Hearing at KTH. The project is financed by the Swedish AI-program WASP (Wallenberg AI, Autonomous Systems and Software Program), which offers a graduate school with research visits, partner universities, and visiting lecturers.
The newly started project is titled 'Thinking Fast and Slow: Real-time Speech Generation for Conversational AI'. The aim of the project is to develop AI-models capable of generating spoken responses in an incremental fashion, mirroring the nuanced and dynamic nature of human conversation. Our approach builds upon our previous pioneering efforts in the realm of incremental and predictive models for dialogue, which have laid the groundwork for this project.
The position is mainly a research position, with a small fraction of departmental duties (e.g. teaching).
Supervision: Professor Gabriel Skantze and Assoc. Prof. Gustav Eje Henter
https://www.kth.se/lediga-jobb/735886?l=en
| ||||||||||||||||
6-16 | (2024-06-20) Research Fellow in Multimodal Neural Architecture, Trinity College, Dublin, IrelandResearch Fellow in Multimodal Neural Architecture
Please note the below is a shortened version of the full job specification. For more details please refer to the full Job Description document, which can be downloaded by clicking on the ‘Download full job spec’ button above. The Wider Research Project This Research Fellow is required to contribute to a new overall project led by Prof. Naomi Harte focused on the development of a unified multimodal framework for modelling and analysing real-world speech-based interaction. This Research Fellow will develop neural architectures for multimodal speech applications. The Research Fellow will rethink the development of sophisticated deep learning architectures that can fully exploit the relevant modalities of speech in an application. They will develop approaches that are agile in deployment and that can change how modalities combine in real-time. Applications will be in audio-visual speech recognition and conversational analysis. This work will be interdisciplinary in nature, requiring consideration of theories around conversation not only from a speech science and technology perspective, but also incorporating knowledge from established theories in the fields of psycholinguistics and cognitive science. Other elements of the project will focus on how to model multimodality in deep learning architectures. The overall team in this major project will consist of two Research Fellows (this position is one of those two), 4 PhD students, and one Research Assistant. The position is fully in-person and requires the person to be based in Dublin, Ireland. Qualifications Candidates appointed to this role must have completed a PhD in Electrical or Electronic Engineering, or a closely related field that makes them qualified to conduct this research in multimodal interaction. Note: Candidates who do not address the application requirements above will not be considered for interview. Further Information Informal enquiries about this post should be made to Professor Naomi Harte (nharte@tcd.ie) but applications are only accepted through the procedure outlined in the downloaded job spec document.
| ||||||||||||||||
6-17 | (2024-06-22) PhD student, LIG, CNRS, Grenoble, France PhD Thesis: Interpretability and Evaluation of LLMs and Agentic Workflows
Starting date: November 1st, 2024 (flexible)
Salary: 2,135€ gross / month (social security included)
Place of work (no remote): Laboratoire d'Informatique de Grenoble, CNRS, Grenoble, France
Description:
Natural language processing (NLP) has undergone a paradigm shift in recent years, owing to the remarkable breakthroughs achieved by large language models (LLMs). These models have completely altered the landscape of NLP by demonstrating impressive results in language modeling, translation, and summarization. Nonetheless, the use of LLMs has also surfaced crucial questions regarding their reliability and transparency. As a result, there is now an urgent need to gain a deeper understanding of the mechanisms governing the behavior of LLMs, to interpret their decisions and outcomes in scientifically grounded ways, and to precisely evaluate their abilities and limitations. Adding to the complexity, LLMs are often involved as only one small component of larger, more ambitious, extit{agentic workflows} [SemEra]. In an agentic workflow, LLMs collaborate with other LLMs, humans, and tools by exchanging natural language messages to solve complex problems beyond the capabilities of an LLM alone.
Evaluation of LLMs has become particularly challenging as they consume most of the internet during their pre-training, including most of the test splits of evaluation benchmarks [LeakCheatRepeat]. Furthermore, the landscape of available LLMs is changing fast and they have access to web via tools as part of agentic workflows. Therefore, new evaluation methodologies beyond assessing models' skills on a fixed test set are needed to consider these novel properties [Flows].
A promising direction to carry out evaluation and interpretability analysis is to take inspiration from the field of Neuroscience which, over the years, has crafted experimental setups to undercover how the human brain computes and represents useful information for tasks of interest [RepEng]. Additionally, we can get help from causal analysis and causal inference toolkits [CausalAbstraction]. Examining the causal relationships between the inputs, outputs, and hidden states of LLMs, can help to build scientific theories about the behavior of these complex systems. Furthermore, causal inference methods can help uncover underlying causal mechanisms behind the complex computations of LLMs, giving hope to better interpret their decisions and understand their limitations [Glitch].
As a Ph.D student working on such a project, you will be expected to develop a strong understanding of the evaluation of complex systems, the principles of causal inference, and their application to machine learning. You will have the opportunity to work on cutting-edge research projects in NLP, contributing to the development of more reliable and interpretable LLMs. It is important to note that the Ph.D. research project should be aligned with your interests and expertise. Therefore, the precise direction of the research can and will be influenced by the personal taste and research goals of the student. It is encouraged that you bring your unique perspective and ideas to the table.
Skills:
Master degree in Natural Language Processing, computer science or data science.
Mastering Python programming and deep learning frameworks.
Experience in causal inference or working with LLMs
Very good communication skills in English, (proficiency in French not mandatory).
Scientific environment:
The thesis will be conducted within the Getalp teams of the LIG laboratory (https://lig-getalp.imag.fr/). The GETALP team has a strong expertise and track record in Natural Language Processing. The recruited person will be welcomed within the team which offer a stimulating, multinational and pleasant working environment.
The means to carry out the PhD will be provided both in terms of missions in France and abroad and in terms of equipment. The candidate will have access to the cluster of GPUs of both the LIG. Furthermore, access to the National supercomputer Jean-Zay will enable to run large scale experiments.
The Ph.D. position will be co-supervised by Maxime Peyrard and François Portet.
Additionally, the Ph.D. student will also be working with external academic collaborators at EPFL and Idiap (e.g., Robert West and Damien Teney) and external industry partners (Microsoft Research)
[SemEra] Maxime Peyrard, Martin Josifoski, Robert West, 'The Era of Semantic Decoding' 2024
[Flows] Martin Josifoski, Lars Klein, Maxime Peyrard, Nicolas Baldwin, Yifei Li, Saibo Geng, Julian Paul Schnitzler, Yuxing Yao, Jiheng Wei, Debjit Paul, Robert West 'Flows: Building Blocks of Reasoning and Collaborating AI' 2023
[LeakCheatRepeat] Simone Balloccu, Patrícia Schmidtová, Mateusz Lango, Ondrej Dušek 'Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs' EACL 2024
[RepEng] Andy Zou, Long Phan, Sarah Chen, James Campbell, Phillip Guo, Richard Ren, Alexander Pan, Xuwang Yin, Mantas Mazeika, Ann-Kathrin Dombrowski, Shashwat Goel, Nathaniel Li, Michael J. Byun, Zifan Wang, Alex Mallen, Steven Basart, Sanmi Koyejo, Dawn Song, Matt Fredrikson, J. Zico Kolter, Dan Hendrycks 'Representation Engineering: A Top-Down Approach to AI Transparency'
[CausalAbstraction] Geiger, Atticus and Wu, Zhengxuan and Lu, Hanson and Rozner, Josh and Kreiss, Elisa and Icard, Thomas and Goodman, Noah and Potts, Christopher, 'Inducing Causal Structure for Interpretable Neural Networks' Proceedings of Machine Learning Research (2022): 7324-7338.
[Glitch] Giovanni Monea, Maxime Peyrard, Martin Josifoski, Vishrav Chaudhary, Jason Eisner, Emre Kıcıman, Hamid Palangi, Barun Patra, Robert West 'A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia' ACL 2024
| ||||||||||||||||
6-18 | (2024-06-21) Ingénieur-e de recherche, TALEP, Laboratoire d'Informatique et Systèmes - LIS, Marseille, France l'équipe TALEP au LIS recherche un-e ingénieur-e de recherche à partir de début octobre.
| ||||||||||||||||
6-19 | (2024-06-27) 3 postes enseignants-chercheurs, ENSSAT, Lannion, France 3 postes d'enseignants-chercheurs contractuels sont ouverts à l’ENSSAT Lannion, Université de Rennes pour la rentrée 2024. La partie recherche s’effectuera dans un des équipes de l'IRISA du site Lannionnais.
ATTENTION Les délais de candidature sont extrêmement courts (jusqu’au 08/07).
Pour plus d’infos et postuler en ligne:
| ||||||||||||||||
6-20 | (2024-06-29) Junior professor in Spoken Language Technologies, KU Leuven, Belgium Open faculty position at KU Leuven, Belgium: junior professor in Spoken Language Technologies
KU Leuven's Faculty of Engineering Science has an open position for a junior professor (tenure track) in the area of Spoken Language Technologies. The successful candidate will conduct research on current challenges of speech technology and its applications, teach courses in the Master of Engineering Science and supervise students in the Master and PhD programs. The candidate will be embedded in the PSI research division of the Department of Electrical Engineering. More information is available at https://www.kuleuven.be/personeel/jobsite/jobs/60334358?lang=en. The deadline for applications is September 30, 2024.
| ||||||||||||||||
6-21 | (2024-07-04) Two job opportunities @ University of Palemo, Italy Research opportunities at the University of Palermo, Italy - Prof. Siniscalchi
1) As part of the Doctoral Programs at the University of Palermo, Prof. Siniscalchi is seeking candidates for fully funded PhD positions (36 months) focused on speech-related topics, including speech enhancement, speech recognition, and speech for health.
Salary: The annual scholarship is €16,243 gross (Ministerial Decree No. 247 of 23 February 2022), which includes social security charges to be paid by the PhD student and is subject to the INPS social security contribution. How to apply and more infor: Interested candidates should contact Prof. Siniscalchi at sabatomarco.siniscalchi@unipa.it. Deadline: August 2nd.
(2) As part of the SHAPE-AD project at the University of Palermo, Prof. Siniscalchi is seeking candidates for a fully funded research position (12 months) focused on Speech and Handwriting Analysis to Predict Early Alzheimer’s Disease. Salary: The annual scholarship is €24,000 gross. How to apply or more info: Interested candidates should contact Prof. Siniscalchi at sabatomarco.siniscalchi@unipa.it.
| ||||||||||||||||
6-22 | (2024-07-19) Research and Teaching Associate – PreDoc Position –Graz University of Technology (TU Graz), Austria The Signal Processing and Speech Communication Laboratory (https://www.spsc.tugraz.at) of
| ||||||||||||||||
6-23 | (2024-07-25) Chaire de Professeur Junior, Institut National des Langues et Civilisations (Inalco), Paris, France L’OInstitut National des Langues et Civilisations rientales (Inalco) lance un appel à candidatures pour un poste de Chaire de Professeur Junior sur le thème : « Intelligence Artificielle pour les langues rares ou peu dotées ». Il s'agit d'un recrutement sur un contrat à durée déterminée (5 ans) avec une charge d'enseignement réduite, permettant à terme, et après évaluation, d’être titularisé sur un poste de professeur des universités fonctionnaire. Date limite de candidature au 02 septembre 2024 à 16h (heure de Paris).
Prise de fonction au plus tard le 31 décembre 2024. Annonce en ligne : https://www.inalco.fr/institut/concours-recrutement/chaire-de-professeur-junior-intelligence-artificielle-pour-les PROJET DE RECHERCHE L’Institut National des Langues et Civilisations Orientales (Inalco) est un grand établissement public d’enseignement supérieur et de recherche reconnu pour ses travaux portant sur les langues, les cultures et les sociétés du monde au travers de disciplines de Sciences Humaines et Sociales telles que la linguistique, la sociologie, l’économie, la géographie, l’histoire, les relations internationales, la science politique, les études littéraires et artistiques. Il se caractérise par la très grande diversité des langues (plus de 100) et des aires culturelles concernées par ses activités de recherche et d’enseignement, ce qui lui confère une position académique unique et internationalement reconnue. La numérisation des ressources (langues, textes, documentations, objets culturels) et leur traitement informatique constituent un enjeu majeur pour l’Inalco, à la fois en termes d’instruments de recherche (humanités numériques, accès aux données primaires, Open Source Intelligence, terrains numériques) et de valorisation des langues et des cultures (accès à la société de l’information des locuteurs de langues rares et informatiquement sous-dotées). Au sein de l’Inalco, l’Équipe de Recherche Textes, Informatique, Multilinguisme (ERTIM, https://ertim.inalco.fr) est une unité de recherche spécialisée dans le Traitement Automatique des Langues (TAL) qui a pour objets de recherche le traitement des données multilingues, les méthodologies du TAL multilingue et les applications en ingénierie linguistique. L’équipe exploite ou produit des méthodes et des outils pour l’analyse et le traitement des langues et des textes écrits ou oraux. Ses activités collaboratives relèvent soit des humanités numériques et de la description de langues spécifiques (notamment chinois, arabe, vietnamien, bambara, birman, quechua, hindi), soit d’applications ingénieriques (filtrage, classification, extraction d’information, etc.). Pour renforcer ses activités, l’ERTIM recherche un ou une candidate à l’état de l’art en TAL (méthodes d’apprentissage profond, grands modèles de langues, traitement de la parole) apte à élaborer et développer des recherches pour l’analyse et le traitement des langues peu dotées. La personne recrutée doit faire valoir une expérience en recherche théorique et appliquée la rendant apte à aborder de manière innovante des problématiques complexes en termes de modélisation linguistique (modèle de langues sous-dotées en ressources ou ressources lacunaires) mais aussi discursives (gestion de l’alternance codique, créolisation, variation à la norme, contact de langues, etc.). Dans le cadre de cette CPJ et dans la perspective de la titularisation, la personne recrutée doit être en mesure de conceptualiser et superviser les tâches nécessaires en amont de la modélisation (traitement de l’oral, reconnaissance de la parole, transcription écrite, reconnaissance de l’écrit) et en aval (par exemple, traduction automatique). Par son expertise et en lien avec ses projets de recherche, la personne recrutée pourra également être associée aux réflexions menées au sein de l’établissement sur l’usage de l’intelligence artificielle dans l’enseignement et la recherche en langues et en études aréales fondées sur des sources en langues orientales. Elle sera notamment impliquée dans l’élaboration d’une offre d’outils pédagogiques pour les enseignants de langue souhaitant intégrer les usages de l’IA, et d’outils méthodologiques destinés aux étudiants et chercheurs privés d’accès physique à leurs terrains de recherche. Unités de rattachement : ERTIM Lieu d’exercice : 2 rue de Lille (Paris) Directeur de laboratoire : Damien Nouvel N° de téléphone du directeur de laboratoire : 01 81 70 10 37 Courriel du directeur de laboratoire : damien.nouvel@inalco.fr URL du laboratoire : https://ertim.inalco.fr PROJET D'ENSEIGNEMENT La personne recrutée sera amenée à dispenser des cours de 1er et de 2e cycle (Licence, Master) dans la formation TAL de l’Inalco et, de manière plus transversale, dans le cadre des formations aux humanités numériques et à la méthodologie du traitement de données numériques dispensées en master et en doctorat. Le public a pour spécificité d’être souvent issu de cursus en Sciences Humaines et Sociales et d’être composé de locuteurs ou d’apprenants de langues du domaine Inalco (Asie, Afrique, Amériques, Océanie, Europe orientale). Les cours seront choisis en concertation avec l’équipe pédagogique et en fonction des compétences propres de la personne recrutée. Ils peuvent être génériques (algorithmique, programmation, etc.), méthodologiques (traitement et contextualisation de données issues de terrains numériques) ou propres à ses domaines d’expertise. Une création de cours pourra être envisagée, en lien avec les objectifs pédagogiques des formations existantes. Il est à noter que le Master TAL est co-accrédité avec les Université Sorbonne Nouvelle et l’Université Paris Nanterre. Il comprend des parcours recherches et professionnalisant débouchant sur des métiers de data scientists, ingénieurs NLP, ingénieurs linguistes, etc. La charge d'enseignement est de 64h équivalent TD la première année, 96h équivalent TD les deuxième et troisième années, 128h équivalent TD en quatrième et cinquième année. A l’issue de la période de contractualisation, s’il est titularisé en tant que professeur des universités, le titulaire de la chaire délivrera un service réglementaire de 192 heures équivalent TD. Département de rattachement : TIM Lieu d’exercice : 2 rue de Lille (Paris) et 65 rue des Grands Moulins (Paris) Directeur du département : Mathieu Valette N° de téléphone du directeur du département: Courriel du directeur du département : mvalette@inalco.fr URL du département : https://www.inalco.fr/textes-informatique-multilinguisme DESCRIPTION DU POSTE Contrat à durée déterminée de droit public d’une durée de 5 ans Sections CNU : 27, 07 Rémunération : Indice 735 de la fonction publique (environ 3680€ bruts par mois) Mots-clés : Intelligence Artificielle ; Traitement Automatique des Langues ; Langues peu dotées ; Numérisation ; Reconnaissance de la parole CANDIDATURE Date limite de candidature au 02 septembre 2024 à 16h (heure de Paris). Modalités de candidature : Enregistrement des candidatures et dépôt du dossier de candidature au format PDF sur l’application ministérielle dédiée : https://galaxie.enseignementsup-recherche.gouv.fr/antares/can/index.jsp Le dossier sera constitué de : - Formulaire de candidature à téléverser sur votre dossier de candidature Galaxie (voir le site), - Pièce d’identité avec photographie, - Copie du diplôme de doctorat, ou d’un diplôme équivalent, - CV analytique avec liste complète des publications, - 3 publications marquantes, - Présentation des projets de recherche, d’enseignement et d’insertion au sein de l’établissement et dans l’environnement de la chaire (10 pages maximum), - Thèse de doctorat (et le rapport de soutenance le cas échéant) et résumé de la thèse en anglais, - Mémoire et dossier d’habilitation à diriger des recherches le cas échéant ou tout autre document justifiant d’une aptitude à l’encadrement doctoral. MODALITÉS DE SÉLECTION ET AUDITIONS Les candidats doivent être titulaires d'un doctorat, et avoir un dossier de recherche bien établi montrant une activité de recherche dans des domaines pertinents pour le profil du poste (voir ci-dessous), comme des publications dans des revues internationales de premier ordre, des implications scientifiques dans des projets de recherche, etc. Le candidat recruté devra démontrer sa maîtrise de l’une des langues de son aire de spécialisation ainsi que sa capacité à assurer des enseignements en anglais. La maîtrise du français n’est pas exigée au moment du recrutement mais il est attendu que le ou la candidate ait acquis un niveau suffisant à l’issue du contrat, soit au moment de la titularisation. L’évaluation sera réalisée par une commission de recrutement composée d’expert(e)s internes et externes. Seuls les candidats présélectionnés par la commission, à partir de l’examen des dossiers, seront convoqués à une audition. Les critères d’évaluation porteront sur l’excellence du candidat, sa motivation, sa capacité d’encadrement ; sur la qualité et l’originalité des projets de recherche et d’enseignement ; sur sa capacité à intégrer son projet au sein du laboratoire, et à coordonner les activités du programme de la Chaire, ainsi que sur sa capacité à établir des réseaux collaboratifs à l’échelle internationale. Les auditions pourront se tenir en français ou en anglais. DISPOSITIF DE CHAIRE JUNIOR La chaire de professeur junior bénéficiera d'un forfait pour frais de recherche de 200K€ alloué par l'Agence nationale de la recherche (ANR) pour la période de 5 ans. Le programme de la Chaire pourra par ailleurs bénéficier d’un complément de financement provenant d’autres partenaires nationaux et internationaux. Celui-ci pourra permettre de financer des postes de chargés de projets, doctorants contractuels, post-doctorants, la participation à des conférences, l'accès à des bases de données, des équipements, le financement de souscription à des services (algorithmes ou données), etc. Au terme des 5 années de pré-titularisation, la personne recrutée devra avoir fait la preuve qu’elle peut prétendre au titre de professeur des universités en termes de prise de responsabilités collectives, d’encadrement d’étudiants, de stagiaires, d’encadrement ou co-encadrement de doctorants et, enfin, de participation à la vie académique de l’équipe et de l’établissement. Une commission de titularisation se réunira pour évaluer la valeur scientifique et l’aptitude professionnelle permettant une titularisation dans le corps des professeurs des universités. Au moment de la titularisation, sera exigée l’obtention d’une HDR. La publication d’au moins 6 articles dans des revues à comité de lecture est attendue aux termes des 5 années de pré-titularisation. Il est aussi attendu, pendant la période de pré-titularisation, que la personne titulaire de la Chaire participe aux projets collectifs initiés au sein de l’établissement et ait une activité importante de valorisation du programme (conférences, séminaires, activités de diffusion de la recherche...).
| ||||||||||||||||
6-24 | (2024-07-31) Lecturer, UC SanDiego, CA, USA Position: Speech & Debate Coach (Lecturer/Academic Coordinator)
The Department of Communication at UC San Diego invites applications for a Lecturer appointment (Unit 18-Non Senate Faculty) and Academic Coordinator appointment to teach and direct the Speech and Debate team. The successful candidate will be responsible for coaching and instructing students in the art of public speaking, argumentation, persuasion and debate. Apply: https://apol-recruit.ucsd.edu/JPF04025 For full consideration, applications should be submitted by Friday, August 30, 2024. We anticipate a winter 2025 start date. Responsibilities: Additional Duties: Department: https://communication.ucsd.edu/ Program: https://speechdebate.ucsd.edu/
| ||||||||||||||||
6-25 | (2024-08-13) PhD position, KTH, Stockholm, Sweden We are looking for a motivated PhD student to join the Division of Speech, Music, and Hearing (TMH) at KTH Royal Institute of Technology in Stockholm.
This project aims to advance Human-Robot Interaction (HRI) by enhancing embodied AI, integrating multimodal social cues and task-related actions into foundation models to enable robots to communicate in a more natural and human-like manner. It addresses the current limitations of Large Language Models, which lack the ability to comprehend and generate essential social cues like facial expressions, gestures, and gaze, as well as perform task-specific behaviors. The project focuses on three key objectives: integrating multimodal perception into AI models, training these models to produce both verbal and non-verbal outputs, and developing new metrics to evaluate their performance in HRI scenarios.
The Swedish AI-program WASP funds this project. WASP's graduate school fosters a strong multi-disciplinary, international network among PhD students, researchers, and industry through research visits, partner universities, and visiting lecturers.
The candidate must have a degree in Computer Science or related fields. Documented written and spoken English and programming skills are required. Some experience with artificial intelligence, robotics, human-robot interaction, and multimodal machine learning is preferred.
The student will start before mid-January of 2024 and the last application date is August 31st. Application details can be consulted through KTH’s dedicated recruitment system: https://www.kth.se/lediga-jobb/739179?l=en
| ||||||||||||||||
6-26 | (2024-09-15) Ingénieur ou post-doc en synthèse de parole, IRISA, Bretagne, France Nous sommes à la recherche d’un ingénieur ou post-doc (sujet adaptable) pour de la synthèse de parole massive dans le cadre de la détection de deep fakes.
https://www.irisa.fr/offres-emploi/2024-03/massive-generation-tts-deepfake-detection Ceci est une demande urgente, n’hésitez pas à me contacter directement par mail pour en savoir plus.
Bien cordialement,
--
Damien Lolive
Full professor, Team Expression
Head of the Signal, Image and Language Department IRISA
Université Bretagne Sud, IRISA
| ||||||||||||||||
6-27 | (2024-10-03) Researcher positions in Speech and Natural Language Processing (Junior & Senior Positions) @ Vicomtech, San Sebastian/Bilbao, Spain Researcher positions in Speech and Natural Language Processing (Junior & Senior Positions) @ Vicomtech, San Sebastian/Bilbao, Spain
Vicomtech (https://www.vicomtech.org/en/), an international applied research centre specialised in Artificial Intelligence, Visual Computing and Interaction located in Spain, has several research positions in the field of speech and natural language processing.
We are seeking talented and motivated individuals to join our dynamic Speech and Natural Language Technologies team in either our Donostia - San Sebastián or Bilbao premises. If you have experience in speech and/or natural language processing technologies and are passionate about applying cutting-edge research to solve real-world needs through advanced prototypes, this opportunity is for you!
Whether you are a junior researcher (BSc/MSc graduate) looking to kickstart your career or a senior researcher (PhD graduate) eager to take on research leadership roles, we are interested in your profile. We offer the perfect environment with outstanding equipment and the best human team for growth. You will participate in advanced research and development projects, with opportunities to manage high-profile projects and/or lead technical teams depending on your experience.
Key Responsibilities:
Requirements:
Preferred Skills (Not Required but Valued):
What We Offer:
If you are passionate about research and eager to apply or develop your expertise to real-world challenges, we encourage you to send us your CV and join our forward-thinking team!
To apply via LinkedIn: https://www.linkedin.com/jobs/view/4034768411
| ||||||||||||||||
6-28 | (2024-10-04) Two internships at Laboratoire d'Informatique de l'Université du Mans (LIUM), France L'équipe Language and Speech Technology du Laboratoire d'Informatique de l'Université du Mans (LIUM) propose deux sujets de stage (https://lium.univ-lemans.fr/stages/) sur la traduction vocale (Speech-To-Speech Translation) pour les langues peu dotées.
-- Études des systèmes automatiques de traduction vocale ; -- Système de traduction vocale – Langues peu dotées vers Langues richement dotées
|