L’atelier EvalLLM se tiendra le 30 juin à Marseille, en amont des conférences CORIA-TALN 2025. Des challenges seront annoncés séparément.

Site web :  https://evalllm2025.sciencesconf.org/

 
Appel
--------
Les grands modèles de langue (LLM) génératifs se démocratisent et s’intègrent dans des chaînes de traitements de plus en plus complexes, offrant une grande variété de cas d’usage. L’évaluation de ces objets protéiformes pose cependant des problèmes sérieux : les benchmarks existants sont largement anglo-centrés, parfois eux-mêmes issus de LLM anglo-centrés (benchmarks synthétiques), et ne couvrent pas l’ensemble des usages.

La question de leur évaluation se pose en particulier pour le français et plus généralement pour des langues autres que l’anglais ou pour des domaines spécifiques.

Dans cet atelier, nous proposons ainsi de réunir les chercheuses et chercheurs, industriels et académiques, s’intéressant aux multiples facettes de l’évaluation des LLM génératifs sur des domaines de spécialité ou sur des langues autres que l’anglais. Nous sollicitons des propositions de communication sur tous les travaux relevant de ce périmètre.

Cela inclut notamment les recherches concernant :

• l’évaluation de modèles de fondation, fine-tunés ou de systèmes complets (RAG par exemple)
• la création ou adaptation de benchmarks, pour du français ou autres langues d’intérêt, qu’elles soient bien ou peu dotées, en domaine général ou spécialisé, ou pour des langues bruitées ou non standard (eg. réseaux sociaux, commandes vocales…)
• l’évaluation sur des tâches de TAL (traduction, résumé, extraction d’information…)
• l’adaptation des méthodologies d’évaluation existantes aux systèmes génératifs
• les dimensions éthiques, biais, privacy, alignement culturel ou législatif
• les dimensions de performances en temps de calcul, mémoire, frugalité énergétique
• l’évaluation avec des utilisateurs, ergonomie, aspects cognitifs
• l’évaluation de modèles multimodaux (eg. texte-image, texte-parole…)
• …

Plusieurs types d'article sont acceptés :
    • contribution nouvelle,
    • état de l'art,
    • travaux en cours,
    • version courte/traduite d’un article accepté dans une grande conférence.

La taille des articles est laissée libre entre 4 pages et 10 pages, références non comprises. Les actes de l’atelier seront publiés.
Style, recommandations et modalités de soumission : https://evalllm2025.sciencesconf.org/

Calendrier de l'appel :

• soumission : 15 avril
• retour aux auteurs : 5 mai
• version finale : TBC

Comités et contact
-----------------
Organisation :
- Vincent Claveau, AMIAD, Rennes

- Julianne Flament, AMIAD, Rennes

- Lorenzo Gerardi, AMIAD, Rennes

- Nihel Kooli, AMIAD, Rennes

- Maxime Poulain, AMIAD, Rennes

Comité scientifique :
- Rachel Bawden, Inria
- Lucie Chasseur, Inria mission Défense et Sécurité
- Olivier Ferret, CEA-List
- Vincent Guigue, AgroParisTech, UMR MIA-Paris-Saclay
- Damien Nouvel, INALCO
- Didier Schwab, LIG
- Gilles Sérasset, LIG
- Aurélie Névéol, LISN - CNRS
- Fabian Suchanek, Télécom Paris, Institut polytechnique de Paris
- François Yvon, ISIR - CNRS

Contact : vincent.claveau@def.gouv.fr ;  nihel.kooli@def.gouv.fr