*Défi Fouille de Texte DEFT 2023*

https://deft2023.univ-avignon.fr/

 

Créé en 2005 à l'image des campagnes TREC et MUC, le DÉfi Fouille de Textes est une campagne d'évaluation francophone qui propose chaque année de confronter les méthodes de plusieurs équipes de recherche sur une thématique régulièrement renouvelée.

 

Cette nouvelle édition du défi portera sur la mise en place d’approches permettant de répondre automatiquement à des questionnaires à choix multiples issus d’annales d’examens de pharmacie. Le corpus utilisé, FrenchMedMCQA, se compose de questions fermées en français provenant d'annales d'examens de pharmacie. Chaque question contient : un identifiant, la question, cinq options et l'ensemble des réponse(s) correcte(s).

 

Les tâches proposées lors de ce défi sont :

 

Tâche principale : identifier automatiquement l'ensemble de réponses correctes parmi les cinq proposées pour une question donnée.

- Entrée : un ensemble de questions fermées (plusieurs formats proposés : HuggingFace, JSON, TSV)

- Sortie : la liste des réponses correctes

- Evaluation : Exact Match Ratio (taux de réponses parfaitement juste) et Hamming Score (taux de réponses juste parmi l'ensemble des réponses et références)

 

Tâche annexe : identifier le nombre de réponses (entre 1 et 5) supposément justes pour une question donnée.

- Entrée : un ensemble de questions fermées (plusieurs formats proposés : HuggingFace, JSON, TSV)

- Sortie : le nombre de réponses compris entre 1 et 5

- Evaluation : Précision et score F1

 

Il s'agira, dans cette édition de DEFT, de travailler sur une tâche originale de question-réponse, intégrant cette inconnue sur le nombre de réponses associées aux questions, et dont la difficulté permettra aux équipes participantes d'explorer et de proposer des approches pouvant s'écarter de celles actuellement proposées pour des tâches plus classiques.

 

*Calendrier*

-   Inscription : à partir de maintenant, jusqu'au début de la phase de test ; envoi d'un mail avec l'ensemble des participants de l'équipe à deft-2023@listes.univ-avignon.fr. Un accord d'utilisation des données doit être fourni. Il est disponible en ligne : https://uncloud.univ-nantes.fr/index.php/s/e7cNAsmECWCmjH9

-   Diffusion des corpus d'entraînement : 27 février 2022

-   Test : du 24 au 30 avril 2023 pour les deux tâches

-   Soumission des articles de description des systèmes : 8 mai 2023 (première version), 12 mai 2023 (version finale) 

-   Atelier : 5 juin 2023 pendant la conférence TALN 2023 à Paris

 

L'accès aux données ne sera rendu possible qu'après signature d'un accord d'utilisation des données par l'ensemble des membres de l'équipe. En accédant aux données, ils s'engagent moralement à participer jusqu'au bout (soumettre des résultats et présenter les résultats pendant l'atelier).

 

*Contact* : deft-2023@listes.univ-avignon.fr

 

*Comité scientifique*

- Nathalie Camelin (LIUM, Le Mans Université)

- Liana Ermakova (HCTI, Université de Bretagne Occidentale)

- Benoit Favre (LIS, Aix-Marseille Université)

- Corinne Fredouille (LIA, Avignon Université)

- Pierre-Antoine Gourraud (CHU de Nantes)

- Natalia Grabar (STL, CNRS, Université de Lille)

- Cyril Grouin (LISN, CNRS, Université Paris-Saclay)

- Pierre Jourlin (LIA, Avignon Université)

- Fleur Mougin (ISPED, Université de Bordeaux)

- Aurélie Névéol (LISN, CNRS, Université Paris Saclay)

- Didier Schwab (LIG, Grenoble Alpes Université)

- Pierre Zweigenbaum (LISN, CNRS, Université Paris-Saclay)

 

*Comité d'organisation*

- Adrien Bazoge (LS2N, Nantes Université)

- Béatrice Daille (LS2N, Nantes Université)

- Richard Dufour (LS2N, Nantes Université)

- Yanis Labrak (LIA, Avignon Université et Zenidoc)

- Emmanuel Morin (LS2N, Nantes Université)

- Mickael Rouvier (LIA, Avignon Université)