*****************************************************************
    ELRA - Language Resources Catalogue - Update  September 2013
    *****************************************************************

Back

Top

ELRA releases free Language Resources
***************************************************

Anticipating users’ expectations, ELRA has decided to offer a large number of resources for free for Academic research use. Such an offer consists of several sets of speech, text and multimodal resources that are regularly released, for free, as soon as legal aspects are cleared. A first set was released in May 2012 at the occasion of LREC 2012. A second set is now being released.

Whenever this is permitted by our licences, please feel free to use these resources for deriving new resources and depositing them with the ELRA catalogue for community re-use.

Over the last decade, ELRA has compiled a large list of resources into its Catalogue of LRs. ELRA has negotiated distribution rights with the LR owners and made such resources available under fair conditions and within a clear legal framework. Following this initiative, ELRA has also worked on LR discovery and identification with a dedicated team which investigated and listed existing and valuable resources in its 'Universal Catalogue', a list of resources that could be negotiated on a case-by-case basis. At LREC 2010, ELRA introduced the LRE Map, an inventory of LRs, whether developed or used, that were described in LREC papers. This huge inventory listed by the authors themselves constitutes the first 'community-built' catalogue of existing or emerging resources, constantly enriched and updated at major conferences.

Considering the latest trends on easing the sharing of LRs, from both legal and commercial points of view, ELRA is taking a major role in META-SHARE, a large European open infrastructure for sharing LRs. This infrastructure will allow LR owners, providers and distributors to distribute their LRs through an additional and cost-effective channel.

To obtain the available sets of LRs, please visit the web page below and follow the instructions given online:
http://www.elra.info/Free-LRs,26.html

Back

Top

In this newsletter:
   

New LDC           Website Coming Soon

LDC Spoken           Language Sampler - 2nd Release

New publications:
   

GALE Phase 2           Arabic Broadcast Conversation Speech Part 2

GALE Phase 2           Arabic Broadcast Conversation Transcripts Part 2

Semantic Textual           Similarity (STS) 2013 Machine Translation

New LDC Website Coming           Soon
     
      Look for LDC's new website in the coming weeks. We've revamped the       design and site plan to make it easier than ever to find what       you're looking for. The features you use the most -- the catalog,       new corpus releases and user login -- will be a short click away.       We expect the LDC website to be occasionally unavailable for a few       days at the end of September as we make the switch and thank you       in advance for your understanding.
     
   

LDC Spoken Language           Sampler - 2nd Release

The LDC
        Spoken Language Sampler – 2nd Release is now available.  It       contains speech and transcript samples from recent releases and is       available at no cost.  Follow the link above to the catalog page,       download and browse.

   
    New publications
       

      (1) GALE Phase
        2 Arabic Broadcast Conversation Speech Part 2 was developed       by LDC and is comprised of approximately 128 hours of Arabic       broadcast conversation speech collected in 2007 by LDC as part of       the DARPA GALE (Global Autonomous Language Exploitation) Program.       The data was collected at LDC’s Philadelphia, PA USA facilities       and at three remote collection sites. The combined local and       outsourced broadcast collection supported GALE at a rate of       approximately 300 hours per week of programming from more than 50       broadcast sources for a total of over 30,000 hours of collected       broadcast audio over the life of the program.

LDC's local broadcast collection system is       highly automated, easily extensible and robust and capable of       collecting, processing and evaluating hundreds of hours of content       from several dozen sources per day. The broadcast material is       served to the system by a set of free-to-air (FTA) satellite
      receivers, commercial direct satellite systems (DSS) such as       DirecTV, direct broadcast satellite (DBS) receivers, and cable       television (CATV) feeds. The mapping between receivers and       recorders is dynamic and modular; all signal routing is performed       under computer control, using a 256x64 A/V matrix switch. Programs       are recorded in a high bandwidth A/V format and are then processed       to extract audio, to generate keyframes and compressed       audio/video, to produce time-synchronized closed captions (in the       case of North American English) and to generate automatic speech       recognition (ASR) output.

The broadcast conversation recordings in this       release feature interviews, call-in programs and round table       discussions focusing principally on current events from several       sources. This release contains 141 audio files presented in .wav,       16000 Hz single-channel 16-bit PCM. Each file was audited by a       native Arabic speaker following Audit Procedure Specification       Version 2.0 which is included in this release.

GALE Phase 2 Arabic Broadcast Conversation       Speech Part 2 is distributed on 2 DVD-ROM.
     
      2013 Subscription Members will automatically receive two copies of       this data.  2013 Standard Members may request a copy as part of       their 16 free membership corpora.  Non-members may license this       data for US$2000.
   

(2) GALE Phase
        2 Arabic Broadcast Conversation Transcripts Part 2 was       developed by LDC and contains transcriptions of approximately 128       hours of Arabic broadcast conversation speech collected in 2007 by       LDC, MediaNet, Tunis, Tunisia and MTC, Rabat, Morocco during Phase       2 of the DARPA GALE (Global Autonomous Language Exploitation)       program. The source broadcast conversation recordings feature       interviews, call-in programs and round table discussions focusing       principally on current events from several sources.

The transcript files are in plain-text,       tab-delimited format (TDF) with UTF-8 encoding, and the       transcribed data totals 763,945 tokens. The transcripts were       created with the LDC-developed transcription tool, XTrans,       a multi-platform, multilingual, multi-channel transcription tool       that supports manual transcription and annotation of audio       recordings. 

The files in this corpus were transcribed by       LDC staff and/or by transcription vendors under contract to LDC.       Transcribers followed LDC’s quick transcription guidelines (QTR)       and quick rich transcription specification (QRTR) both of which       are included in the documentation with this release. QTR       transcription consists of quick (near-)verbatim, time-aligned       transcripts plus speaker identification with minimal additional       mark-up. It does not include sentence unit annotation. QRTR       annotation adds structural information such as topic boundaries       and manual sentence unit annotation to the core components of a       quick transcript.

GALE Phase 2 Arabic Broadcast Conversation       Transcripts - Part 2 is distributed via web download.

2013 Subscription Members will automatically       receive two copies of this data on disc.  2013 Standard Members       may request a copy as part of their 16 free membership corpora.        Non-members may license this data for US$1500.
   

(3)  Semantic Textual
        Similarity (STS) 2013 Machine Translation was developed as       part of the STS 2013 Shared Task which was held in conjunction       with *SEM 2013,       the second joint conference on lexical and computational semantics       organized by the ACL (Association of Computational Linguistics)       interest groups SIGLEX       and SIGSEM. It       is comprised of one text file containing 750 English sentence       pairs translated from the Arabic and Chinese newswire and web data       sources.

The goal of the Semantic Textual Similarity       (STS) task was to create a unified framework for the evaluation of       semantic textual similarity modules and to characterize their       impact on natural language processing (NLP) applications. STS       measures the degree of semantic equivalence. The STS task was       proposed as an attempt at creating a unified framework that allows       for an extrinsic evaluation of multiple semantic components that       otherwise have historically tended to be evaluated independently       and without characterization of impact on NLP applications. More       information is available at the STS 2013 Shared Task homepage.

The source data is Arabic and Chinese newswire       and web data collected by LDC that was translated and used in the       DARPA GALE (Global Autonomous Language Exploitation) program and       in several NIST Open Machine Translation evaluations. Of the 750       sentence pairs, 150 pairs are from the GALE Phase 5 collection and       600 pairs are from NIST 2008-2012 Open Machine Translation       (OpenMT) Progress Test Sets (LDC2013T07).

The data was built to identify semantic textual       similarity between two short text passages. The corpus is       comprised of two tab delimited sentences per line. The first       sentence is a translation and the second sentence is a post-edited       translation. Post-editing is a process to improve machine       translation with a minimum of manual labor. The gold standard       similarity values and other STS datasets can be obtained from the       STS homepage, linked above.

Semantic Textual Similarity (STS) 2013 Machine       Translation is distributed via web download.

2013 Subscription Members will automatically       receive two copies of this data on disc. 2013 Standard Members may       request a copy as part of their 16 free membership corpora.        Non-members may request this data by submitting a signed copy of LDC User
        Agreement for Non-members.  This data
      is available at no-cost.

Back

Top

Appen ButlerHill 

A global leader in linguistic technology solutions

RECENT CATALOG ADDITIONS—MARCH 2012

1. Speech Databases

1.1 Telephony

2. Pronunciation Lexica

Appen Butler Hill has considerable experience in providing a variety of lexicon types. These include:

 Pronunciation Lexica providing phonemic representation, syllabification, and stress (primary and secondary as appropriate)

 Part-of-speech tagged Lexica providing grammatical and semantic labels

 Other reference text based materials including spelling/mis-spelling lists, spell-check dictionar-ies, mappings of colloquial language to standard forms, orthographic normalization lists.

Over a period of 15 years, Appen Butler Hill has generated a significant volume of licensable material for a wide range of languages. For holdings information in a given language or to discuss any customized development efforts, please contact: sales@appenbutlerhill.com

4. Other Language Resources

 Morphological Analyzers – Farsi/Persian & Urdu

 Arabic Thesaurus

 Language Analysis Documentation – multiple languages

For additional information on these resources, please contact: sales@appenbutlerhill.com

5. Customized Requests and Package Configurations

Appen Butler Hill is committed to providing a low risk, high quality, reliable solution and has worked in 130+ languages to-date supporting both large global corporations and Government organizations.

We would be glad to discuss to any customized requests or package configurations and prepare a cus-tomized proposal to meet your needs.

                                                         www.appenbutlerhill.com

Back

Top

We are happy to announce the release of DEMAND, a set of real-world
16-channel noise recordings designed for the evaluation of microphone
array processing techniques.

http://www.irisa.fr/metiss/DEMAND/

1.5 h of noise data were recorded in 18 different indoor and outdoor
environments and are available under the terms of the Creative Commons Attribution-ShareAlike License.

Joachim Thiemann (CNRS - IRISA)
Nobutaka Ito (University of Tokyo)
Emmanuel Vincent (Inria Nancy - Grand Est)

Back

Top

Aide à la finalisation de corpus oraux ou multimodaux pour diffusion, valorisation et dépôt pérenne

Le consortium IRCOM de la TGIR Corpus et l’EquipEx ORTOLANG s’associent pour proposer une aide technique et financière à la finalisation de corpus de données orales ou multimodales à des fins de diffusion et pérennisation par l’intermédiaire de l’EquipEx ORTOLANG. Cet appel ne concerne pas la création de nouveaux corpus mais la finalisation de corpus existants et non-disponibles de manière électronique. Par finalisation, nous entendons le dépôt auprès d’un entrepôt numérique public, et l’entrée dans un circuit d’archivage pérenne. De cette façon, les données de parole qui ont été enrichies par vos recherches vont pouvoir être réutilisées, citées et enrichies à leur tour de manière cumulative pour permettre le développement de nouvelles connaissances, selon les conditions d’utilisation que vous choisirez (sélection de licences d’utilisation correspondant à chacun des corpus déposés).

Cet appel d’offre est soumis à plusieurs conditions (voir ci-dessous) et l’aide financière par projet est limitée à 3000 euros. Les demandes seront traitées dans l’ordre où elles seront reçues par l’ IRCOM. Les demandes émanant d’EA ou de petites équipes ne disposant pas de support technique « corpus » seront traitées prioritairement. Les demandes sont à déposer du 1^er septembre 2013 au 31 octobre 2013. La décision de financement relèvera du comité de pilotage d’IRCOM. Les demandes non traitées en 2013 sont susceptibles de l’être en 2014. Si vous avez des doutes quant à l’éligibilité de votre projet, n’hésitez pas à nous contacter pour que nous puissions étudier votre demande et adapter nos offres futures.

Pour palier la grande disparité dans les niveaux de compétences informatiques des personnes et groupes de travail produisant des corpus, L’ IRCOM propose une aide personnalisée à la finalisation de corpus. Celle-ci sera réalisée par un ingénieur IRCOM en fonction des demandes formulées et adaptées aux types de besoin, qu’ils soient techniques ou financiers.

Les conditions nécessaires pour proposer un corpus à finaliser et obtenir une aide d’IRCOM sont :

• Pouvoir prendre toutes décisions concernant l’utilisation et la diffusion du corpus (propriété intellectuelle en particulier).

• Disposer de toutes les informations concernant les sources des corpus et le consentement des personnes enregistrées ou filmées.

• Accorder un droit d’utilisation libre des données ou au minimum un accès libre pour la recherche scientifique.

Les demandes peuvent concerner tout type de traitement : traitements de corpus quasi-finalisés (conversion, anonymisation), alignement de corpus déjà transcrits, conversion depuis des formats « traitement de textes », digitalisation de support ancien. Pour toute demande exigeant une intervention manuelle importante, les demandeurs devront s’investir en moyens humains ou financiers à la hauteur des moyens fournis par IRCOM et ORTOLANG.

IRCOM est conscient du caractère exceptionnel et exploratoire de cette démarche. Il convient également de rappeler que ce financement est réservé aux corpus déjà largement constitués et ne peuvent intervenir sur des créations ex-nihilo. Pour ces raisons de limitation de moyens, les propositions de corpus les plus avancés dans leur réalisation pourront être traitées en priorité, en accord avec le CP d’IRCOM. Il n’y a toutefois pas de limite « théorique » aux demandes pouvant être faites, IRCOM ayant la possibilité de rediriger les demandes qui ne relèvent pas de ses compétences vers d’autres interlocuteurs.

Les propositions de réponse à cet appel d’offre sont à envoyer à ircom.appel.corpus@gmail.com. Les propositions doivent utiliser le formulaire de deux pages figurant ci-dessous. Dans tous les cas, une réponse personnalisée sera renvoyée par IRCOM.

Ces propositions doivent présenter les corpus proposés, les données sur les droits d’utilisation et de propriétés et sur la nature des formats ou support utilisés.

Cet appel est organisé sous la responsabilité d’IRCOM avec la participation financière conjointe de IRCOM et l’EquipEx ORTOLANG.

Pour toute information complémentaire, nous rappelons que le site web de l'Ircom (http://ircom.corpus-ir.fr) est ouvert et propose des ressources à la communauté : glossaire, inventaire des unités et des corpus, ressources logicielles (tutoriaux, comparatifs, outils de conversion), activités des groupes de travail, actualités des formations, ...

L'IRCOM invite les unités à inventorier leur corpus oraux et multimodaux - 70 projets déjà recensés - pour avoir une meilleure visibilité des ressources déjà disponibles même si elles ne sont pas toutes finalisées.

Le comité de pilotage IRCOM

Utiliser ce formulaire pour répondre à l’appel : Merci.

Réponse à l’appel à la finalisation de corpus oral ou multimodal

Nom du corpus :

Nom de la personne à contacter :

Adresse email :

Numéro de téléphone :

Nature des données de corpus :

Existe-t’il des enregistrements :

Quel média ? Audio, vidéo, autre…

Quelle est la longueur totale des enregistrements ? Nombre de cassettes, nombre d’heures, etc.

Quel type de support ?

Quel format (si connu) ?

Existe-t’il des transcriptions :

Quel format ? (papier, traitement de texte, logiciel de transcription)

Quelle quantité (en heures, nombre de mots, ou nombre de transcriptions) ?

Disposez vous de métadonnées (présentation des droits d’auteurs et d’usage) ?

Disposez-vous d’une description précise des personnes enregistrées ?

Disposez-vous d’une attestation de consentement éclairé pour les personnes ayant été enregistrées ? En quelle année (environ) les enregistrements ont eu lieu ?

Quelle est la langue des enregistrements ?

Le corpus comprend-il des enregistrements d’enfants ou de personnes ayant un trouble du langage ou une pathologie ?

Si oui, de quelle population s’agit-il ?

Dans un souci d’efficacité et pour vous conseiller dans les meilleurs délais, il nous faut disposer d’exemples des transcriptions ou des enregistrements en votre possession. Nous vous contacterons à ce sujet, mais vous pouvez d’ores et déjà nous adresser par courrier électronique un exemple des données dont vous disposez (transcriptions, métadonnées, adresse de page web contenant les enregistrements).

Nous vous remercions par avance de l’intérêt que vous porterez à notre proposition. Pour toutes informations complémentaires veuillez contacter Martine Toda martine.toda@ling.cnrs.fr ou à ircom.appel.corpus@gmail.com.

Back

Top

Rhapsodie: un Treebank prosodique et syntaxique de français parlé

Nous avons le plaisir d'annoncer que la ressource Rhapsodie, Corpus de français parlé annoté pour la prosodie et la syntaxe, est désormais disponible sur http://www.projet-rhapsodie.fr/

Le treebank Rhapsodie est composé de 57 échantillons sonores (5 minutes en moyenne, au total 3h de parole, 33000 mots) dotés d’une transcription orthographique et phonétique alignées au son.

Il s'agit d’une ressource de français parlé multi genres (parole privée et publique ; monologues et dialogues ; entretiens en face à face vs radiodiffusion, parole plus ou moins interactive et plus ou moins planifiée, séquences descriptives, argumentatives, oratoires et procédurales) articulée autour de sources externes (enregistrements extraits de projets antérieurs, en accord avec les concepteurs initiaux) et internes. Nous tenons en particulier à remercier les responsables des projets CFPP2000, PFC, ESLO, C-Prom ainsi que Mathieu Avanzi, Anne Lacheret, Piet Mertens et Nicolas Obin.

Les échantillons sonores (wave & MP3, pitch nettoyé et lissé), les transcriptions orthographiques (txt), les annotations macrosyntaxiques (txt), les annotations prosodiques (xml, textgrid) ainsi que les metadonnées (xml & html) sont téléchargeables librement selon les termes de la licence Creative Commons Attribution - Pas d’utilisation commerciale - Partage dans les mêmes conditions 3.0 France.

Les annotations microsyntaxiques seront disponibles prochainement

 Les métadonnées sont également explorables en ligne grâce à un browser.

 Les tutoriels pour la transcription, les annotations et les requêtes sont disponibles sur le site Rhapsodie.

 Enfin, L’annotation prosodique est interrogeable en ligne grâce au langage de requêtes Rhapsodie QL.

 L'équipe Ressource Rhapsodie (Modyco, Université Paris Ouest Nanterre)

Sylvain Kahane, Anne Lacheret, Paola Pietrandrea, Atanas Tchobanov, Arthur Truong.

 Partenaires : IRCAM (Paris), LATTICE (Paris), LPL (Aix-en-Provence), CLLE-ERSS (Toulouse).

********************************************************

Rhapsodie: a Prosodic and Syntactic Treebank for Spoken French

We are pleased to announce that Rhapsodie, a syntactic and prosodic treebank of spoken French created with the aim of modeling the interface between prosody, syntax and discourse in spoken French is now available at   http://www.projet-rhapsodie.fr/

The Rhapsodie treebank is made up of 57 short samples of spoken French (5 minutes long on average, amounting to 3 hours of speech and a 33 000 word corpus) endowed with an orthographical phoneme-aligned transcription . 

The corpus is representative of different genres (private and public speech; monologues and dialogues; face-to-face interviews and broadcasts; more or less interactive discourse; descriptive, argumentative and procedural samples, variations in planning type).

The corpus samples have been mainly drawn from existing corpora of spoken French and partially created within the frame of theRhapsodie project. We would especially like to thank the coordinators of the  CFPP2000, PFC, ESLO, C-Prom projects as well as Piet Mertens, Mathieu Avanzi, Anne Lacheret and Nicolas Obin.

The sound samples (waves, MP3, cleaned and stylized pitch), the orthographic transcriptions (txt), the macrosyntactic annotations (txt), the prosodic annotations  (xml, textgrid) as well as the metadata (xml and html) can be freely downloaded under the terms of the Creative Commons licence Attribution - Noncommercial - Share Alike 3.0 France.

Microsyntactic annotation will be available soon.

The metadata are  searchable on line through a browser.

The prosodic annotation can be explored on line through the Rhapsodie Query Language.

The tutorials of transcription, annotations and Rhapsodie Query Language  are available on the site.

The Rhapsodie team (Modyco, Université Paris Ouest Nanterre :

Sylvain Kahane, Anne Lacheret, Paola Pietrandrea, Atanas Tchobanov, Arthur Truong.

Partners: IRCAM (Paris), LATTICE (Paris), LPL (Aix-en-Provence),CLLE-ERSS (Toulouse).

Back

Top