Traduction automatique : le NIST publie ses évaluations 2006

, Partager

Le programme TIPSTER (1991-1998) de la Defense Advanced Research Projects Agency (DARPA) visait à permettre de détecter et extraire de l’information de documents correspondant à une recherche donnée et à synthétiser des documents. Ce programme s’intéressait uniquement aux documents en langue anglaise. Le programme Translingual Information Detection, Extraction and Summarization (TIDES) lui fait suite et vise à offrir les mêmes possibilités à partir de documents en langue étrangère. Considérant que des outils de traduction automatiques existaient déjà pour les principales langues européennes, et dans une proportion moindre pour les langues asiatiques, les priorités sont la traduction de l’arabe et du chinois vers l’anglais : des anglophones pourront trouver et interpréter des informations critiques dans d’autres langues sans la maîtrise de celles-ci. Le National Institute of Standards and Technology (NIST) a dans ce cadre lancé un programme visant à évoluer les outils de traduction automatique. Si une métrique permettant d’évaluer de tels outils fait encore l’objet de recherches, c’est la méthode d’évaluation automatique de traduction BLEU d’IBM qui est actuellement utilisée. Les résultats de l’édition 2006 de l’évaluation conduite par le NIST concernent des traductions de l’arabe vers l’anglais et du chinois vers l’anglais. Plusieurs types d’échantillons de données utilisés comme référence par les algorithmes sont différenciés. Les algorithmes sont alors notés pour la traduction de textes venant de fils de nouvelles, de groupes de discussion, et de transcriptions d’émissions de nouvelles et de conversations par des humains (données issues du programme Global Autonomous Language Exploitation GALE de la DARPA ou du NIST). Comme l’année dernière, l’algorithme présenté par Google semble se dégager comme leader que ce soit pour la traduction de l’arabe vers l’anglais - 22 algorithmes ont été présentés - ou du chinois vers l’anglais - 24 algorithmes ont été présentés : souvent premier, jamais plus que troisième ; en dehors des algorithmes présentés par des entreprises ou universités américaines, c’est l’algorithme présenté par l’université allemande RWTH d’Aix-la-Chapelle qui semble obtenir les meilleurs résultats. Les scores publiés ne permettent pas d’apprécier l’évolution par rapport à l’année dernière : les textes de référence et les textes à traduire ne sont pas les mêmes ; pris de façon brute les scores sont d’ailleurs inférieurs …

Source :

NIST 2006 Machine Translation Evaluation Official Results
http://www.nist.gov/speech/tests/mt/mt06eval_official_results.html

Pour en savoir plus, contacts :


- Bleu : a Method for Automatic Evaluation of Machine
Translation
Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu
http://www1.cs.columbia.edu/nlp/sgd/bleu.pdf
- Global Autonomous Language Exploitation (GALE)
http://projects.ldc.upenn.edu/gale/
Code brève
ADIT : 40141

Rédacteur :

Sébastien Morbieu, sebastien.morbieu@ambafrance-us.org

Voir en ligne : http://www.bulletins-electroniques….