Affordable Access

Evaluation of a Rule-Based Machine Tranlation system or why BLEU is only useful for what it is meant to be used

Authors
Publisher
Sociedad Española para el Procesamiento del Lenguaje Natural
Publication Date

Abstract

Matxin es un sistema de traducción automática basado en reglas que traduce a euskera. Para su evaluación hemos usado la métrica HTER que calcula el coste de postedición, concluyendo que un editor necesitaría cambiar 4 de cada 10 palabras para corregir la salida del sistema. La calidad de las traducciones del sistema Matxin ha podido ser comparada con las de un sistema basado en corpus, obteniendo el segundo unos resultados significativamente peores. Debido al uso generalizado de BLEU, hemos querido estudiar los resultados BLEU conseguidos por ambos sistemas, constatando que esta métrica no es efectiva ni para medir la calidad absoluta de un sistema, ni para comparar sistemas que usan estrategias diferentes.

There are no comments yet on this publication. Be the first to share your thoughts.