[发明专利]基于OpenKiWi的翻译引擎自动化评测系统

说明书

本发明提出一种基于OpenKiWi的翻译引擎自动化评测系统，所述自动化评测系统包括基于句子级别的评测引擎以及基于词语级别的评测引擎，通过评测不同翻译引擎在不同级别上翻译结果的相似性和差异性，从而输出对应的评测得分；本发明还提出一种集成化评测引擎，所述集成化评测引擎包括基于词语级别的第一评测引擎以及基于句子级别的第二评测引擎，所述第一评测引擎包含预测器，第二评测引擎包括评估器；所述集成化评测引擎对外提供通信接口，通过所述通信接口与基于OpenKiWi的翻译引擎通信，并对所述翻译引擎的翻译结果进行评测。

技术领域

本发明属于翻译评测技术领域，尤其涉及一种基于OpenKiWi的翻译引擎自动化评测系统以及集成化评测引擎。

背景技术

传统的译文质量自动评测方法主要针对机器自动翻译结果并通过与参考译文的对比实现译文质量的评估。目前著名的自动评测方法主要有IBM提出的BLEU(BilingualEvaluation Understudy)方法和美国国家标准与技术局(NIST:National InstituteofStandards and Technology)在BLUE方法上改进提出的NIST评测标准。这类自动评测方法重点在于评价机器翻译系统的性能，而对翻译结果的评价却依赖于给定的参考译文。这在实际的翻译工作中是不现实的，因为不可能要求所有的资料都事先给出参考译文。

例如，申请号为CN201810898744.8的中国发明专利申请提出一种翻译质量评价方法及装置，在获取到对给定文本进行正确翻译后的文本后，可以将其作为参考翻译文本，并将其按照预设文本单位进行切分，得到各个参考单位文本，然后，可以确定出每一参考单位文本在该参考翻译文本中的重要度，接着，关于对给定文本进行翻译后的待评价文本即目标翻译文本，便可以根据每一参考单位文本对应的重要度，确定出目标翻译文本的翻译质量。可见，本申请实施例不再只进行目标翻译文本与参考翻译文本中词语的遍历式匹配，而是根据该参考翻译文本中每一参考单位文本对应的重要度，确定出目标翻译文本的翻译质量，即，在进行翻译质量评价时考虑了参考翻译文本中每一词语本身的内容，从而提高了翻译质量评价结果的可信度。

在对质量要求高的实际翻译项目中，多采用人工评测的方式来评价译文质量。人工评测主要是在翻译过程中设置一个审校环节，由审校人员对翻译环节产生的译文进行评测来控制翻译质量。对于未通过评测的译文要返回给翻译人员修改，如此往复直到通过质量审查。由此可见，人工评测是确保翻译质量的核心步骤，但是人工评测耗时费力，效率低下，而且由于人的主观因素，对于同一篇译文不同的评测人员可能给出不同的判断。

例如，申请号为CN201611186415.8的中国发明专利申请提出一种基于众投的译文评价方法及系统，将翻译任务推送给用户群体进行评价，每一用户可随时参与评估，有效保证了评估任务的处理速度；评估任务属于碎片型兼职任务，任务定价相对翻译专家的审校任务低廉；评估任务对参与用户的语言能力要求相对较低，有效扩大了符合要求的人员数量；综合而言，该评估方法在提高译文识别效率、降低成本、减少专家资源依赖程度上都有非常优秀的表现。

无参考的译文质量评测主要是基于统计的N-Gram语言模型来衡量，语言模型可以通过对目标语言的特定语料训练得到，它可以给出一个混乱度来反映测试句子在训练语料中观察到的可能性，该方法已经用于机器翻译系统译文质量的评测中。使用大规模的语料训练出来的语言模型对于预测某个在训练语料中学习到的字符序列出现的概率可以取得较好的效果，但是在实际的应用中，由于训练语料的不平衡性，难免会出现数据稀疏问题。