[发明专利]基于辅助翻译软件和双粒度替换的英中翻译软件测试方法

说明书

本发明属于机器翻译质量检测技术领域，公开了一种基于辅助翻译软件和双粒度替换的英中翻译软件测试方法。针对需要测试的一系列英文源句，首先借助辅助翻译软件，通过计算主英中机器翻译软件和辅助英中机器翻译软件的翻译结果间的余弦相似度，识别出错误候选句子。随后对英文源句进行双粒度替换，以生成替换后的英文源句。并基于成分句法分析和依存句法分析，通过对比原始英文源句和替换后的英文源句在主英中机器翻译软件的翻译结果的结构表征来进一步识别出错误候选句子。最后通过分析被归为错误候选句子的英文源句，尝试定位并修复英中翻译软件测试方法的实现代码，以提高英中翻译软件的翻译质量。

技术领域

本发明涉及机器翻译质量检测技术领域，提出了一种基于辅助翻译软件和双粒度替换的英中翻译软件 测试方法。

背景技术

目前，人们在生活和学习中依赖基于神经翻译模型的机器翻译软件，如国内的百度翻译、腾讯翻译和 国外的Google Translator和Bing Microsoft Translator。然而研究发现，神经翻译模型对于干净样本输入会 给出正确的输出，携带噪音的输入会出现非法输出，这些不正确的输出所带来的问题可大可小，如误解、 尴尬行为，严重的话可造成医疗误诊、经济损失，甚至威胁人身安全。因此在机器翻译软件普遍使用情况 下对翻译质量的研究是很具有意义和价值的，也是一种对使用者的负责行为。

机器翻译质量估计技术，是在没有参考译文的情况下自动地评价机器译文的质量。在翻译质量估计过 程中，只使用源语言句子和机器译文。由于不需要标准人工参考译文作为参照，其在工业界特别是在大规 模的机器翻译质量评估场景中，它有着非常广泛的应用需求，可以大大节省人力和财力。

蜕变测试思想广泛应用于机器测试领域。蜕变测试是一种检查多个执行结果之间的关系来测试程序质 量的方法，也是测试用例输入生成方法之一。蜕变检测的特性适用于内部结构繁杂的神经网络，因此适用 于检测神经机器翻译模型翻译的质量，寻找合适的蜕变关系来判定机器翻译的正确性是一种比较好的方 式，但是如何定义蜕变关系是关键所在。

然而现有的基于蜕变关系的机器翻译模型质量评估方法仍存在问题，如：使用单一蜕变关系来进行蜕 变测试、替换规则过简单等。导致实验缺少多维度度量，不能有效全面测试机器翻译的质量，因此寻求更 优的蜕变测试方法已成为当务之急。

发明内容

本发明的目的是针对现有的机器翻译质量估计方法存在的蜕变关系单一、替换规则简单等问题，提出 一种基于辅助翻译软件和双粒度替换的英中翻译软件测试方法，可以从需要测试的一系列英文源句中，有 效识别出错误候选句子，从而可以定位并修复英中翻译软件测试方法的实现代码，以提高英中翻译软件的 翻译质量。

为解决上述技术问题，本发明所采用的技术方案是：

(1)将被测英中机器翻译软件视为主英中机器翻译软件，其他三个英中机器翻译软件视为辅助英中 机器翻译软件。针对需要测试的一系列英文源句，依次分析每个英文源句。具体来说：给定英文源句，将 主英中机器翻译软件的翻译结果，即中文目标句A，与辅助英中机器翻译软件的翻译结果进行对比，在对 比的时候主要基于余弦相似度来计算翻译结果之间的相似度。将三个辅助英中机器翻译软件生成的中文目 标句定义为A₁、A₂、A₃。首先将相似度阈值设置为0.85，计算A₁、A₂、A₃两两之间的余弦相似度，若两句 间的余弦相似度超过阈值0.85，则认为这两个句子相似。根据上述结果，可以将A₁、A₂和A₃归到不同的集合中，使得处在同一集合内的中文目标句两两相似。根据集合划分的结果，可能出现两种情况：