[发明专利]一种多维度的中英双语数据清洗方法

说明书

本发明公开一种多维度的中英双语数据的清洗方法，步骤为：数据预处理，将多个领域的中英双语高质量的数据和输入文件中的中英双语句对进行包括分词、实体识别以及英文单词词干化预处理；生成词典，使用预处理后的中英双语高质量数据采用词对齐算法得到词对齐结果，经过统计处理生成中英词典和英中词典；语言模型训练；使用中英词典、英中词典以及3‑Gram语言模型进行多维度评估，得到多个维度的评估分值；将各个维度评估分值线性组合后得到每个双语句对的最终得分，最后滤除掉低于阈值的双语句对；将剩余的双语句对存储在输出文件中，得到高质量语料库。本发明能够过滤掉互译程度差的低质量中英句对，且处理速度和准确率远超一般方法。

技术领域

本发明涉及一种机器翻译技术，具体为一种多维度的中英双语数据清洗方法。

背景技术

中英双语数据由中文句子和英文句组成且具有良好的互译性。中英双语句对来源广泛，比如平行网页、中英双语网页，科技文献标题和摘要，或其他文档资源。由于数据的获取大多都通过自动的方法，难免会引入错误和噪声(例如句子切分中的句对齐错误)，并且双语内容翻译质量也很难保证。常见的问题如下所示：

(1)增译/漏译

中：【幽默笑话】青年与老和尚喝茶。

英：Tea with the old monk.

(2)完全不对应

中：4.睡觉姿势不正确严重影响婴幼儿的睡眠质量。

英：5Dietary irregularities seriously affect the healthy growth ofinfants and young children.

(3)错译

中：你这辈子从没有这样惊慌过。

英：I have never been so happy in my life.

无论是神经机器翻译还是统计机器翻译模型的训练都依赖于大量的双语平行句对，双语句对质量的好坏直接影响到机器翻译系统的性能。为提高机器翻译性能，最直接的办法就是不断扩充双语语料库。随着双语句对规模的不断增大，语言现象的不断丰富，语料来源的不断异构化，使得人工处理和评估语料早已不再可能。而使用计算机技术处理各种复杂的语料，如何尽可能设计完善的算法以去除语料中不同类型的噪声，成为一种挑战。目前自动语料质量评估方法大多基于长度比和基于词典的方法，虽然该方法简单有效，但是不能保证清洗后的数据具有良好的互译性。其中，基于长度比的方法单纯的应用了词长信息，没有考虑句对内容的互译；基于词典的方法严重依赖于词典，并且没有考虑词语搭配的合理性。

因此从内容、结构等多个维度对双语平行语料库进行优化处理是最优方法，用自动的方法合理的评估双语句对的质量好坏，对质量比较差的句对进行过滤，以期在一定程度上改善系统的翻译质量。

发明内容

针对中英机器翻译系统的训练需要大规模的高质量双语数据，为避免由于双语句对的质量问题而影响机器翻译系统性能，本发明要解决的问题是提供一种多维度的中英双语数据的清洗方法，能够准确高效的过滤低质量的双语数据，并保证处理后的数据具有良好的互译性。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种多维度的中英双语数据的清洗方法，包括以下步骤：

1)数据预处理，将涵盖政治、军事、经济、新闻多个领域的中英双语高质量的数据和输入文件中的中英双语句对进行包括分词、实体识别以及英文单词词干化预处理；

2)生成词典，使用预处理后的中英双语高质量数据采用词对齐算法得到词对齐结果，经过统计处理生成中英词典和英中词典；