[发明专利]大规模语料清洗对齐方法及装置

说明书

本发明实施例提供一种大规模语料清洗对齐方法及装置，所述方法包括：对历史稿件进行解析和分句，获得句子集合；取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。本发明实施例提供的大规模语料清洗对齐方法及装置，无须花费大量人力，计算复杂度低、准确率高，能够自动地对大规模语料进行清洗对齐。

技术领域

本发明涉及机器翻译技术领域，更具体地，涉及一种大规模语料清洗对齐方法及装置。

背景技术

随着翻译技术的发展，机器翻译被广泛地使用，产生了大量的翻译语料。但是，目前翻译行业很多项目采取Word、Excel、PDF、PPT、TEXT等文件做为翻译载体，积累了大量语料，且相关语料中原文、译文文件无法匹配对应，而解析对齐这些语料将形成巨大数字资产，为后续相关业务提供支撑。

传统的语料对齐方案，要么基于长度对齐方法，要么基于词汇对齐方法，均需要花费大量人力，计算复杂度高、准确率低。因此，亟需提供一种无须花费大量人力，计算复杂度低、准确率高的对大规模语料进行清洗对齐的方法。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的大规模语料清洗对齐方法及装置。

第一方面，本发明实施例提供一种大规模语料清洗对齐方法，包括：

对历史稿件进行解析和分句，获得句子集合；

取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；

对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；

若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。

其中，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算，具体为：

基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。

其中，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算之后，还包括：

若确定取出了所述句子的句子集合中的每个句子与所述句子对应的译文之间的相似度均未达到预设阈值，则删除所述句子。

其中，所述确定匹配到的句子与所述句子为一组双语对齐语料之后，还包括：

构建双语对齐语料库，将匹配到的句子与所述句子加入至所述双语对齐语料库中。

第二方面，本发明实施例提供一种大规模语料清洗对齐装置，包括：

解析模块，用于对历史稿件进行解析和分句，获得句子集合；

翻译模块，用于取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；

相似度匹配模块，用于对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；

判断模块，用于若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。

其中，所述相似度匹配模块具体用于：

基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。