[发明专利]一种多维度的中英双语数据清洗方法

权利要求书

1.一种多维度的中英双语数据的清洗方法，其特征在于包括以下步骤：

1)数据预处理，将涵盖政治、军事、经济、新闻多个领域的中英双语高质量的数据和输入文件中的中英双语句对进行包括分词、实体识别以及英文单词词干化预处理；

2)生成词典，使用预处理后的中英双语高质量数据采用词对齐算法得到词对齐结果，经过统计处理生成中英词典和英中词典；

3)语言模型训练，训练中文和英语以词为单位的3-Gram语言模型；

4)使用中英词典、英中词典以及3-Gram语言模型对输入文件中的中英双语句对进行多维度评估，得到多个维度的评估分值；

5)将各个维度评估分值线性组合后得到每个双语句对的最终得分，最后滤除掉低于阈值的双语句对；

6)将剩余的双语句对作为高质量的中英双语句对存储在输出文件中，得到高质量语料库；

步骤4)中，使用中英词典、英中词典以及3-Gram语言模型对输入文件中的中英双语数据进行多维度评估，得到多个维度的评估分值，分别计算待清洗数据的翻译覆盖度、流畅度、特征匹配率和长度比，并对流畅度和长度比分值进行正规化，最后得到各个维度的评估分值，具体为：

401)翻译覆盖度，通过以下公式计算得到：

其中，L(zh)和L(en)分别代表中文句子词长和英文句子词长，C(zh)和C(en)分别代表中文词语翻译正确个数和英文词语翻译正确的个数，S_dict代表平均翻译覆盖度分值；

402)流畅度，通过以下公式计算得到：

其中，S_zh-gram和S_en-gram分别代表中文流畅度分值和英文流畅度分值，S_gram代表平均流畅度，P(w_i|w_i-N+1,...,w_i-1)代表下一词的转移概率；

403)特征匹配率，通过以下公式计算得到：

其中，C_temp(en)和C_temp(zh)分别代表英文、中文的特征个数，S_temp代表特征匹配率分值；

404)长度比，通过以下公式计算得到：

其中，len(en|zh)代表英文词长和中文词长比值，Avglen(en|zh)代表平均长度比，平均长度比是在千万级高质量句对统计后结果，S_len-rate代表长度比分值；

405)分值正规化

在各个维度的评估中，翻译覆盖度和特征匹配率的得分属于区间[0,1]，流畅度和长度比的得分属于区间[-∞,0]，在计算句对最终得分前，对流畅度和长度比的得分进行正规化，统一分布在[0,1]之间，分值正规化通过以下公式计算得到：

其中，S为正规化前的分值，S'为正规化后的分值。

2.按权利要求1所述的多维度的中英双语数据的清洗方法，其特征在于步骤2)中，使用预处理后的数据采用词对齐算法得到词对齐结果，经过统计处理生成中英词典和英中词典，采用机器翻译中词对齐算法对分词后的中英双语数据进行词对齐处理，得到两个词对齐文件，经过词对齐对称化后合并这两个文件，具体为：

201)将词对齐对称化后的文件进行词还原处理，生成初始化中英词典及英中词典并过滤两个词典中的低频词；

202)将初始化的中英词典中的词和译文互换后作为英中字典的补充，同理，对英中词典进行同样的补充。

3.按权利要求1所述的多维度的中英双语数据的清洗方法，其特征在于步骤5)中，将各个维度评估分值线性组合后得到每个双语句对的最终得分，通过以下公式计算得到：

S_dict、S_gram和S_temp衡量了中英句对互译的质量，S_{len_rate}衡量中英句对增译漏译程度。