[发明专利]一种多维度的中英双语数据清洗方法

摘要

本发明公开一种多维度的中英双语数据的清洗方法，步骤为：数据预处理，将多个领域的中英双语高质量的数据和输入文件中的中英双语句对进行包括分词、实体识别以及英文单词词干化预处理；生成词典，使用预处理后的中英双语高质量数据采用词对齐算法得到词对齐结果，经过统计处理生成中英词典和英中词典；语言模型训练；使用中英词典、英中词典以及3‑Gram语言模型进行多维度评估，得到多个维度的评估分值；将各个维度评估分值线性组合后得到每个双语句对的最终得分，最后滤除掉低于阈值的双语句对；将剩余的双语句对存储在输出文件中，得到高质量语料库。本发明能够过滤掉互译程度差的低质量中英句对，且处理速度和准确率远超一般方法。