[发明专利]双语语料清洗的方法、装置及计算机可读存储介质

权利要求书

1.一种双语语料清洗的方法，其特征在于，包括：

确定当前待清洗语料的当前语料清洗特征值，其中，所述当前语料清洗特征值为表示所述当前待清洗语料中当前原文与当前译文翻译匹配程度的特征值；

从设定的已标识标签的双语语料集合中，通过机器学习提取与所述当前语料清洗特征值最匹配的第一设定个数语料的清洗分类标签，其中，所述设定的已标识标签的双语语料集合中包括第二设定个数的语料，每个语料的清洗分类标签和语料清洗特征值已确定，且所述清洗分类标签至少包括两类；

根据所述第一设定个数的清洗分类标签，确定所述当前待清洗语料的当前清洗分类标签，并进行对应的清洗处理。

2.如权利要求1所述的方法，其特征在于，所述确定当前待清洗语料的当前语料清洗特征值之前，还包括：

从双语翻译语料库中，获取第三设定个数的已标注第一类清洗分类标签的第一语料，第四设定个数的已标注第二类清洗分类标签的第二语料，以及第五设定个数的已标注第三类清洗分类标签的第三语料；

根据所述第一语料，所述第二语料，以及所述第三语料，组成所述设定的已标识标签的双语语料集合；

确定所述设定的已标识标签的双语语料集合中每个语料的语料清洗特征值。

3.如权利要求2所述的方法，其特征在于，所述确定所述设定的已标识标签的双语语料集合中每个语料的语料清洗特征值包括：

根据所述语料中原文与译文的文字特征，确定至少一个第一语料清洗特征值；或/和，

根据设定的机器翻译模型，确定所述语料的至少一个第二语料清洗特征值；或/和，

根据语种方向、语法以及译员翻译的编辑行为记录，确定所述语料的至少一个第三语料清洗特征值。

4.如权利要求1或2所述的方法，其特征在于，所述从设定的已标识标签的双语语料集合中，通过机器学习提取与所述当前语料清洗特征值最匹配的第一设定个数语料的清洗分类标签包括：

将所述当前语料清洗特征值与所述设定的已标识标签的双语语料集合中每个语料的语料清洗特征值进行比较；

通过k临近分类算法，确定第一设定个数与所述当前语料清洗特征值最匹配的语料，并提取对应的清洗分类标签。

5.如权利要求2所述的方法，其特征在于，所述进行对应的清洗处理包括：

若所述当前清洗分类标签为第一类清洗分类标签时，将所述当前待清洗语料保持在双语翻译语料库中；

若所述当前清洗分类标签为第二类清洗分类标签时，进行再编辑提示；

若所述当前清洗分类标签为第三类清洗分类标签时，从所述双语翻译语料库中删除所述当前待清洗语料。

6.一种双语语料清洗的装置，其特征在于，包括：

确定单元，用于确定当前待清洗语料的当前语料清洗特征值，其中，所述当前语料清洗特征值为表示所述当前待清洗语料中当前原文与当前译文翻译匹配程度的特征值；

提取单元，用于从设定的已标识标签的双语语料集合中，通过机器学习提取与所述当前语料清洗特征值最匹配的第一设定个数语料的清洗分类标签，其中，所述设定的已标识标签的双语语料集合中包括第二设定个数的语料，每个语料的清洗分类标签和语料清洗特征值已确定，且所述清洗分类标签至少包括两类；

清洗单元，用于根据所述第一设定个数的清洗分类标签，确定所述当前待清洗语料的当前清洗分类标签，并进行对应的清洗处理。

7.如权利要求6所述的装置，其特征在于，还包括：

标识单元，用于从双语翻译语料库中，获取第三设定个数的已标注第一类清洗分类标签的第一语料，第四设定个数的已标注第二类清洗分类标签的第二语料，以及第五设定个数的已标注第三类清洗分类标签的第三语料，根据所述第一语料，所述第二语料，以及所述第三语料，组成所述设定的已标识标签的双语语料集合，以及，根据所述语料中原文与译文的文字特征，确定至少一个第一语料清洗特征值，或/和，根据设定的机器翻译模型，确定所述语料的至少一个第二语料清洗特征值，或/和，根据语种方向、语法以及译员翻译的编辑行为记录，确定所述语料的至少一个第三语料清洗特征值。