[发明专利]训练语料集构建方法、文本处理方法及装置

权利要求书

1.一种训练语料集构建方法，其特征在于，包括：

根据获取到的至少一个原始样本语料，构建短语词典，其中，所述短语词典包括短语和所述短语对应的短语特征信息；

将第一原始样本语料中的目标短语替换为相似短语，获得扩展样本语料，其中，所述第一原始样本语料为所述至少一个原始样本语料中包括所述目标短语的任一原始样本语料；

根据所述原始样本语料和所述扩展样本语料，构建训练语料集。

2.根据权利要求1所述的训练语料集构建方法，其特征在于，所述根据获取到的至少一个原始样本语料，构建短语词典，包括：

对所述至少一个原始样本语料进行分词，获得至少两个分词词语；

根据预设语法规则，从所述至少两个分词词语中抽取短语，并确定所述短语的短语特征信息；

根据所述短语和所述短语对应的短语特征信息，构建所述短语词典。

3.根据权利要求1所述的训练语料集构建方法，其特征在于，所述将第一原始样本语料中的目标短语替换为相似短语，获得扩展样本语料之前，还包括：

确定所述短语词典中短语特征信息满足预设替换条件的目标短语；

根据所述目标短语的第一词向量以及预设短语库中参考短语的第二词向量，确定所述目标短语对应的相似短语。

4.根据权利要求3所述的训练语料集构建方法，其特征在于，所述根据所述目标短语的第一词向量以及预设短语库中参考短语的第二词向量，确定所述目标短语对应的相似短语，包括：

分别确定所述第一词向量和所述参考短语的第二词向量之间的相似度；

对获得的各个相似度进行排序，根据排序结果选取目标数值个相似短语。

5.根据权利要求4所述的训练语料集构建方法，其特征在于，所述短语特征信息为词频，所述预设替换条件为词频小于词频阈值；

所述对获得的各个相似度进行排序，根据排序结果选取目标数值个相似短语之前，还包括：

根据所述目标短语对应的词频与所述词频阈值的差值，确定所述目标数值。

6.根据权利要求1-5任一项所述的训练语料集构建方法，其特征在于，所述根据所述原始样本语料和所述扩展样本语料，构建训练语料集，包括：

通过评估模型对所述扩展样本语料进行打分；

根据所述扩展样本语料的得分，选取融合样本语料；

将所述原始样本语料和所述融合样本语料合并，获得所述训练语料集。

7.根据权利要求1-5任一项所述的训练语料集构建方法，其特征在于，所述原始样本语料为双语语料，所述双语语料包括第一语种样本和对应的第二语种样本；

所述根据获取到的至少一个原始样本语料，构建短语词典，包括：

对所述第一语种样本进行分词，获得至少两个第一语种分词词语，并对所述第二语种样本进行分词，获得至少两个第二语种分词词语；

对所述第一语种分词词语和所述第二语种分词词语进行词对齐处理，获得词对齐信息；

根据预设语法规则，从所述至少两个第一语种分词词语中抽取第一语种短语，并确定所述第一语种短语的短语特征信息；

根据所述词对齐信息，从所述至少两个第二语种分词词语中确定所述第一语种短语对应的第二语种短语；

根据所述第一语种短语、对应的第二语种短语以及对应的短语特征信息，构建所述短语词典。