[发明专利]语料的处理方法、装置、存储介质及处理器

权利要求书

1.一种语料的处理方法，其特征在于，包括：

获取待识别的词句；

采用新词发现模型处理所述词句，识别出至少一个候选语料，其中，所述新词发现模型为采用深度学习模型训练得到的语料模型；

从所述至少一个候选语料中确定目标语料，其中，所述目标语料为从所述词句中识别出来的新词汇。

2.根据权利要求1所述的方法，其特征在于，在采用新词发现模型处理所述词句之前，所述方法还包括：

获取样本语料库，其中，所述样本语料库包括：采集到的语料以及语料的标注信息；

采用深度学习模型训练所述样本语料库中的语料，生成新词发现模型，其中，所述深度学习模型包括：预训练语言模型BERT和条件随机场模型CRF。

3.根据权利要求2所述的方法，其特征在于，在获取样本语料库之前，所述方法还包括：

获取语料，并对所述语料进行标注，生成所述样本语料库，其中，采用正则表达式对所述语料进行标注，并对无明显规则的语料的实体信息进行标注。

4.根据权利要求3所述的方法，其特征在于，在对所述语料进行标注之前，所述方法还包括：

对所述语料进行语料预处理，所述语料预处理包括如下至少之一：清除所述语料中的无效字符内容、将多行的语料拼接成一行，以及将所述语料中繁体转换成简体，其中，所述无效字符内容包括如下至少之一：所述语料的头尾空格、换行符号。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，从所述至少一个候选语料中确定目标语料，包括：

采用标准资料库对所述至少一个候选语料进行匹配过滤，筛选得到对应的所述目标语料，其中，所述标准资料库为预先设定的满足行业标准术语的术语资料。

6.根据权利要求5所述的方法，其特征在于，在从所述至少一个候选语料中确定目标语料之后，所述方法还包括：

采用所述目标语料更新样本语料库。

7.一种语料的处理装置，其特征在于，包括：

第一获取模块，用于获取待识别的词句；

识别模块，用于采用新词发现模型处理所述词句，识别出至少一个候选语料，其中，所述新词发现模型为采用深度学习模型训练得到的语料模型；

确定模块，用于从所述至少一个候选语料中确定目标语料，其中，所述目标语料为从所述词句中识别出来的新词汇。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取样本语料库，其中，所述样本语料库包括：采集到的语料以及语料的标注信息；

生成模块，用于采用深度学习模型训练所述样本语料库中的语料，生成新词发现模型，其中，所述深度学习模型包括：预训练语言模型BERT和条件随机场模型CRF。

9.一种“计算机可读存储介质”或“非易失性存储介质”，其特征在于，所述“计算机可读存储介质”或“非易失性存储介质”包括存储的程序，其中，在所述程序运行时控制所述“计算机可读存储介质”或“非易失性存储介质”所在设备执行权利要求1至6中任意一项所述的语料的处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的语料的处理方法。