[发明专利]一种文本数据的处理方法、装置和设备

权利要求书

1.一种文本数据的处理方法，所述方法包括：

获取针对指定业务的目标文本数据；

对所述目标文本数据进行分词处理，确定所述目标文本数据中的分词位置；

在所述目标文本数据中的分词位置处插入预定的分隔符；

将插入有所述分隔符的目标文本数据输入到预定的语言模型中，得到与所述指定业务相关的结果数据；

其中，所述预定的语言模型通过训练基于BERT的语言模型得到，

其中，所述基于BERT的语言模型为网络层数小于预定层数阈值的BERT模型，所述预定层数阈值为不大于12的正整数，在训练时，将所述基于BERT的语言模型的输出修改为用于确定当前输入的语句是否与预定语句相匹配，基于插入有分隔符的指定业务的样本数据训练所述基于BERT的语言模型。

2.根据权利要求1所述的方法，所述获取针对指定业务的目标文本数据之前，所述方法还包括：

获取针对所述指定业务的样本数据；

对所述样本数据进行分词处理，确定所述样本数据中的分词位置；

在所述样本数据中的分词位置处插入预定的分隔符；

基于插入有所述分隔符的样本数据训练所述语言模型。

3.根据权利要求2所述的方法，所述基于插入有所述分隔符的样本数据训练所述语言模型之后，所述方法还包括：

获取针对所述指定业务的预定场景下的语料数据；

基于所述预定场景下的语料数据对所述语言模型继续进行训练。

4.根据权利要求1所述的方法，所述对所述目标文本数据进行分词处理，确定所述目标文本数据中的分词位置，包括：

获取所述目标文本数据中包含的语言种类；

根据所述目标文本数据中包含的语言种类，确定所述目标文本数据的分词策略；

基于确定的分词策略，对所述目标文本数据进行分词处理，确定所述目标文本数据中的分词位置。

5.根据权利要求1所述的方法，所述语言模型中包含的网络层数为2，每个网络层由Multi-Head Attention层和全连接层组成。

6.根据权利要求1所述的方法，所述目标文本数据中包括中文数据。

7.一种文本数据的处理装置，所述装置包括：

目标数据获取模块，用于获取针对指定业务的目标文本数据；

第一分词模块，用于对所述目标文本数据进行分词处理，确定所述目标文本数据中的分词位置；

第一分隔符模块，用于在所述目标文本数据中的分词位置处插入预定的分隔符；

结果确定模块，用于将插入有所述分隔符的目标文本数据输入到预定的语言模型中，得到与所述指定业务相关的结果数据；

其中，所述预定的语言模型通过训练基于BERT的语言模型得到，

其中，所述基于BERT的语言模型为网络层数小于预定层数阈值的BERT模型，所述预定层数阈值为不大于12的正整数，在训练时，将所述基于BERT的语言模型的输出修改为用于确定当前输入的语句是否与预定语句相匹配，基于插入有分隔符的指定业务的样本数据训练所述基于BERT的语言模型。

8.根据权利要求7所述的装置，所述装置还包括：

样本获取模块，用于获取针对所述指定业务的样本数据；

第二分词模块，用于对所述样本数据进行分词处理，确定所述样本数据中的分词位置；

第二分隔符模块，用于在所述样本数据中的分词位置处插入预定的分隔符；

第一训练模块，用于基于插入有所述分隔符的样本数据训练所述语言模型。

9.根据权利要求8所述的装置，所述装置还包括：

语料获取模块，用于获取针对所述指定业务的预定场景下的语料数据；

第二训练模块，用于基于所述预定场景下的语料数据对所述语言模型继续进行训练。