[发明专利]搜索词类目识别方法及其模型的训练方法、装置

权利要求书

1.一种搜索词类目识别模型的训练方法，其特征在于，所述搜索词类目识别模型的训练方法包括：

获取多个训练样本；其中，每个训练样本包括与搜索文本对应的搜索分词序列和所述搜索分词序列中与每个搜索分词对应的真实类目标签；

构建预训练模型，所述预训练模型包括嵌入层、编码器层和全连接层；

将所述搜索分词序列输入所述嵌入层，得到token向量、segment向量和mask向量；其中，所述嵌入层包括token嵌入层、segment嵌入层和掩码层；

将所述token向量、所述mask向量和所述segment向量输入所述编码器层进行特征提取，得到所述搜索分词序列对应的文本特征，所述搜索分词对应的第一词特征和所述搜索分词的字符对应的字特征；其中，所述编码器层为多层Transformer结构；

基于所述segment向量对所述字特征进行聚合处理，得到所述搜索分词的第二词特征；

以所述文本特征、所述第一词特征和所述第二词特征为所述全连接层的输入，所述真实类目标签为输出，训练所述预训练模型的网络参数，得到所述搜索词类目识别模型。

2.根据权利要求1所述的搜索词类目识别模型的训练方法，其特征在于，所述将所述搜索分词序列输入所述嵌入层，得到token向量、segment向量和mask向量的步骤包括：

通过所述token嵌入层在所述搜索分词序列的开头插入CLS标记，在每个搜索分词的结尾插入SEP标记，将所述CLS标记、所述SEP标记和所述搜索分词序列的字符映射为token向量；

通过所述segment嵌入层将所述搜索分词在所述搜索分词序列的位置编码映射为segment向量；

通过所述掩码层依次对所述搜索分词序列的字符使用MASK标记进行替换，将替换后的搜索分词序列映射为mask向量。

3.根据权利要求1所述的搜索词类目识别模型的训练方法，其特征在于，所述基于所述segment向量对所述字特征进行聚合处理的步骤包括：

基于所述segment向量获取每个搜索分词对应的字符片段；

对所述字符片段下的字特征进行聚合处理，得到与所述搜索分词对应的所述第二词特征。

4.根据权利要求1所述的搜索词类目识别模型的训练方法，其特征在于，所述获取多个训练样本的步骤之前还包括：

获取目标行业的多条搜索文本；

针对每条搜索文本，对所述搜索文本进行预处理，得到所述训练样本。

5.根据权利要求4所述的搜索词类目识别模型的训练方法，其特征在于，所述对所述搜索文本进行预处理的步骤包括：

对所述搜索文本进行数据清洗；其中，所述数据清洗包括过滤无意义符号和删除空格；

调用与所述目标行业相关的词库对数据清洗后的搜索文本进行匹配以得到多个搜索分词；

基于所述搜索分词连接生成多条搜索分词序列；

从所述搜索分词序列中选择最优的搜索分词序列作为所述训练样本。

6.一种搜索词类目识别方法，其特征在于，所述搜索词类目识别方法的步骤包括：

获取待识别搜索文本；

对所述待识别搜索文本进行预处理，得到待识别搜索分词序列，所述待识别搜索分词序列包括多个待识别搜索分词；

将所述待识别搜索分词序列输入搜索词类目识别模型，分别得到与每个待识别搜索分词对应的至少一种类目结果；

其中，所述搜索词类目识别模型通过如权利要求1-5所述的搜索词类目识别模型的训练方法得到。