[发明专利]搜索词类目识别方法及其模型的训练方法、装置

说明书

本发明公开了一种搜索词类目识别方法及其模型的训练方法、装置，该搜索词类目识别模型的训练方法包括：获取多个训练样本；构建预训练模型；将搜索分词序列输入嵌入层，得到token向量、segment向量和mask向量；将向量输入编码器层进行特征提取，得到文本特征，第一词特征和字特征；对字特征进行聚合处理，得到第二词特征；以文本特征、第一词特征和第二词特征为全连接层的输入，真实类目标签为输出，训练预训练模型的网络参数，得到搜索词类目识别模型。本发明通过搜索词类目识别模型结合上下文对含有多种类目的词进行类目归属概率的判断，大大改善了类目识别中的歧义性问题，类目识别的准确率更高。

技术领域

本发明涉及人工智能领域，特别涉及一种搜索词类目识别方法及其模型的训练方法、装置。

背景技术

搜索词类目识别是搜索词在经过分词后，对分词结果打上所属类目并给出对应概率值，通过解析用户输入的搜索词，有利于分析用户的核心搜索需求，从而辅助提升用户体验。

目前主流的类目识别方法主要是基于积累的类目数据库和精确匹配实现，越精准的类目数据库，所积累的类目就越多，导致数据库查询出现噪声的概率变大，从而增加人工维护的费力程度以及查询的费力程度。而且由于每个词都有可能存在兼类现象，即一个词在不同场景下所属的类目不同，仅依据数据库和词汇本身很难解决在类目识别中的歧义问题，导致类目识别的准确率变低。

发明内容

本发明要解决的技术问题是为了克服现有技术中多种类目的词的类别识别准确率低的缺陷，提供一种搜索词类目识别方法及其模型的训练方法、装置。

本发明是通过下述技术方案来解决上述技术问题：

根据本发明的第一方面，提供一种搜索词类目识别模型的训练方法，所述搜索词类目识别模型的训练方法包括：

获取多个训练样本；其中，每个训练样本包括与搜索文本对应的搜索分词序列和所述搜索分词序列中与每个搜索分词对应的真实类目标签；

构建预训练模型，所述预训练模型包括嵌入层、编码器层和全连接层；

将所述搜索分词序列输入所述嵌入层，得到token向量、segment向量和mask向量；其中，所述嵌入层包括token嵌入层、segment嵌入层和掩码层；

将所述token向量、所述mask向量和所述segment向量输入所述编码器层进行特征提取，得到所述搜索分词序列对应的文本特征，所述搜索分词对应的第一词特征和所述搜索分词的字符对应的字特征；其中，所述编码器层为多层Transformer结构；

基于所述segment向量对所述字特征进行聚合处理，得到所述搜索分词的第二词特征；

以所述文本特征、所述第一词特征和所述第二词特征为所述全连接层的输入，所述真实类目标签为输出，训练所述预训练模型的网络参数，得到所述搜索词类目识别模型。

较佳地，所述将所述搜索分词序列输入所述嵌入层，得到token向量、segment向量和mask向量的步骤包括：

通过所述token嵌入层在所述搜索分词序列的开头插入CLS标记，在每个搜索分词的结尾插入SEP标记，将所述CLS标记、所述SEP标记和所述搜索分词序列的字符映射为token向量；

通过所述segment嵌入层将所述搜索分词在所述搜索分词序列的位置编码映射为segment向量；

通过所述掩码层依次对所述搜索分词序列的字符使用MASK标记进行替换，将替换后的搜索分词序列映射为mask向量。

较佳地，所述基于所述segment向量对所述字特征进行聚合处理的步骤包括：

基于所述segment向量获取每个搜索分词对应的字符片段；