[发明专利]一种自适应动态加权的意图识别融合方法在审
申请号: | 202310570947.5 | 申请日: | 2023-05-18 |
公开(公告)号: | CN116595127A | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 杜新宇;孙傲雪;邓茂康;郝笑笑;张忠山 | 申请(专利权)人: | 北京比特易湃信息技术有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/30;G06F18/22;G06F18/25;G06F18/24;G06N3/045;G06N3/0442;G06N3/048;G06N3/08 |
代理公司: | 北京荣哲知识产权代理事务所(普通合伙) 11998 | 代理人: | 朱登河 |
地址: | 100044 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自适应 动态 加权 意图 识别 融合 方法 | ||
1.一种自适应动态加权的意图识别融合方法,其特征在于:所述意图识别融合方法包括如下步骤:
S1.模式匹配+相似度计算模块,包含规则识别单元和相似度计算单元;
S2.深度模型推理模块,包括Word2Vec单元和BiLSTM深度模型单元;
S3.动态加权模块,一种混合策略,它通过动态地改变不同的权值,来控制不同策略在意图识别中的权重,权重需要根据两种策略的实际表现而设置;
S4.倒排+阈值筛选模块,包括倒排单元、阈值筛选单元。
2.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S1)中规则识别单元:收集并整理与目标领域相关的文本、语音等语料库,根据具体的任务,从语料库中提取关键词、短语等特征,建立各种意图对应的模板,包括正则表达式、关键词库等多种形式,以便匹配输入,当有新的输入进来时,与各个模板进行相似度计算,选出最佳意图,即为用户的意图。
3.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S1)中相似度计算单元:通过Bert(Bidirectional Encoder Representation fromTransformers,一种基于注意力机制的深度模型),计算关键文本句向量和原文本句向量,这里使用的是动态而非静态词向量,目的是想要尽可能融合上下文语义信息,余弦相似度,计算两个句向量在向量空间中的距离,公式为:值域范围[-1,1]。
4.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S2)中Word2Vec单元:是一种用于生成词嵌入的工具,可将单词转换为连续向量,使其易于用于机器学习和自然语言处理任务,word2vec通过将同一上下文中出现的单词视为相似的,将单词向量表示为在整个文本数据集中共同出现的单词之间的共现概率。
5.根据权利要求4所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述word2vec模型中,有两种不同的方法来训练单词向量:连续词袋模型(CBOW)和跳跃语境模型(Skip-Gram),CBOW模型将上下文单词作为输入,预测当前单词,通过最大化预测概率来训练模型,Skip-Gram模型相反,将当前单词作为输入,预测上下文单词,也通过最大化预测概率来训练模型。
6.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S2)中BiLSTM深度模型单元:模型由两个方向的LSTM组成,分别对输入序列进行前向和后向的计算,在前向计算中,输入序列从左到右进行处理;在后向计算中,输入序列从右到左进行处理,两个方向的LSTM在输出层进行合并,从而得到整个序列的综合表示,训练BiLSTM模型的过程与训练其他深度神经网络的过程类似,通常使用反向传播算法来计算损失函数,然后使用梯度下降法或其他优化算法来更新模型参数,在训练过程中,需要使用dropout技术来防止过拟合。
7.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S3)中采用深度神经网络训练确定两个策略的权值,a.结构为:词嵌入后,通过Average Pooling,加两层全联接网络,最终输出一个结点值,对该结点值进行sigmoid,即得到了模式匹配策略的权重a,(1-a)即为深度模型策略权重,训练中通过正向传播,计算损失值,然后通过反向传播算法对参数进行梯度下降,最终得到最优目标网络参数结构。
8.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S14)中将动态加权后,两种策略的输出分数相加,得到最终意图得分,按照得分大小进行降序排列。
9.根据权利要求1所述的一种自适应动态加权的意图识别融合方法,其特征在于:所述步骤(S4)中通过阈值设定,过滤所有大于阈值的意图,即为最终输出意图,若所有意图均未达到阈值,则默认输出“未识别”。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京比特易湃信息技术有限公司,未经北京比特易湃信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310570947.5/1.html,转载请声明来源钻瓜专利网。