[发明专利]基于多轮会话的意图识别方法及装置在审
申请号: | 202010892094.3 | 申请日: | 2020-08-31 |
公开(公告)号: | CN111813899A | 公开(公告)日: | 2020-10-23 |
发明(设计)人: | 吴俊江;雷植程;童丽霞;杨念民 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/332;G06F16/35;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周婷婷 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 会话 意图 识别 方法 装置 | ||
1.一种基于多轮会话的意图识别方法,其特征在于,包括:
将M轮问题信息中的每轮问题信息的词向量转换为句向量,得到M个句向量,其中,所述M轮问题信息为多轮会话中由用户帐号产生的问题信息,M为大于1的自然数;
根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作,得到第一会话向量,其中,所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息;
对所述M个句向量进行门控循环单元GRU编码,得到第二会话向量,其中,所述第二会话向量用于表示所述多轮会话的全局会话信息;
根据预设的多个卷积核对所述M个句向量进行卷积操作,得到第三会话向量,其中,所述第三会话向量用于表示所述多轮会话的局部会话信息;
根据所述第一会话向量、所述第二会话向量以及所述第三会话向量,确定所述多轮会话的意图信息。
2.根据权利要求1所述的方法,其特征在于,所述根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作,得到第一会话向量,包括:
对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作,得到M个注意力取值;
对所述M个注意力取值进行归一化操作,得到M个归一化取值;
根据所述M个句向量与所述M个归一化取值,确定所述第一会话向量。
3.根据权利要求2所述的方法,其特征在于,所述对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作,得到M个注意力取值,包括:
使用目标激活函数对所述标签矩阵与所述M个句向量的乘积执行目标激活操作,得到M个激活向量,其中,所述M个激活向量中的每个激活向量用于表示所述M个句向量中的一个句向量与所述标签矩阵中的每个标签的匹配概率,所述标签矩阵中的每个标签用于表示多个意图类别中的一个意图类别;
对所述M个激活向量执行目标池化操作,得到所述M个注意力取值,其中,所述目标池化操作用于在所述M个激活向量中的每个激活向量中选取最大的匹配概率,所述M个注意力取值中的每个注意力取值为所述M个激活向量中对应的激活向量中最大的匹配概率。
4.根据权利要求2所述的方法,其特征在于,所述根据所述M个句向量与所述M个归一化取值,确定所述第一会话向量,包括:
将所述第一会话向量确定为:
其中,表示所述第一会话向量,表示所述M个归一化取值中的第i个归一化取值,表示所述M个句向量中的第i个句向量。
5.根据权利要求2所述的方法,其特征在于,所述对所述M个注意力取值进行归一化操作,得到M个归一化取值,包括:
对所述M个注意力取值进行Softmax归一化操作,得到所述M个归一化取值,。
6.根据权利要求1所述的方法,其特征在于,所述对所述M个句向量进行门控循环单元GRU编码,得到第二会话向量,其中,所述第二会话向量用于表示所述多轮会话的全局会话信息,包括:
对所述M个句向量进行门控循环单元GRU编码,得到M个目标编码向量;
将所述M个目标编码向量输入自注意self-attention层,通过所述self-attention层为所述M个句向量中的每个句向量分配权重,并将分配权重的M个句向量执行求和操作,得到所述第二会话向量。
7.根据权利要求1所述的方法,其特征在于,所述根据预设的多个卷积核对所述M个句向量进行卷积操作,得到第三会话向量,包括:
使用P个不同大小的卷积核分别对所述M个句向量执行卷积操作,得到P组特征图;
通过self-attention层,将所述P组特征图转化成P组特征向量,并获取与所述P组特征向量一一对应的权重值;
在所述P组特征向量中选取出权重值大于预设阈值的多个目标特征向量;
将所述多个目标特征向量的组合确定为所述第三会话向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010892094.3/1.html,转载请声明来源钻瓜专利网。