[发明专利]一种基于图注意力机制的对话历史建模方法有效
申请号: | 202011286773.2 | 申请日: | 2020-11-17 |
公开(公告)号: | CN112256857B | 公开(公告)日: | 2023-02-03 |
发明(设计)人: | 孙忆南;李思 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/36;G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 注意力 机制 对话 历史 建模 方法 | ||
1.一种基于图注意力机制的对话历史建模方法,其特征在于,包括以下步骤:
步骤1:使用预训练语言模型分别对用户输入,历史对话进行语义编码,获得用户输入表示向量和历史对话表示矩阵;
步骤2:使用图神经网络对知识图谱进行编码,获得知识图谱中每个节点的表示向量;
步骤3:计算用户输入表示向量和每个节点表示向量的相似度,作为基于用户输入的注意力权重,将相似度和节点表示向量加权求和得到知识表示向量;
步骤4:将用户表示向量和知识表示向量进行向量拼接操作,获得对话信息向量;
步骤5:计算对话信息向量和对话历史表示矩阵中每个向量的相似度,作为基于对话信息的注意力权重,将相似度和对话历史表示矩阵中的向量加权求和得到对话历史表示向量。
2.如权利要求1所述的一种基于图注意力机制的对话历史建模方法,其特征在于,所述步骤3具体包括:
(3.1)对每个节点表示向量,计算与用户输入表示向量的相似度;
(3.2)根据步骤(3.1)计算得到的相似度与节点表示向量进行加权求和获得知识表示向量。
3.如权利要求1所述的一种基于图注意力机制的对话历史建模方法,其特征在于,所述步骤5具体包括:
(5.1)对对话历史表示矩阵中的每轮对话的语义表示向量,计算与对话信息向量的相似度;
(5.2)根据步骤(5.1)计算得到的相似度与每轮对话的语义表示向量进行加权求和获得对话历史表示向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011286773.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种无椅盆的航空座椅
- 下一篇:一种屏幕拆卸装置