[发明专利]预测语句实体的方法、装置和计算机设备在审
申请号: | 202110212245.0 | 申请日: | 2021-02-25 |
公开(公告)号: | CN112949307A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 王健宗;宋青原;吴天博;程宁 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/284;G06F40/205;G06N3/04;G06N3/08 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 预测 语句 实体 方法 装置 计算机 设备 | ||
1.一种预测语句实体的方法,其特征在于,包括:
获取待分析语句对应的文本向量;
将所述文本向量输入第一表编码层得到所述文本向量对应的第一表结构表达;
将所述文本向量和所述第一表结构表达输入第一序列编码层,得到所述文本向量对应的第一序列表达;
将所述第一序列表达和所述第一表结构表达输入第二表编码层得到所述文本向量对应的第二表结构表达,其中,所述第二表编码层与所述第一表编码层相邻相连;
将所述第一序列表达和所述第二表结构表达输入第二序列编码层,得到所述文本向量对应的第二序列表达,其中,所述第二序列编码层于所述第一序列编码层相邻相连;
根据所述第二表结构表达的获得方式,得到末层表编码层输出的实体关系预测结果,根据所述第二序列表达的获得方式,得到末层序列编码层输出的实体预测结果。
2.根据权利要求1所述的预测语句实体的方法,其特征在于,当所述第一表编码层为连接文本向量器的首个表编码层时,所述将所述文本向量输入第一表编码层得到所述文本向量对应的第一表结构表达的步骤,包括:
在所述首个表编码层中根据所述文本向量构建无上下文关系的初始表结构;
获取Bert模型的编码层输出的第一上下文关系概率;
将所述第一上下文关系概率关联于所述初始表结构中,得到第一表结构表达。
3.根据权利要求2所述的预测语句实体的方法,其特征在于,第一表编码层包括依次连接的直接拼接层、线性投影层和迭代递归层,所述在所述首个表编码层中根据所述文本向量构建无上下文关系的初始表结构的步骤,包括:
将所述文本向量通过直接拼接层进行向量拼接,得到第一拼接向量;
将所述第一拼接向量通过线性投影层得到所述文本向量对应的初始序列;
将所述初始序列通过迭代递归层计算得到无上下文关系的表结构中的每个单元格的隐藏层状态,得到所述文本向量对应的初始表结构。
4.根据权利要求3所述的预测语句实体的方法,其特征在于,所述迭代递归层为多维循环神经网络,将所述初始序列通过所述迭代递归层计算得到无上下文关系的表结构中的每个单元格的隐藏层状态,得到所述文本向量对应的初始表结构的步骤,包括:
获取指定单元格在第一空间方向和第二空间方向上的第一门控循环数据,其中,所述第一空间方向和所述第二空间方向为第一空间维度的两个相对方向,所述指定单元格为无上下文关系的表结构中任一单元格;
获取所述指定单元格在第三空间方向和第四空间方向上的第二门控循环数据,其中,所述第三空间方向和所述第四空间方向为第二空间维度的两个相对方向,所述第二空间维度与所述第一空间维度相互垂直;
根据所述第一门控循环数据和所述第二门控循环数据,得到所述指定单元格的隐藏层状态;
根据所述指定单元格的隐藏层状态的计算方式,得到无上下文关系的表结构中的每个单元格的隐藏层状态,得到所述文本向量对应的初始表结构。
5.根据权利要求1所述的预测语句实体的方法,其特征在于,所述第一序列编码层为连接文本向量器的首个序列编码层,第一序列编码层包括表引导的注意力,所述将所述文本向量和所述第一表结构表达输入第一序列编码层,得到所述文本向量对应的第一序列表达的步骤,包括:
获取预设查询和查询对应键值对的初始赋值;
根据所述初始赋值通过表引导的注意力运算所述文本向量对应的第一输出值;
根据得分函数为各所述第一输出值赋予权重;
将各所述第一输出值赋予权重以及所述文本向量输入前馈神经网络,得到所述文本向量对应的第一序列表达。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110212245.0/1.html,转载请声明来源钻瓜专利网。