[发明专利]基于概率图模型的文本属性抽取方法、装置及计算机设备有效
申请号: | 202010761083.1 | 申请日: | 2020-07-31 |
公开(公告)号: | CN111914559B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 程华东;李剑锋;汪伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/216;G06F16/35;G06N3/0455;G06N3/0464;G06N3/08 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 李翔宇 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 概率 模型 文本 属性 抽取 方法 装置 计算机 设备 | ||
1.一种基于概率图模型的文本属性抽取方法,其特征在于,包括:
接收用户端上传的待处理文本;
调用预先训练的BERT神经网络模型,将所述待处理文本输入至所述BERT神经网络模型进行运算,得到与所述待处理文本对应的文本表征输出;其中,所述文本表征输出中包括多个字分别对应的向量表征;
调用预先训练的多任务学习分类模型,将所述文本表征输出输入至所述多任务学习分类模型进行识别,得到与所述文本表征输出对应的实体类型;
将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络,依次进行递归、向量拼接、特征融合和必要属性抽取,得到实体中的必要属性和必要属性的起始终止位置;以及
将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型,依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取,得到实体中的非必要属性和非必要属性的起始终止位置;
所述将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络,依次进行递归、向量拼接、特征融合和必要属性抽取,得到实体中的必要属性和必要属性的起始终止位置,包括;
将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵进行递归处理,得到实体类型表征输出;
将所述实体类型表征输出拼接至所述文本表征输出中每个字对应的向量表征,得到拼接表征输出;
将所述拼接表征输出进行特征融合,得到融合表征输出;
调用预先训练的动态图卷积神经网络,将所述融合表征输出输入至所述动态图卷积神经网络进行运算,以得到实体中的必要属性和必要属性的起始终止位置。
2.根据权利要求1所述的基于概率图模型的文本属性抽取方法,其特征在于,所述将所述待处理文本输入至所述BERT神经网络模型进行运算,得到与所述待处理文本对应的文本表征输出,包括:
将所述待处理文本按字拆分得到分字集合;
将所述分字集合中每一字输入至所述BERT神经网络模型进行运算,得到与所述分字集合中每一字对应的向量表征,由每一字的向量表征组合得到与所述待处理文本对应的文本表征输出。
3.根据权利要求1所述的基于概率图模型的文本属性抽取方法,其特征在于,所述将所述文本表征输出输入至所述多任务学习分类模型进行识别,得到与所述文本表征输出对应的实体类型,包括:
所述文本表征输出输入至所述多任务学习分类模型进行识别,得到与所述文本表征输出对应的实体识别输出向量,根据所述实体识别输出向量中取值为1的向量值统计获取实体个数,以根据实体个数对应得到包括的实体类型。
4.根据权利要求1所述的基于概率图模型的文本属性抽取方法,其特征在于,所述将所述拼接表征输出进行特征融合,得到融合表征输出,包括:
调用预先训练的Transformer网络,将所述拼接表征输出输入至所述Transformer网络进行特征融合,得到融合表征输出。
5.根据权利要求1所述的基于概率图模型的文本属性抽取方法,其特征在于,所述将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型,依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取,得到实体中的非必要属性和非必要属性的起始终止位置,包括:
调用预先训练的Bi-LSTM模型,将所述实体中的必要属性和必要属性的起始终止位置输入至所述Bi-LSTM模型进行运算,以得到实体表征向量;
将实体表征向量拼接至所述文本表征输出中每个字对应的向量表征,得到实体拼接表征输出;
将所述实体拼接表征输出进行特征融合,得到实体融合表征输出;
调用所述动态图卷积神经网络,将所述实体融合表征输出输入至所述动态图卷积神经网络进行运算,以得到实体中的非必要属性和非必要属性的起始终止位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010761083.1/1.html,转载请声明来源钻瓜专利网。