[发明专利]文本信息抽取方法、模型训练方法、装置及存储介质在审

专利信息
申请号: 202011098112.7 申请日: 2020-10-14
公开(公告)号: CN114372454A 公开(公告)日: 2022-04-19
发明(设计)人: 张倩汶;闫昭;张士卫;饶孟良 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06F40/205 分类号: G06F40/205;G06F40/295;G06F40/30;G06F16/28;G06F16/35;G06F16/36;G06N3/04;G06N3/08
代理公司: 广州嘉权专利商标事务所有限公司 44205 代理人: 梁嘉琦;谭英强
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 信息 抽取 方法 模型 训练 装置 存储 介质
【说明书】:

本申请公开了一种文本信息抽取方法、模型训练方法、文本信息抽取装置、模型训练装置及存储介质,通过对所获取的待处理文本进行识别处理,得到所述待处理文本中的主体数据以及与所述主体数据关联的关系数据,然后所述待处理文本、所述主体数据以及所述关系数据输入至客体抽取模型,对所述待处理文本中的客体进行识别,得到与所述主体数据和所述关系数据对应的客体数据,再根据所述主体数据、所述关系数据和所述客体数据生成三元组数据,本申请是先识别主体和对应关系,再根据所识别的主体和关系提取待处理文本中的客体,对待处理文本中的关系识别更加全面,客体的识别更加准确,能够应对多样化的对象类型问题,提高三元组数据的精准推荐。

技术领域

本申请涉及自然语言处理技术,尤其是一种文本信息抽取方法、模型训练方法、装置及存储介质。

背景技术

随着人工智能(Artificial Intelligen\ce,AI)技术的发展和具体领域的应用需求的不断增长,将人工智能技术应用到诸如医疗领域等具体领域的研究得到了发展。其中,自然语言处理(Natural Language Processing,NLP)技术为人工智能技术的重要分支。其中,在自然语言处理技术中,知识图谱(Knowledge Graph)的构建对人工智能应用有着重要的作用。例如人工智能可以利用知识图谱完成检索和问答等工作。

知识图谱由多个实体对之间的关系所构成,例如SPO三元组数据,是指实体对(主体S-客体O)与他们间的关系(P)构成的三元组。知识图谱中的SPO三元组数据可广泛应用于知识问答、搜索和推荐产品中。对于构建知识图谱的工作而言,从海量文本中抽取SPO三元组数据是重要的基础工作。

现有的SPO三元组抽取模型通常基于word2vec、openAI-GPT、语义表示模型(Embeddings from Language Models,ELMo)、双向转换编码器(Bidirectional EncoderRepresentation from Transformer,BERT)模型等预测训练模型,这些训练模型是先提取实体再确定实体之间的关系,从而在文本中提取出三元组,上述的训练模型可以在短句的实体关系抽取中取得较好的效果,但是随着文本长度的增加,文本中的实体类型的多样性也相应增加,同时文本中的一个实体可以有多个关系,现有技术在处理实体长文本的SPO三元组数据抽取中性能较差。

发明内容

为解决上述技术问题的至少之一,本申请提供了一种文本信息抽取方法、模型训练方法、文本信息抽取装置、模型训练装置及计算机可读存储介质,以提高文本的三元组信息抽取的准确性。

根据本申请的第一方面,提供了一种文本信息抽取方法,包括以下步骤:

获取待处理文本;

对所述待处理文本进行识别处理,得到所述待处理文本中的主体数据以及与所述主体数据关联的关系数据;

将所述待处理文本、所述主体数据以及所述关系数据输入至客体抽取模型,对所述待处理文本中的客体进行识别,得到与所述主体数据和所述关系数据对应的客体数据;

根据所述主体数据、所述关系数据和所述客体数据生成三元组数据。

根据本申请的第二方面,提供了一种模型训练方法,包括以下步骤:

获取训练文本数据,确定所述训练文本数据的三元组信息,所述三元组信息包括第三主体数据、第三客体数据和第三关系数据,所述第三关系数据为所述第三主体数据和所述第三客体数据的关系属性;

将所述训练文本数据以及所述第三主体数据和所述第三关系数据输入客体抽取模型,对所述训练文本数据中的客体进行识别,得到客体识别结果,根据所述客体识别结果和所述第三客体数据,对所述客体抽取模型的参数进行修正。

根据本申请的第三方面,提供了一种文本信息抽取装置,包括:

第一获取单元,用于获取待处理文本;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011098112.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top