[发明专利]一种核心要素提取方法、装置及电子设备有效
申请号: | 201910288812.3 | 申请日: | 2019-04-11 |
公开(公告)号: | CN110019758B | 公开(公告)日: | 2021-07-06 |
发明(设计)人: | 施振辉;夏源;陈俊;陆超;黄海峰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06N3/04;G06N3/08 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 许静;黄灿 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 核心 要素 提取 方法 装置 电子设备 | ||
1.一种核心要素提取方法,其特征在于,包括:
获取输入文本;
通过神经网络模型对所述输入文本进行核心要素提取,以得到所述输入文本的核心要素,其中,所述神经网络模型的训练样本集包括多个训练样本,所述训练样本包括文本句子,以及所述文本句子所属的标注信息;
所述神经网络模型的获取过程包括:
对所述多个训练样本的文本句子分别进行分词处理,以获得每个文本句子包括的分词单元,其中,所述分词单元包括词语和/或字;
将所述多个训练样本的文本句子包括的分词单元转换为数值型数据,以获得每个训练样本的数值型数据;
依据所述多个训练样本的标注信息和数值型数据对基础模型进行训练,以获得所述神经网络模型。
2.根据权利要求1所述的方法,其特征在于,所述将所述多个训练样本的文本句子包括的分词单元转换为数值型数据,包括:
对所述多个训练样本的文本句子包括的分词单元进行遍历,为不同的分词单元设置不同的数值型数据,为相同的分词单元设置相同的数值型数据。
3.根据权利要求2所述的方法,其特征在于,所述通过神经网络模型对所述输入文本进行核心要素提取,以得到所述输入文本的核心要素,包括:
对所述输入文本进行所述分词处理,以获得所述输入文本的分词单元,并将所述输入文本的分词单元转换为数值型数据;
将所述输入文本的数值型数据输入至所述神经网络模型,得到所述输入文本的核心要素。
4.根据权利要求3所述的方法,其特征在于,所述将所述输入文本的数值型数据输入至所述神经网络模型,得到所述输入文本的核心要素,包括:
将所述输入文本的数值型数据输入至所述神经网络模型,获取输入文本中权重大于预设阈值的目标数值型数据,并将所述目标数值型数据对应的分词单元作为核心要素。
5.根据权利要求4所述的方法,其特征在于,将所述目标数值型数据对应的分词单元作为核心要素,包括:
在所述目标数值型数据对应的分词单元包括词语和多个字的情况下,根据所述多个字中各字在所述输入文本中的位置,对所述多个字中的字进行合并处理,以获得合并词语集;
对所述合并词语集中的词语和权重大于预设阈值的词语进行去重处理,以获得核心词语集;
将所述多个字中未进行合并处理的字和所述核心词语集中的词语作为核心要素。
6.一种核心要素提取装置,其特征在于,包括:
输入文本获取模块,用于获取输入文本;
核心要素获取模块,用于通过神经网络模型对所述输入文本进行核心要素提取,以得到所述输入文本的核心要素,其中,所述神经网络模型的训练样本集包括多个训练样本,所述训练样本包括文本句子,以及所述文本句子所属的标注信息;
所述神经网络模型的获取过程包括:
对所述多个训练样本的文本句子分别进行分词处理,以获得每个文本句子包括的分词单元,其中,所述分词单元包括词语和/或字;
将所述多个训练样本的文本句子包括的分词单元转换为数值型数据,以获得每个训练样本的数值型数据;
依据所述多个训练样本的标注信息和数值型数据对基础模型进行训练,以获得所述神经网络模型。
7.根据权利要求6所述的装置,其特征在于,所述将所述多个训练样本的文本句子包括的分词单元转换为数值型数据,包括:
对所述多个训练样本的文本句子包括的分词单元进行遍历,为不同的分词单元设置不同的数值型数据,为相同的分词单元设置相同的数值型数据。
8.根据权利要求7所述的装置,其特征在于,所述核心要素获取模块,包括:
分词子模块,用于对所述输入文本进行所述分词处理,以获得所述输入文本的分词单元;
转换子模块,用于将所述输入文本的分词单元转换为数值型数据;
核心要素获取子模块,用于将所述输入文本的数值型数据输入至所述神经网络模型,得到所述输入文本的核心要素。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910288812.3/1.html,转载请声明来源钻瓜专利网。