[发明专利]文本关键信息的识别方法、电子装置及可读存储介质在审

专利信息
申请号: 201810449138.8 申请日: 2018-05-11
公开(公告)号: CN108664473A 公开(公告)日: 2018-10-16
发明(设计)人: 李正洋;李海疆 申请(专利权)人: 平安科技(深圳)有限公司
主分类号: G06F17/27 分类号: G06F17/27;G06K9/62;G06N3/04
代理公司: 深圳市沃德知识产权代理事务所(普通合伙) 44347 代理人: 高杰;于志光
地址: 518000 广东省深*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 分词 关键信息 可读存储介质 电子装置 预先确定 预设 排序 循环神经网络 词频 关键词获取 分词处理 评分公式 序列标注 语句 标注 样本 跨度
【权利要求书】:

1.一种电子装置,其特征在于,所述电子装置包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的文本关键信息的识别系统,所述文本关键信息的识别系统被所述处理器执行时实现如下步骤:

在收到待识别文本后,对收到的待识别文本利用预先确定的分词模型进行分词处理,得到所述待识别文本的各个分词;其中,所述预先确定的分词模型为预先通过对采用序列标注法标注的预设数量样本语句进行训练得到的长短期记忆循环神经网络模型;

基于所述待识别文本中各个分词的词频、位置及词跨度,并根据预设评分公式计算得到每个分词的评分,按评分从高到低的顺序对所述待识别文本中各个分词进行排序,提取出排序靠前的分词作为关键词,根据提取出的关键词获取所述待识别文本的关键信息。

2.如权利要求1所述的电子装置,其特征在于,所述预先确定的分词模型的训练过程如下:

获取预设数量的样本语句,其中,所述样本语句中的词语为预设语料库中采用预设序列标注规则标注好的词语;

将所述样本语句经过word2vec模型词向量化后得到相应的样本向量信息;将预设数量的样本语句按照预设比例分为训练集和评估集;

将所述训练集对应的样本向量信息送入长短期记忆循环神经网络模型进行模型训练,每隔预设时间,使用训练得到的模型对所述评估集的样本语句各个词语中每个字的标注进行识别,并将识别出的标注与该样本语句中采用预设序列标注规则的标注进行比对,以评估模型识别标注的误差;

若训练得到的模型识别标注的误差出现发散,则调整预设的训练参数并重新训练,直至使得训练得到的模型识别标注的误差能够收敛;

若训练得到的模型识别标注的误差收敛,则结束模型训练,将生成的模型作为训练好的所述预先确定的分词模型。

3.如权利要求2所述的电子装置,其特征在于,所述预设序列标注规则为按照每个字在词语中的位置进行标注,标注类型包括:首字标注、中间字标注、尾字标注、单字标注。

4.如权利要求1-3中任一项所述的电子装置,其特征在于,所述根据预设评分公式计算得到每个分词的评分包括:

对所述待识别文本中的各个分词按照如下公式计算得到每个分词的评分P值:

P=a1*X1+a2*X2+a3*X3

其中,X1为分词在所述待识别文本中出现频率的词频评分,a1为预设的词频权重;X2为分词在所述待识别文本中出现位置的位置评分,a2为预设的位置权重;X3为分词在所述待识别文本中的词跨度评分,a3为预设的词跨度权重。

5.一种文本关键信息的识别方法,其特征在于,所述文本关键信息的识别方法包括:

在收到待识别文本后,对收到的待识别文本利用预先确定的分词模型进行分词处理,得到所述待识别文本的各个分词;其中,所述预先确定的分词模型为预先通过对采用序列标注法标注的预设数量样本语句进行训练得到的长短期记忆循环神经网络模型;

基于所述待识别文本中各个分词的词频、位置及词跨度,并根据预设评分公式计算得到每个分词的评分,按评分从高到低的顺序对所述待识别文本中各个分词进行排序,提取出排序靠前的分词作为关键词,根据提取出的关键词获取所述待识别文本的关键信息。

6.如权利要求5所述的文本关键信息的识别方法,其特征在于,所述预先确定的分词模型的训练过程如下:

获取预设数量的样本语句,其中,所述样本语句中的词语为预设语料库中采用预设序列标注规则标注好的词语;

将所述样本语句经过word2vec模型词向量化后得到相应的样本向量信息;将预设数量的样本语句按照预设比例分为训练集和评估集;

将所述训练集对应的样本向量信息送入长短期记忆循环神经网络模型进行模型训练,每隔预设时间,使用训练得到的模型对所述评估集的样本语句各个词语中每个字的标注进行识别,并将识别出的标注与该样本语句中采用预设序列标注规则的标注进行比对,以评估模型识别标注的误差;

若训练得到的模型识别标注的误差出现发散,则调整预设的训练参数并重新训练,直至使得训练得到的模型识别标注的误差能够收敛;

若训练得到的模型识别标注的误差收敛,则结束模型训练,将生成的模型作为训练好的所述预先确定的分词模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810449138.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top