[发明专利]文本关键信息的识别方法、电子装置及可读存储介质在审
申请号: | 201810449138.8 | 申请日: | 2018-05-11 |
公开(公告)号: | CN108664473A | 公开(公告)日: | 2018-10-16 |
发明(设计)人: | 李正洋;李海疆 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06K9/62;G06N3/04 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分词 关键信息 可读存储介质 电子装置 预先确定 预设 排序 循环神经网络 词频 关键词获取 分词处理 评分公式 序列标注 语句 标注 样本 跨度 | ||
本发明涉及一种文本关键信息的识别方法、电子装置及可读存储介质,该方法包括:在收到待识别文本后,对收到的待识别文本利用预先确定的分词模型进行分词处理,得到所述待识别文本的各个分词;其中,所述预先确定的分词模型为预先通过对采用序列标注法标注的预设数量样本语句进行训练得到的长短期记忆循环神经网络模型;基于所述待识别文本中各个分词的词频、位置及词跨度,并根据预设评分公式计算得到每个分词的评分,按评分从高到低的顺序对所述待识别文本中各个分词进行排序,提取出排序靠前的分词作为关键词,根据提取出的关键词获取所述待识别文本的关键信息。本发明能使用户快速准确地获取待识别文本中的关键信息。
技术领域
本发明涉及计算机技术领域,尤其涉及一种文本关键信息的识别方法、电子装置及可读存储介质。
背景技术
用户经常需要从各种文本中快速获取到关键内容如文本的核心观点,然而,一些文本例如证券研究报告内容繁多且主旨不够清晰,特别是对于长达十几页甚至更多的深度报告,需要花费较多的时间去理清分析师的逻辑及相应结论。这既对看报告的用户的专业能力有较高要求,又需要花费用户较长的工作时间,导致用户获取文本中关键内容的效率较低且准确率不高。
发明内容
本发明的目的在于提供一种文本关键信息的识别方法、电子装置及可读存储介质,旨在快速准确地获取文本中的关键信息。
为实现上述目的,本发明提供一种电子装置,所述电子装置包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的文本关键信息的识别系统,所述文本关键信息的识别系统被所述处理器执行时实现如下步骤:
在收到待识别文本后,对收到的待识别文本利用预先确定的分词模型进行分词处理,得到所述待识别文本的各个分词;其中,所述预先确定的分词模型为预先通过对采用序列标注法标注的预设数量样本语句进行训练得到的长短期记忆循环神经网络模型;
基于所述待识别文本中各个分词的词频、位置及词跨度,并根据预设评分公式计算得到每个分词的评分,按评分从高到低的顺序对所述待识别文本中各个分词进行排序,提取出排序靠前的分词作为关键词,根据提取出的关键词获取所述待识别文本的关键信息。
优选地,所述预先确定的分词模型的训练过程如下:
获取预设数量的样本语句,其中,所述样本语句中的词语为预设语料库中采用预设序列标注规则标注好的词语;
将所述样本语句经过word2vec模型词向量化后得到相应的样本向量信息;将预设数量的样本语句按照预设比例分为训练集和评估集;
将所述训练集对应的样本向量信息送入长短期记忆循环神经网络模型进行模型训练,每隔预设时间,使用训练得到的模型对所述评估集的样本语句各个词语中每个字的标注进行识别,并将识别出的标注与该样本语句中采用预设序列标注规则的标注进行比对,以评估模型识别标注的误差;
若训练得到的模型识别标注的误差出现发散,则调整预设的训练参数并重新训练,直至使得训练得到的模型识别标注的误差能够收敛;
若训练得到的模型识别标注的误差收敛,则结束模型训练,将生成的模型作为训练好的所述预先确定的分词模型。
优选地,所述预设序列标注规则为按照每个字在词语中的位置进行标注,标注类型包括:首字标注、中间字标注、尾字标注、单字标注。
优选地,所述根据预设评分公式计算得到每个分词的评分包括:
对所述待识别文本中的各个分词按照如下公式计算得到每个分词的评分P值:
P=a1*X1+a2*X2+a3*X3
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810449138.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:自然语言处理方法、装置及其设备
- 下一篇:一种基于深度学习的简历解析方法