[发明专利]用于文档关键语句识别的方法与设备在审
申请号: | 201910900141.1 | 申请日: | 2019-09-23 |
公开(公告)号: | CN110728143A | 公开(公告)日: | 2020-01-24 |
发明(设计)人: | 翟光景;田进太;赵庆平;刘益东 | 申请(专利权)人: | 上海蜜度信息技术有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30;G06F40/216 |
代理公司: | 31243 上海百一领御专利代理事务所(普通合伙) | 代理人: | 王奎宇;甘章乖 |
地址: | 201800 上海市嘉定*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 词条 文档 关键语句 句子 句子重要性 句子集合 筛选 分词处理 文档内容 文字内容 遍历 分句 预设 申请 | ||
1.一种用于文档关键语句识别的方法,其中,该方法包括:
基于文档中的文字内容对文档进行分词处理,获得所述文档对应的多个词条;
计算每个词条的词条重要性分值,确定词条重要性分值排名靠前的M个词条,其中,M为预设值;
对所述文档进行分句处理,获得关于该文档的句子集合;
遍历所述句子集合,将包含所述M个词条中的一个或多个的句子筛选出来;
基于所述M个词条的词条重要性分值,计算筛选出来的句子的句子重要性分值,确定句子重要性分值最高的一个或多个句子作为文档关键语句。
2.根据权利要求1所述的方法,其中,所述基于文档中的文字内容对文档进行分词处理,获得所述文档对应的多个词条包括:
获取所述文档的标题和正文;
基于所述文档的标题和正文的文字内容分别对其进行分词处理,获得多个标题词条及正文词条;
其中,所述方法还包括:
对所述标题词条增加预设的权重,以对增加权重后的标题词条计算词条重要性分值。
3.根据权利要求1或2所述的方法,其中,所述方法还包括:
对筛选出来的句子作语义分析,根据语义分析结果为筛选出来的句子分别赋予预设的权重值;
其中,所述基于所述M个词条的词条重要性分值,计算筛选出来的句子的句子重要性分值,确定句子重要性分值最高的一个或多个句子作为文档关键语句包括:
基于所述M个词条的重要性分值以及所述预设的权重值,计算筛选出来的句子的句子重要性分值,确定句子重要性分值最高的一个或多个句子作为文档关键语句。
4.根据权利要求1至3中任一项所述的方法,其中,所述方法还包括:
获取公开的D篇文档作为基础语料集合,其中,所述D为预设值;
对所述基础语料集合中的文档进行分词处理,获得基础词条;
其中,所述基于文档中的文字内容对文档进行分词处理,获得所述文档对应的多个词条包括:
基于文档中的文字内容对文档进行分词处理,并基于所述基础词条,获得所述文档对应的多个词条。
5.根据权利要求4所述的方法,其中,所述计算每个词条的重要性分值公式为:
fi=tfi,j乘以idfi,其中,,
其中,n代表词条在文档中出现的次数,D为基础语料的数目,|{j:ti∈dj}|代表基础语料中包含该词条的文件的数目。
6.根据权利要求5所述的方法,其中,所述基于所述M个词条的词条重要性分值,计算筛选出来的句子的句子重要性分值对应的计算公式为:
Fi=句子中包含的M个词条中的一个或多个词条的词条重要性分值之和。
7.根据权利要求6所述的方法,其中,基于所述M个词条的重要性分值以及所述预设的权重值,计算筛选出来的句子的句子重要性分值对应的计算公式为:
Si=Fi+Ei,其中,Ei代表第i个句子预设的权重值。
8.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。
9.一种用于文档关键语句识别的设备,其中,该设备包括:
一个或多个处理器;以及
存储有计算机可读指令的存储器,所述计算机可读指令在被执行时使所述处理器执行如权利要求1至7中任一项所述方法的操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海蜜度信息技术有限公司,未经上海蜜度信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910900141.1/1.html,转载请声明来源钻瓜专利网。