[发明专利]生成文档摘要的方法和装置有效
申请号: | 201611199875.4 | 申请日: | 2016-12-22 |
公开(公告)号: | CN108228541B | 公开(公告)日: | 2021-08-03 |
发明(设计)人: | 张剑;刘轶;王宝岩;黄石磊 | 申请(专利权)人: | 深圳市北科瑞声科技股份有限公司 |
主分类号: | G06F40/10 | 分类号: | G06F40/10;G06F40/253 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 谢曲曲 |
地址: | 518057 广东省深圳市南山区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 生成 文档 摘要 方法 装置 | ||
1.一种生成文档摘要的方法,所述方法包括:
对文档集进行预处理,得到所述文档集对应的句子集合以及词表集合;
通过潜在狄利克雷模型或者向量空间模型对所述词表集合进行处理,得到所述词表集中每个词汇对应的权重;
将所述句子集合中每个句子对应的所有词汇权重相加,得到所述句子集合中每个句子的内部信息量得分;
计算所述句子集合中两两句子间的相似度值,并根据预设的相似度阈值,确定所述句子集合中每个句子对应的相似句及相似句数量,并根据所述相似句数量计算得到所述句子集合中每个句子对应的重要性得分;
依次获取所述句子集合中的每个句子作为当前处理句,将所述当前处理句的相似句数量与所述当前处理句的所有相似句各自对应的相似句数量加入同一个比较集合中,查找得到所述比较集合的最大值,并将所述比较集合的最大值对应句加入多样性参考集合;
根据所述句子集合和所述多样性参考集合,计算所述句子集合中每个句子的多样性得分;
根据所述内部信息量得分、所述重要性得分和所述多样性得分进行加权计算得到所述句子集合中每个句子的综合性得分;
根据所述综合性得分和预设的摘要长度,选取满足条件的句子按照所述文档集对应的句子顺序进行排序,生成文档摘要。
2.根据权利要求1所述的方法,其特征在于,所述根据所述句子集合和所述多样性参考集合,计算所述句子集合中每个句子的多样性得分的步骤包括:
依次获取所述句子集合中的每个句子作为待处理句,如果所述待处理句在所述多样性参考集合中,则在所述句子集合中找到与所述待处理句之间具有最小相似度的第一参考句,根据所述待处理句与所述第一参考句的相似度值计算所述待处理句的多样性得分;
如果所述待处理句不在所述多样性参考集合中,则在所述多样性参考集合中找到与所述待处理句之间具有最大相似度的第二参考句,根据所述待处理句与所述第二参考句之间的相似度值计算出所述待处理句的多样性得分。
3.根据权利要求1所述的方法,其特征在于,所述根据所述内部信息量得分、所述重要性得分和所述多样性得分进行加权计算得到所述句子集合中每个句子的综合性得分的计算公式为:
S_s(i)=M1logaS_I(i)+M2logaS_D(i)+M3logaS_C(i)
其中,S为所述句子集合,s(i)为S中第i个句子,S_S(i)为s(i)的综合性得分,S_I(i)为s(i)的内部信息量得分,S_D(i)为s(i)的重要性得分,S_C(i)为s(i)的多样性得分,M1、M2和M3为预设系数值,a大于0且不等于1。
4.根据权利要求1所述的方法,所述根据所述综合性得分和预设的摘要长度,选取满足条件的句子按照所述文档集对应的句子顺序进行排序,生成文档摘要的步骤包括:
根据所述综合性得分和预设的摘要长度,采用动态规划算法,将所述句子集合中的所有句子进行筛选形成文档摘要。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市北科瑞声科技股份有限公司,未经深圳市北科瑞声科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611199875.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:利用笔迹手势编辑手写输入
- 下一篇:一种非结构化文本的处理方法及装置