[发明专利]一种基于TextRank与多维语义特征融合的自动摘要方法及系统在审
申请号: | 202210742295.4 | 申请日: | 2022-06-28 |
公开(公告)号: | CN115017300A | 公开(公告)日: | 2022-09-06 |
发明(设计)人: | 徐飞;贠曼;刘军;彭佳佳 | 申请(专利权)人: | 西安工业大学;中国人民解放军63768部队 |
主分类号: | G06F16/34 | 分类号: | G06F16/34;G06F40/30;G06F40/289;G06F40/258;G06F40/211;G06F40/194;G06F40/166;G06F40/151;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 李鹏威 |
地址: | 710021 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 textrank 多维 语义 特征 融合 自动 摘要 方法 系统 | ||
1.一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,包括以下步骤:
S1,对原始新闻除去无用的符号、空格;
S2,对预处理后的新闻进行新闻关键词提取、新闻主题的获取、句子的特征信息以及句子的向量表示;
S3,将步骤S2获取的新闻关键词、新闻主题、句子的特征信息以及句子的向量表示转化成各自的特征分数,然后将各自的特征分数按比例相加得到句子特征分数;同时采用TextRank方法对句子的向量表示进行巨资建相似度计算,得到句子的TextRank分数,将TextRank分数和句子特征分数相加取平均数得到句子综合分数;
S4,利用MMR算法计算句子间的相似度来去除冗余度较高的句子,最后根据相似度排序按设定个数取前n个句子作为摘要。
2.根据权利要求1所述的一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,新闻关键词通过TF-IDF方法和新闻所属领域的领域词共同得到;新闻主题的获取由LDA模型通过无监督方法训练得到;句子的特征信息则是判断句中是否含有特征词;句子的向量表示则是通过Word2vec深度学习的方法训练出词向量,进而得到句向量。
3.根据权利要求1所述的一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,根据词语权重的加权公式在TF-IDF算法得到候选关键词的基础上进行加权后得到候选关键词:
weight(i,M)=h×count(i,M)
其中,表示单词i在文本M中的权重;表示单词i在文本M出现的频率,由TF-IDF算法计算得出;h为词性影响因子,根据名词和动词不同的重要性可分别赋予不同的权重。
4.根据权利要求3所述的一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,对特定领域建立出一个该领域较为关心的领域词词典,若文中含有定义的领域词,则将该领域词和上述经过TF-IDF算法得出的候选关键词一起提出作为本文的关键词。
5.根据权利要求1所述的一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,采用基于LDA(Latent Dirichlet Allocation)主题生成模型来得到文档的主题分布和句子的主题分布,其中,文档的主题分布可直接由LDA生成模型的参数得到,句子的主题分布公式如下:
其中,P(Wi|T)表示该主题下词语Wi的分布概率,由LDA模型参数φ得到;len(S)表示句子S的长度。
6.根据权利要求1所述的一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,句子的特征信息包括关键词:据报道、据说、总而言之、表明、因此和显然。
7.根据权利要求1所述的一种基于TextRank与多维语义特征融合的自动摘要方法,其特征在于,利用加和取平的方式的得到句向量,通过句向量来表示句子的整体语义信息:
其中,表示句子S的句向量;表示构成句子的各个词语的空间向量;n为句子长度;由word2vec计算得出的一个k维的空间向量组成。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安工业大学;中国人民解放军63768部队,未经西安工业大学;中国人民解放军63768部队许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210742295.4/1.html,转载请声明来源钻瓜专利网。