[发明专利]一种基于中文相似性计算的文章推荐方法在审
申请号: | 201810701560.8 | 申请日: | 2018-06-29 |
公开(公告)号: | CN110020189A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 孙铭鸿 | 申请(专利权)人: | 武汉掌游科技有限公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06F16/63;G06F16/64;G06F17/27 |
代理公司: | 北京慕达星云知识产权代理事务所(特殊普通合伙) 11465 | 代理人: | 李冉 |
地址: | 430000 湖北省武汉市*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 矩阵 相似性计算 文章推荐 词向量 中文 读取 标准化处理 互联网用户 用户关键字 词组转换 矩阵计算 内容获取 爬虫程序 人工标记 相似系数 向量矩阵 转化 多样性 挖掘 帮助 | ||
1.一种基于中文相似性计算的文章推荐方法,其特征在于,具体步骤包括:
步骤1:利用Python爬虫程序爬取文章的主要内容;
步骤2:根据爬取文章的主要内容获取词向量,并进行训练;
步骤3:将待推荐的文章转化为词向量矩阵;
步骤4:将用户关键字词组转换为矩阵,再读取步骤3得到的文章转化的词向量矩阵,并对词向量矩阵数据进行标准化处理,同时进行矩阵计算,根据相似系数进行排列。
2.根据权利要求1所述的一种基于中文相似性计算的文章推荐方法,其特征在于,所述步骤1中爬取文章的主要内容具体包括:文本内容、头图和文章摘要;所述文本内容,用于生成文章的词向量表示;所述头图,用户给用户推荐的文章的展现;所述文章摘要,采用TextRank算法抽取式的得到原文的三句话,用以概括文章的主要内容。
3.根据权利要求2所述的一种基于中文相似性计算的文章推荐方法,其特征在于,所述TextRank算法是基于PageRank,用于为文本生成关键字和摘要;整个万维网为一张有向图,节点是网页;网页A存在到网页B的链接,从网页A指向网页B的有向边;构造完图后,使用下面的公式:
S(Vi)是网页i的中重要性;d是阻尼系数,一般设置为0.85;In(Vi)是存在指向网页i的链接的网页集合;Out(Vj)是网页j中的链接存在的链接指向的网页的集合;|Out(Vj)|是集合中元素的个数;网页的重要性,取决于到该网页每个链接页面的重要性之和。
4.根据权利要求3所述的一种基于中文相似性计算的文章推荐方法,其特征在于,所述TextRank算法,将原文本拆分为句子,在每个句子中过滤掉停用词,并只保留指定词性的单词;得到句子的集合和单词的集合;每个单词作为PageRank中的一个节点;设定窗口大小为k,假设一个句子依次由下面的单词组成:[w1,w2,…,wk]、[w2,w3,…,wk+1]、[w3,w4,…,wk+2]均为一个窗口;在任一窗口中的任两个单词对应的节点之间存在一个无向无权的边;基于上面构成图,计算出每个单词节点的重要性;最重要的若干单词作为关键词;使用TextRank提取关键短语参照;若原文本中存在若干个关键词相邻的情况,关键词构成一个关键短语;使用TextRank提取摘要将每个句子看成图中的一个节点,若两个句子之间有相似性,认为对应的两个节点之间有一个无向有权边,权值是相似度;通过PageRank算法计算得到的重要性最高的若干句子作为摘要;利用下式计算两个句子Si和Sj的相似度:
|{ωk|ωk∈Si&ωk∈Sj}|是在两个句子中都出现的单词的数量;|Si|是句子i的单词数;
由于是有权图,PageRank公式修改为:
计算关键字时,把一个单词视为一个句子,那么所有句子构成的边的权重都是0,分子分母的权值w约分,TextRank算法退化为PageRank;通过textrank4zh模块里面的TextRank算法抽取式的提取原文的三句话,来对该文章进行简要概括。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉掌游科技有限公司,未经武汉掌游科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810701560.8/1.html,转载请声明来源钻瓜专利网。