[发明专利]网页搜集推荐方法和装置有效
申请号: | 201610102827.2 | 申请日: | 2016-02-24 |
公开(公告)号: | CN105740460B | 公开(公告)日: | 2019-07-19 |
发明(设计)人: | 刘耀;龚幸伟 | 申请(专利权)人: | 中国科学技术信息研究所 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/955 |
代理公司: | 北京市立方律师事务所 11330 | 代理人: | 王增鑫 |
地址: | 100038*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网页 搜集 推荐 方法 装置 | ||
1.一种网页搜集推荐方法,其特征在于,包括:
获取与用户输入的关键词相关的多个网页作为多个种子网页;
根据种子网页中词语之间的出现关联度,确定出该种子网页的语义概念;对各种子网页的语义概念进行聚类,得到语义结构;
获取各种子网页所链接的多个网页作为多个扩展网页;
确定出每个扩展网页与所述语义结构之间的相似度;
根据相似度不低于第一相似度阈值的扩展网页,更新种子网页;
周期性地根据更新的种子网页进化语义结构并更新扩展网页、以及根据进化的语义结构更新种子网页,直到达到预设的网页获取终止条件;
对最后一个周期更新的各种子网页进行排序和推荐;
所述周期性地根据更新的种子网页进化语义结构并更新扩展网页、以及根据进化的语义结构更新种子网页,具体包括:
对于所述周期性中的一个周期,该周期内根据更新的种子网页进化语义结构并更新扩展网页、以及根据进化的语义结构更新种子网页,包括:
对于上一个周期更新的每个种子网页,根据该种子网页中词语之间的出现关联度,确定出该种子网页的语义概念后添加到上一个周期进化的语义结构中,得到本周期进化的语义结构;
获取上一个周期更新的各种子网页所链接的多个网页,作为本周期更新的多个扩展网页;
确定出本周期更新的每个扩展网页与所述本周期进化的语义结构之间的相似度;
根据相似度不低于第一相似度阈值的本周期更新的扩展网页,更新上一个周期更新的种子网页,得到本周期更新的种子网页。
2.根据权利要求1所述的方法,其特征在于,所述根据种子网页中词语之间的出现关联度,确定出该种子网页的语义概念,包括:
确定出每个种子网页的每个句子的词语集合;以及
对于该种子网页中每个句子的词语集合,计算出该词语集合中一对相邻词语的出现关联度,并判断该出现关联度是否低于预设的出现关联度阈值;若否,则将该对相邻词语合并为短语后,继续计算该短语与后续相邻词语的出现关联度,并继续判断该短语与后续相邻词语的出现关联度是否低于所述出现关联度阈值,直到遍历该词语集合的所有词语,得到该句子的语义概念;
将该种子网页中各句子的语义概念,组成该种子网页的语义概念。
3.根据权利要求1所述的方法,其特征在于,所述获取各种子网页所链接的多个网页之前,还包括:
提取出各种子网页中的链接文本;
确定出每个链接文本的词语集合;
对于每个链接文本,根据该链接文本的词语集合,确定出该链接文本与所述语义结构之间的相似度;以及
所述获取各种子网页所链接的多个网页,具体包括:
获取相似度不低于第二相似度阈值的链接文本所链接的网页。
4.根据权利要求1所述的方法,其特征在于,所述确定出每个扩展网页与所述语义结构之间的相似度,包括:
对于每个扩展网页,分别计算出该扩展网页与所述语义结构中的各语义概念簇之间的相似度;
根据计算出的各相似度,确定出该扩展网页与所述语义结构之间的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学技术信息研究所,未经中国科学技术信息研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610102827.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:端面成形密封的板式热交换器
- 下一篇:订书机