[发明专利]一种主题网页爬取方法及主题爬虫系统

说明书

本申请提供了一种主题网页爬取方法及主题爬虫系统，方法包括：从包括种子链接的第一待爬取链接集合中获取未爬取的链接；确定获取的链接对应的目标网页对应的第一相关度和第二相关度，第一相关度和第二相关度分别为目标网页中目标文本内容和目标链接与指定主题的相关度；根据第一相关度和第二相关度确定目标网页的温度值，并存储目标网页的待展示内容；若目标网页的温度值大于或等于预设温度值，将目标链接放入第二待爬取链接集合；若第一待爬取链接集合中不存在未获取过的链接，从第二待爬取链接集合中获取与指定主题相关度最高的未爬取的链接继续爬取。本申请使得用户可从网络上获取大量与指定主题相关的网页。

技术领域

本发明涉及网页爬取技术领域，尤其涉及一种主题网页爬取方法及主题爬虫系统。

背景技术

随着互联网的快速发展，人们迎来了一个信息爆炸的时代，各种各样的信息充斥着生活的方方面面。为了方便信息的获取，出现了搜索引擎，人们通过搜索引擎能很快地检索到很多网页的信息，搜索引擎提高了人们获取信息的效率。目前，人们常用的搜索引擎如Google、百度等均为通用搜索引擎，这类搜索引擎试图获取互联网上的全部资源，然而，人们的需求多种多样，在某些时候，用户希望能从网络中获取到与指定主题的网页内容，而通用搜索引擎无法满足用户的这种个性化需求。

发明内容

有鉴于此，本发明提供了一种主题网页爬取方法及主题爬虫系统，用以使用户基于该方法及系统获取到与指定主题相关的网页，其技术方案如下：

一种主题网页爬取方法，包括：

从第一待爬取链接集合中获取未爬取的链接，所述第一待爬取链接集合中包括预先获取的种子链接；

确定获取的链接对应的目标网页对应的第一相关度和第二相关度，所述第一相关度为所述目标网页中的目标链接与所述指定主题的相关度，所述第二相关度为所述目标网页中的目标文本内容与指定主题的相关度；

根据所述第一相关度和所述第二相关度确定所述目标网页的温度值，并存储所述目标网页的待展示内容，其中，所述温度值能够表征所述目标网页与所述指定主题的相关度；

若所述目标网页的温度值大于或等于第一预设温度值，则将所述目标链接放入第二待爬取链接集合中；

若所述第一待爬取链接集合中不存在未获取过的链接，则从所述第二待爬取链接集合中获取与所述指定主题相关度最高的未爬取的链接，然后执行所述确定获取的链接对应的目标网页对应的第一相关度和第二相关度。

其中，所述确定获取的链接对应的目标网页对应的第一相关度和第二相关度，包括：

根据获取的链接从网络上爬取所述目标网页；

从所述目标网页中提取所述目标文本内容、所述目标链接和所述目标链接对应的锚文本；

基于所述锚文本确定对应的目标链接与所述指定主题的相关度作为所述第一相关度，并确定所述目标文本内容与所述指定主题的相关度作为所述第二相关度。

其中，所述确定所述目标文本内容与指定主题的相关度，包括：

利用双向长短记忆条件随机场模型对所述目标文本内容进行分词，获得多个词；

通过所述多个词和预见建立的主题判定模块判定所述目标文本内容的主题；

确定所述目标文本内容的主题与所述指定主题的相关度作为所述目标文本内容与所述指定主题的相关度。

其中，所述基于所述锚文本确定对应的目标链接与所述指定主题的相关度，包括：

将所述锚文本中的字转换为字向量；