[发明专利]一种聚焦爬虫的设计方法

权利要求书

1.一种聚焦爬虫的设计方法，其特征在于，包括以下步骤：

（1）、配置领域本体的描述信息并作为聚焦爬虫的模板，这些描述信息包括：搜索关键词、筛选关键词、爬取关键词；其中，搜索关键词是指提交给搜索引擎进行资源检索的关键词，筛选关键词是指根据搜索引擎的反馈结果进行爬取的资源中包含的需要进行进一步筛选的超链接（URL）所对应的关键词，爬取关键词是指最终要爬取的有效信息所对应的关键词；

（2）、选择爬虫模板的搜索关键词提交给搜索引擎进行资源检索，获取本领域网页URL信息，形成初始种子URL序列N；

（3）、从初始种子URL序列N中依次取出种子URL交给的爬虫处理线程：

3.1）、在爬虫处理线程进行分析处理种子URL时，根据取出的种子URL在初始种子URL序列N之前种子URL的有效性即是否提取到有用信息，以一定的爬取概率P选取种子URL进行资源爬取，实现对种子URL的有效过滤，提高URL的处理效率；

3.2）、依据爬虫模板的筛选关键词，对步骤3.1）选取的种子URL进行深度遍历搜索，并获取包含筛选关键词的URL超链接队列；

3.3）、依据爬虫模板的爬取关键词对步骤3.2）获取的URL超链接队列中的URL依次进行页面源码分析，对页面中的标签进行权重分析，定位出有用信息在页面源码中的位置，提取出有用的信息，并存入数据库中。

2.根据权利要求1所述的聚焦爬虫的设计方法，其特征在于，所述爬取概率P为：

P=1-(s+f)/(2n)

其中，n是初始种子URL序列N包含初始种子URL的数目，s为取出的种子URL在初始种子URL序列N中的位置序列号，f为取出的种子URL在初始种子URL序列N之前的种子URL中未提取到有用信息的种子URL的数目。

3.根据权利要求1所述的聚焦爬虫的设计方法，其特征在于，还包括以下步骤：

在间隔一段时间后，重新选择爬虫模板的搜索关键词提交给搜索引擎进行资源检索，获得新的初始种子URL序列N，然后，重新进行步骤3.1）、步骤3.2），得到新的URL超链接队列，然后与上一时间窗口获得的URL超链接队列进行比较，对于新的URL，则按照步骤3.3）提取出有用的信息，并存入数据库中；对于已有的URL，则获取对应页面的信息并求其MD5值，并与上次时间窗口爬取的页面信息生成的MD5值进行比较，若不同，则进行步骤3.3）重新爬取，并将新爬取到的信息存入数据库中；对于没有的URL，则将数据库中对应的信息删除。