[发明专利]一种资源获取优化装置和方法

说明书

技术领域

本发明涉及互联网领域，尤其涉及一种资源获取优化装置和方法。

背景技术

随着互联网技术的不断发展与网络信息量的不断剧增，用户能够从海量 的信息中快速高效的搜索有价值的信息对于互联网的发展至关重要。URL (UniformResourceLocator，统一资源定位符)是对可以从互联网上得到的资 源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。因此 URL数据在信息检索中即为重要。对于搜索信息来说，网络信息采集是其重 要组成部分，但常常出现URL被重复抓取的情况，影响网络信息采集的效率。。

发明内容

本发明的主要目的在于提出一种资源获取优化装置和方法，旨在解决通 过单机内存或远程关系型数据库进行资源获取优化时存在的处理能力的限制 和处理速度的限制。

为实现上述目的，本发明提供的一种资源获取优化装置，包括：

地址确认单元，用于确认待定URL是初始URL的域名内的URL；将所 述待定URL根据参数模板进行简化得到简化URL；

抓取预判单元，用于当简化URL在URL简化列表中不存在时，将简化 URL记录到待抓取列表；

数据写入单元，用于当所述待抓取列表中新添加的URL与已有的URL 对应的页面内容不同时，将简化URL写入已抓取列表。

其中，所述装置，还包括：

列表判断单元，用于判断是否存在URL简化列表；

所述地址确认单元，具体用于：

当存在URL简化列表时，确认待定URL是初始URL的域名内的URL；

所述装置还包括：

第一预判单元，用于当不存在URL简化列表时，判断所述待定URL是 否在已抓取列表中；

判断记录单元，用于若所述待定URL不在已抓取列表中，将待定URL 记录到待抓取列表。

其中，所述URL简化列表中记录有已抓取的简化URL及其对应MD5信 息摘要；

所述地址确认单元，包括：

子串判断模块，用于获取待定URL的域名子串和初始URL的域名子串， 确认两个域名子串相同；

摘要生成模块，用于将所述待定URL根据参数模板过滤掉不在参数模板 中的参数得到简化URL，生成简化URL的MD5信息摘要；

所述抓取预判单元，具体用于：

当生成的简化URL的MD5信息摘要在URL简化列表中不存在时，将待 定URL及其对应的MD5信息摘要记录到待抓取列表。

其中，所述数据写入单元，包括：

摘要判断模块，用于判断待抓取列表中新添加的URL的第一部分的MD5 消息摘要在待抓取列表中是否已存在；

数据写入模块，用于待抓取列表中新添加的URL的第一部分的MD5消 息摘要在待抓取列表中已存在，确认新添加的URL与已抓取的URL中的页 面内容不同后将新添加的URL写入已抓取列表；否则将新添加的URL写入 已抓取列表；

所述第一部分包括新添加的URL的查询参数部分之外的部分。

其中，所述URL简化列表、待抓取列表和已抓取列表通过redis集群维 护；

所述装置还包括：

列表添加单元，用于若资源获取优化时内存不足，动态添加redis集群规 模。

此外，为实现上述目的，本发明还提出一种资源获取优化方法，包括：

确认待定URL是初始URL的域名内的URL；将所述待定URL根据参数 模板进行简化得到简化URL；

当简化URL在URL简化列表中不存在时，将简化URL记录到待抓取列 表；

当所述待抓取列表中新添加的URL与已有的URL对应的页面内容不同 时，将简化URL写入已抓取列表。

其中，所述确认待定URL是初始URL的域名内的URL之前，还包括：

判断是否存在URL简化列表；

所述确认待定URL是初始URL的域名内的URL，具体为：

当存在URL简化列表时，确认待定URL是初始URL的域名内的URL；

所述方法还包括：

当不存在URL简化列表时，判断所述待定URL是否在已抓取列表中；