[发明专利]网页地址去重方法、电子设备及计算机可读存储介质

说明书

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种网页地址去重方法、电子设备及计算机可读存储介质。

背景技术

目前，网络爬虫常用的URL去重方案有基于数据库的去重方案和基于内存链表的去重方案，这些方案在URL库容量不大的情况下有不错的效果。但是，现有的分布式爬虫面向的URL库容量通常非常大，需要URL去重能够持久保持高效运作，而上述常用的URL去重方案在爬虫程序运行较长时间后会有效率剧降或任务瘫痪的风险。故，现有技术中的URL去重方法设计不够合理，亟需改进。

发明内容

有鉴于此，本发明提出一种网页地址去重方法、电子设备及计算机可读存储介质，通过采用基于内存改进的广义表进行URL去重作业，在时间效率上大大优于传统的URL去重方案。

首先，为实现上述目的，本发明提出一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页地址去重系统，所述网页地址去重系统被所述处理器执行时实现如下步骤：

依次读取一条待处理网页地址，于改进广义表中搜索该待处理网页地址，其中，所述改进广义表中的每个节点权重相同，且所述改进广义表中的每个节点包括一个判断当前节点是否为根节点的标志位；

若所述改进广义表中没有搜索到该待处理网页地址，则将该待处理网页地址插入至所述改进广义表，并将该待处理网页地址存入待抓取队列；及

若所述改进广义表中搜索到该待处理网页地址，则停止将该待处理网页地址存入待抓取队列。

优选地，所述标志位包括第一数值和第二数值；

如果检测到当前节点的标志位为第一数值，则确定该当前节点为根节点，从该当前节点开始遍历，确定为动态插入操作的出发节点；及

如果检测到当前节点的标志位为第二数值，则确定该当前节点不是根节点，继续遍历下一个节点。

优选地，若所述改进广义表的当前节点为根节点，则该当前节点的数据结构包括指针初始化操作和第一构造函数，该第一构造函数在该当前节点的新建节点对象没有传递指定参数时，默认将该新建节点对象的数据域属性设置为指定字符。

优选地，若所述改进广义表的当前节点为非根节点，则该当前节点的数据结构包括指针初始化操作和第二构造函数，该第二构造函数将该当前节点的新建节点对象传递的指定数据值赋值给该新建节点对象的数据域。

优选地，所述将该待处理网页地址插入至所述改进广义表包括：将该待处理网页地址对应的字符串分割为单个的字母，所述改进广义表中每个节点存储一个字母。

此外，为实现上述目的，本发明还提供一种网页地址去重方法，该方法应用于电子设备，所述方法包括：

依次读取一条待处理网页地址，于改进广义表中搜索该待处理网页地址，其中，所述改进广义表中的每个节点权重相同，且所述改进广义表中的每个节点包括一个判断当前节点是否为根节点的标志位；

若所述改进广义表中没有搜索到该待处理网页地址，则将该待处理网页地址插入至所述改进广义表，并将该待处理网页地址存入待抓取队列；及

若所述改进广义表中搜索到该待处理网页地址，则停止将该待处理网页地址存入待抓取队列。

优选地，所述标志位包括第一数值和第二数值；

如果检测到当前节点的标志位为第一数值，则确定该当前节点为根节点，从该当前节点开始遍历，确定为动态插入操作的出发节点；及

如果检测到当前节点的标志位为第二数值，则确定该当前节点不是根节点，继续遍历下一个节点。

优选地，若所述改进广义表的当前节点为根节点，则该当前节点的数据结构包括指针初始化操作和第一构造函数，该第一构造函数在该当前节点的新建节点对象没有传递指定参数时，默认将该新建节点对象的数据域属性设置为指定字符；及

若所述改进广义表的当前节点为非根节点，则该当前节点的数据结构包括指针初始化操作和第二构造函数，该第二构造函数将该当前节点的新建节点对象传递的指定数据值赋值给该新建节点对象的数据域。

优选地，所述将该待处理网页地址插入至所述改进广义表包括：将该待处理网页地址对应的字符串分割为单个的字母，所述改进广义表中每个节点存储一个字母。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有网页地址去重系统，所述网页地址去重系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的网页地址去重方法的步骤。