[发明专利]网页地址去重方法、电子设备及计算机可读存储介质

权利要求书

1.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页地址去重系统，所述网页地址去重系统被所述处理器执行时实现如下步骤：

依次读取一条待处理网页地址，于改进广义表中搜索该待处理网页地址，其中，所述改进广义表中的每个节点权重相同，且所述改进广义表中的每个节点包括一个判断当前节点是否为根节点的标志位；

若所述改进广义表中没有搜索到该待处理网页地址，则将该待处理网页地址插入至所述改进广义表，并将该待处理网页地址存入待抓取队列；及

若所述改进广义表中搜索到该待处理网页地址，则停止将该待处理网页地址存入待抓取队列。

2.如权利要求1所述的电子设备，其特征在于，所述标志位包括第一数值和第二数值；

如果检测到当前节点的标志位为第一数值，则确定该当前节点为根节点，从该当前节点开始遍历，确定为动态插入操作的出发节点；及

如果检测到当前节点的标志位为第二数值，则确定该当前节点不是根节点，继续遍历下一个节点。

3.如权利要求2所述的电子设备，其特征在于，若所述改进广义表的当前节点为根节点，则该当前节点的数据结构包括指针初始化操作和第一构造函数，该第一构造函数在该当前节点的新建节点对象没有传递指定参数时，默认将该新建节点对象的数据域属性设置为指定字符。

4.如权利要求2所述的电子设备，其特征在于，若所述改进广义表的当前节点为非根节点，则该当前节点的数据结构包括指针初始化操作和第二构造函数，该第二构造函数将该当前节点的新建节点对象传递的指定数据值赋值给该新建节点对象的数据域。

5.如权利要求2所述的电子设备，其特征在于，所述将该待处理网页地址插入至所述改进广义表包括：将该待处理网页地址对应的字符串分割为单个的字母，所述改进广义表中每个节点存储一个字母。

6.一种网页地址去重方法，应用于电子设备，其特征在于，所述方法包括：

依次读取一条待处理网页地址，于改进广义表中搜索该待处理网页地址，其中，所述改进广义表中的每个节点权重相同，且所述改进广义表中的每个节点包括一个判断当前节点是否为根节点的标志位；

若所述改进广义表中没有搜索到该待处理网页地址，则将该待处理网页地址插入至所述改进广义表，并将该待处理网页地址存入待抓取队列；及

若所述改进广义表中搜索到该待处理网页地址，则停止将该待处理网页地址存入待抓取队列。

7.如权利要求6所述的网页地址去重方法，其特征在于，所述标志位包括第一数值和第二数值；

如果检测到当前节点的标志位为第一数值，则确定该当前节点为根节点，从该当前节点开始遍历，确定为动态插入操作的出发节点；及

如果检测到当前节点的标志位为第二数值，则确定该当前节点不是根节点，继续遍历下一个节点。

8.如权利要求7所述的网页地址去重方法，其特征在于，若所述改进广义表的当前节点为根节点，则该当前节点的数据结构包括指针初始化操作和第一构造函数，该第一构造函数在该当前节点的新建节点对象没有传递指定参数时，默认将该新建节点对象的数据域属性设置为指定字符；及

若所述改进广义表的当前节点为非根节点，则该当前节点的数据结构包括指针初始化操作和第二构造函数，该第二构造函数将该当前节点的新建节点对象传递的指定数据值赋值给该新建节点对象的数据域。

9.如权利要求7所述的网页地址去重方法，其特征在于，所述将该待处理网页地址插入至所述改进广义表包括：将该待处理网页地址对应的字符串分割为单个的字母，所述改进广义表中每个节点存储一个字母。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有网页地址去重系统，所述网页地址去重系统可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求6-9中任一项所述的网页地址去重方法的步骤。