[发明专利]一种关联网页数据库的建立方法和装置

权利要求书

1.一种关联网页数据库的建立方法，包括：

判断抓取到的网页是否包括关联网页URL模式；若是，则获取所述关联网页URL模式；

基于所述关联网页URL模式获取对应的关联网页；

采用所述关联网页URL模式对应的关联网页建立关联网页数据库。

2.如权利要求1所述的方法，其特征在于，所述判断抓取到的网页是否包括关联网页URL模式的步骤包括：

判断当前网页的页面元素中是否具有翻页特征字符串；若是，则提取所述翻页特征字符串链接的URL；

采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字；

采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；

当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。

3.如权利要求2所述的方法，其特征在于，所述判断当前网页的页面元素中是否具有翻页特征字符串的步骤包括：

采用翻页特征字符串在当前网页的DOM树节点中进行匹配；

当匹配成功时，则判断当前网页具有翻页特征字符串。

4.如权利要求2所述的方法，其特征在于，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为：

采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；

所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为：

采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。

5.如权利要求2所述的方法，其特征在于，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为：

分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；

所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为：

分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。

6.如权利要求2或3或4或5所述的方法，其特征在于，所述采用所述关联网页URL模式获取对应的关联网页的步骤包括：

将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。

7.如权利要求2或3或4或5所述的方法，其特征在于，所述获取所述关联网页URL模式对应的关联网页的步骤包括：

通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL；其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块；

访问所述首页关联网页的URL获取所述首页关联网页。

8.如权利要求7所述的方法，其特征在于，所述首页标识包括0、1和/或当前关联网页中的最大数值。

9.一种关联网页数据库的建立装置，包括：

关联网页URL判断模块，适于判断抓取到的网页是否包括关联网页URL模式；若是，则调用关联网页URL模式获取模块；

关联网页URL模式获取模块，适于获取所述关联网页URL模式；

关联网页获取模块，适于基于所述关联网页URL模式获取对应的关联网页；

关联网页数据库建立模块，适于采用所述关联网页URL模式对应的关联网页建立关联网页数据库。

10.如权利要求9所述的装置，其特征在于，所述关联网页URL模式模块包括：

翻页特征字符串判断单元，适于判断当前网页的页面元素中是否具有翻页特征字符串；若是，则调用URL提取单元；

URL提取单元，适于提取所述翻页特征字符串链接的URL；

第一特征RUL前缀获得单元，适于采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字；

第二特征RUL前缀获得单元，适于采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；

判定单元，适于关联网页URL模式当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。