[发明专利]一种资源搜索调度方法及装置

权利要求书

1.一种资源搜索调度方法，包括：

获取待调度索引页的当前主体链接；

将获取的所述当前主体链接与所述待调度索引页的历史主体链接进行比较；

若根据比较结果确定存在链接遗漏，对待调度索引页进行翻页调度，直至确定不存在连接遗漏时，执行后续调度操作；

若根据比较结果确定不存在链接遗漏，执行后续调度操作；

其中，所述对待调度索引页进行翻页调度之前，还包括：

获取所述待调度索引页中的翻页块，通过正则匹配链接的锚auchor，确定下一页链接的统一资源定位符URL，以便根据所述URL进行翻页抓取。

2.根据权利要求1所述的方法，其中，若根据比较结果确定存在链接遗漏，对待调度索引页进行翻页调度，直至确定不存在连接遗漏时，具体包括：

当所述当前主体链接与历史主体链接不存在交集时，获取所述待调度索引页下一页的当前主体链接，并返回执行所述将获取的当前主体链接与所述待调度索引页的历史主体链接进行比较的步骤，直至所述当前主体链接与历史主体链接存在交集时。

3.根据权利要求1所述的方法，其中，所述获取待调度索引页的当前主体链接，具体包括：

确定所述待调度索引页中的最大相似块，得到待调度索引页的当前主体链接。

4.根据权利要求3所述的方法，其中，确定所述待调度索引页中的最大相似块，具体包括：

获取可扩展标记语言XML路径xpath相同的节点，得到相似块；

根据相似块的位置和面积，确定出所述待调度索引页中的最大相似块。

5.根据权利要求4所述的方法，其中，所述相似块的位置根据所述相似块在调度索引页面中的宽度、高度、上边距、左边距确定；

所述相似块的面积根据所述相似块在调度索引页面中的宽度、高度确定。

6.根据权利要求4所述的方法，其中，根据相似块的位置和面积，确定出所述待调度索引页中的最大相似块，具体包括：

确定相似块中面积最大且包含页面中心点的相似块为最大相似块。

7.根据权利要求1所述的方法，其中，获取所述待调度索引页中的翻页块，具体包括：

通过正则匹配链接的auchor所包含的信息，确定所述待调度索引页中的翻页块，获取确定的翻页块。

8.根据权利要求7所述的方法，其中，如果所述正则匹配链接的auchor包括翻页块特征信息，则基于所述翻页块信息确定所述待调度索引页中的翻页块。

9.根据权利要求1所述的方法，其中，所述通过正则匹配链接的锚auchor，确定下一页链接的统一资源定位符URL，具体包括：

所述正则匹配链接的auchor包含下一页链接信息时，将该auchor对应的链接确定为下一页链接的URL。

10.根据权利要求1所述的方法，其中，所述将获取的当前主体链接与所述待调度索引页的历史主体链接进行比较之前，还包括：

根据所述当前主体链接中各链接所包括的发布时间信息，顺序提取时间序列；

根据相邻链接的发布时间信息，判断提取的时间序列是否具备顺序或逆序特征；

当不具备时，将所述当前主体链接中各链接按时间顺序或时间逆序进行排序。

11.一种资源搜索调度装置，包括：

获取模块，用于获取待调度索引页的当前主体链接；

比较模块，用于将获取的所述当前主体链接与所述待调度索引页的历史主体链接进行比较；

执行模块，用于若根据比较结果确定存在链接遗漏，对待调度索引页进行翻页调度，直至确定不存在连接遗漏时，执行后续调度操作；若根据比较结果确定不存在链接遗漏，执行后续调度操作；

其中，所述获取模块，还用于：

获取所述待调度索引页中的翻页块，通过正则匹配链接的锚auchor，确定下一页链接的统一资源定位符URL，以便根据所述URL进行翻页抓取。