[发明专利]页面爬虫规则更新方法及系统

权利要求书

1.一种页面爬虫规则更新方法，其特征在于，包括：

利用初始爬虫规则爬取页面的内容实体；

根据实体样本与所述内容实体之间的一致关系，判定是否需要进行规则更新；

若是，则根据所述实体样本以及所述内容实体发生变化的页面信息，更新所述初始爬虫规则，包括：从所述内容实体发生变化的页面信息中，先找到与所述实体样本一致的目标实体；再将所述目标实体的上层元素作为定位条件，从本页面中获取能够匹配该定位条件的结果；直至所述目标实体是匹配当前定位条件的唯一结果时，基于当前定位条件再确定出用于更新爬虫规则的位置信息。

2.根据权利要求1所述的页面爬虫规则更新方法，其特征在于，所述根据所述实体样本以及所述内容实体发生变化的页面信息，更新所述初始爬虫规则还包括：

从不同页面各自的所述位置信息中确定目标位置信息；

利用所述目标位置信息更新所述初始爬虫规则。

3.根据权利要求2所述的页面爬虫规则更新方法，其特征在于，所述从不同页面各自的所述位置信息中确定目标位置信息包括：

将一个页面中针对同一个所述实体样本的所述位置信息汇总为集合；

求取全部页面的所述集合的交集；

以所述交集中的所述位置信息作为所述目标位置信息。

4.根据权利要求1所述的页面爬虫规则更新方法，其特征在于，所述将所述目标实体的上层元素作为定位条件包括：

获取所述目标实体之上的第一层元素；

判断所述第一层元素是否包含特定属性信息；

若是，则利用所述第一层元素作为定位条件；

若否，则获取所述目标实体之上的第二层元素，并判断所述第二层元素是否包含所述特定属性信息，以此方式直至获取到任一上层元素中包含所述特定属性信息后，将所有已获取到的上层元素作为定位条件。

5.根据权利要求4所述的页面爬虫规则更新方法，其特征在于，确定所述位置信息还包括：

判断基于当前层元素所获取到的结果是否为多个；

若是，则获取当前层元素的上一层元素重新确定所述定位条件，并重新在本页面中获取能够匹配该定位条件的结果；

若否，则确定所述目标实体是获取到的唯一结果。

6.根据权利要求1～5任一项所述的页面爬虫规则更新方法，其特征在于，所述根据实体样本与所述内容实体之间的一致关系，判定是否需要进行规则更新包括：

实时监测所述内容实体与所述实体样本是否一致；

当监测到出现二者不一致的页面的数量超过预设阈值时，则判定需要进行规则更新。

7.一种页面爬虫规则更新系统，其特征在于，包括：

爬虫模块，用于利用初始爬虫规则爬取页面的内容实体；

更新判定模块，用于根据实体样本与所述内容实体之间的一致关系，判定是否需要进行规则更新；

规则更新模块，用于在所述更新判定模块输出为是时，根据所述实体样本以及所述内容实体发生变化的页面信息，更新所述初始爬虫规则，包括：从所述内容实体发生变化的页面信息中，先找到与所述实体样本一致的目标实体；再将所述目标实体的上层元素作为定位条件，从本页面中获取能够匹配该定位条件的结果；直至所述目标实体是匹配当前定位条件的唯一结果时，基于当前定位条件再确定出用于更新爬虫规则的位置信息。

8.根据权利要求7所述的页面爬虫规则更新系统，其特征在于，所述规则更新模块具体包括：

目标实体定位单元，用于在与所述实体样本相应的页面中，获取与所述实体样本一致的目标实体；

位置信息确定单元，用于确定所述目标实体在本页面中的位置信息；

目标位置信息确定单元，用于从不同页面各自的所述位置信息中确定目标位置信息；

规则更新单元，用于利用所述目标位置信息更新所述初始爬虫规则。

9.根据权利要求7或8所述的页面爬虫规则更新系统，其特征在于，所述更新判定模块具体包括：

变化监测单元，用于实时监测所述内容实体与所述实体样本是否一致；

更新判定单元，用于当监测到出现二者不一致的页面的数量超过预设阈值时，则判定需要进行规则更新。