[发明专利]用于更新网页库的方法和装置

权利要求书

1.一种用于更新网页库的方法，所述方法包括：

基于网页库获取数据集合，其中，所述数据集合包括多个第一数据和多个第二数据，所述多个第一数据中的每一个第一数据在链接库中不存在对应的链接，所述多个第二数据中的每一个第二数据在所述链接库中具有对应的链接并且对应的调度时间超过预设值，其中，所述调度时间表征数据最近被调度的时间点距离当前时间点的时间长度；以及

基于所述数据集合，更新所述网页库，包括：

对所述数据集合中的多个数据进行抽样，以获得包含多个数据的抽样数据集合，包括：

对所述多个第一数据进行第一抽样，以获得第一抽样数据集合；以及

对所述多个第二数据进行第二抽样，以获得第二抽样数据集合，其中

所述第一抽样数据集合和所述多个第一数据之间的抽样比大于所述第二抽样数据集合和所述多个第二数据之间的抽样比；以及

对所述抽样数据集合中的多个数据中的各个数据进行更新。

2.根据权利要求1所述的方法，其中，所述基于所述数据集合，更新所述网页库还包括：

根据数据对应的网页特征与对应的预设检索目标的相关度，对所述数据集合中的各个数据进行分类，以使所述各个数据中的每一个数据均具有唯一的分类类型，其中，所述分类类型包括第一类型和第二类型，所述第一类型的数据的所述相关度大于所述第二类型的数据的所述相关度，以及其中，所述对所述多个第一数据进行第一抽样包括：

确定所述多个第一数据中每一个第一数据对应的第一子集，所述第一子集中的每一个第一数据具有相同的分类类型；

确定所述第一子集对应的抽样方法，所述对应的抽样方法被配置为使与所述第一类型对应的所述第一子集的抽样比大于与所述第二类型对应的所述第一子集的抽样比；以及

基于所述对应的抽样方法，对对应的所述第一子集进行抽样。

3.根据权利要求2所述的方法，其中，所述抽样方法包括下列各项中的任一项：

全采样；

随机抽样；

基于预设时间阈值，获取该第一子集中的最近被调度的时间点距离当前时间点的时间长度超过该预设时间阈值的第一数据；以及

基于预设站点质量评级，获取该第一子集中的对应站点质量高于该预设站点质量评级的第一数据。

4.根据权利要求2所述的方法，其中，所述对所述多个第二数据进行第二抽样包括：

确定所述多个第二数据中每一个第二数据对应的第二子集，所述第一子集中的每一个第二数据具有相同的分类类型；

确定所述第二子集对应的预设时间阈值，其中，所述对应的预设时间阈值被配置为与所述第一类型对应的所述对应的预设时间阈值小于或者等于与所述第二类型对应的所述对应的预设时间阈值；以及

基于对应的所述预设时间阈值，获取所述第二子集对应的第二抽样子集，其中，所述第二抽样子集中的每一个第二数据的所述调度时间超过对应的预设时间阈值。

5.根据权利要求2所述的方法，其中，所述对所述抽样数据集合中的多个数据中的各个数据进行更新包括：

确定所述抽样数据集合中的多个数据的各个数据的调度链接，其中所述调度链接包括所述第一抽样数据集合中的各个第二数据的对应的地址链接，以及所述第二抽样数据集合中的各个第二数据对应的站点链接；以及

基于所述调度链接，获取与所述调度链接对应的网页数据，其中，所述网页数据包括与所述地址链接对应的网页页面和与所述站点链接具有相同的站点地址的一个或多个网页页面。

6.根据权利要求1-5中任一项所述的方法，还包括：

对所述网页库执行一致性检查；以及其中，所述基于网页库获取数据集合包括：

响应于确定所述网页库的所述一致性检查的结果为不一致，获取所述网页库的所述数据集合。

7.根据权利要求6所述的方法，所述网页库包括经更新的所述网页库。