[发明专利]网络数据增量采集方法、装置、设备及存储介质

权利要求书

1.一种网络数据增量采集方法，其特征在于，所述网络数据增量采集方法包括如下步骤：

获取目标网站中的待采集页面以及生成所述待采集页面的页面标识，并判断所述待采集页面的页面标识是新页面标识还是历史页面标识；

若所述待采集页面的页面标识为所述历史页面标识，则获取所述待采集历史页面数据，并根据特定局部敏感哈希算法Simhash，计算所述历史页面数据对应的局部敏感哈希值；

获取缓存数据中所述待采集页面上一次采集的局部敏感哈希值，基于预设距离测量算法，计算所述待采集历史页面上一次采集的局部敏感哈希值与所述待采集历史页面数据本次对应的局部敏感哈希值之间的相似度；

在所述相似度大于预设阈值时，更新缓存的局部敏感哈希值，解析所述历史页面数据并存储至数据采集库。

2.如权利要求1所述的网络数据增量采集方法，其特征在于，所述若所述待采集页面的页面标识为所述历史页面标识，则获取所述待采集历史页面数据，并根据特定局部敏感哈希算法Simhash，计算所述历史页面数据对应的局部敏感哈希值的步骤具体包括：

若所述待采集页面的页面标识为所述历史页面标识，则获取所述待采集历史页面数据，并裁剪网页无关代码，保留网页body部分数据，作为所述待采集历史页面数据；

将所述历史页面数据进行分词，抽取分词后的关键字及所述分词后的关键字对应的预设权重，将所述历史页面数据转换为一组加权的特征值构成的向量；

基于特定局部敏感哈希算法Simhash，计算所述加权特征值向量对应的加权哈希值，作为所述历史页面数据对应的局部敏感哈希值。

3.如权利要求2所述的网络数据增量采集方法，其特征在于，所述在所述相似度大于预设阈值时，更新缓存的局部敏感哈希值，解析所述历史页面数据并存储至数据采集库的步骤具体包括：

在所述相似度大于预设阈值时，解析所述下载历史页面数据，基于哈希算法以及所述历史页面解析数据重点内容，计算所述历史页面解析数据重点内容对应的哈希值，作为所述历史页面数据对应的重点内容数据指纹；

判断缓存历史数据指纹中是否存在所述历史页面数据对应的重点内容数据指纹；

若所述历史数据指纹中不存在所述历史页面数据对应的重点内容数据指纹，则将所述历史页面解析数据存储至所述数据采集库。

4.如权利要求1所述的网络数据增量采集方法，其特征在于，所述获取目标网站中的待采集页面以及生成所述待采集页面的页面标识，并判断所述待采集页面的页面标识是新页面标识还是历史页面标识的步骤之前，还包括：

获取所述目标网站中的采集页面，并基于所述采集页面生成数据采集任务集，其中，所述数据采集任务集包括至少一个待采集页面。

5.如权利要求4所述的网络数据增量采集方法，其特征在于，所述获取缓存数据中所述待采集页面的上一次采集的局部敏感哈希值，基于预设距离测量算法，计算所述待采集页面的上一次采集的局部敏感哈希值以及所述历史页面数据本次采集对应的局部敏感哈希值的相似度的步骤之后，还包括：

判断所述相似度是否大于预设阈值；

在所述相似度小于预设阈值时，判定所述待采集页面的页面数据为历史已采集数据，停止解析并在所述数据采集任务集中获取下一采集任务进行数据采集。

6.如权利要求1所述的网络数据增量采集方法，其特征在于，所述的步骤所述相似度大于预设阈值时，更新缓存的局部敏感哈希值，解析所述历史页面数据并存储至数据采集库之后，还包括：

在所述缓存数据中将所述待采集页面对应的所述待采集页面的上一次采集的局部敏感哈希值更新为所述历史页面数据本次采集对应的局部敏感哈希值。