[发明专利]一种面向开源信息采集的资源更新时间预测方法及系统

说明书

本发明公开了一种面向开源信息采集的资源更新时间预测方法及系统。所述方法通过CART决策树算法建立网站资源更新时间和资源更新数量的CART决策树模型，并采用十折交叉法确定所述CART决策树模型的准确性，如果模型准确性满足要求，就可以采用建立的CART决策树模型预测网站未来的更新时间及资源更新数量，从而可以根据预测更新时间自动设置爬虫系统的资源采集时间，定时从目标网站采集所需要的信息资源，有效解决了数据采集过程中难以设置采集频率的问题，同时也避免了人工设置采集时间过于密集导致的对目标网站多次频繁采集的问题，节省了数据采集的计算资源。

技术领域

本发明涉及网络信息采集技术领域，特别是涉及一种面向开源信息采集的资源更新时间预测方法及系统。

背景技术

开源信息采集是指通过网络爬虫等技术，自动从目标网站中获取所需要的信息资源的一种方法。当前开源信息采集业务主要由人工根据经验设置采集时间，由于目标网站的更新时间存在不确定性，为了保证信息采集的时效性，采集时间一般都设置的比较密集，从而消耗甚至浪费大量的计算资源。因此，如何根据网站的历史数据预测未来的资源更新时间，从而保证在设置采集时间时既保证采集数据时效性，同时又降低采集计算资源消耗，是本领域急需解决的问题。

发明内容

本发明的目的是提供一种面向开源信息采集的资源更新时间预测方法及系统，以解决人工设置信息采集时间消耗资源过大的问题。

为实现上述目的，本发明提供了如下方案：

一种面向开源信息采集的资源更新时间预测方法，所述方法包括：

获取目标网站的历史数据；所述历史数据包括多个历史更新时间以及多个所述历史更新时间对应的历史资源更新数量；

采用十折交叉法将所述历史数据划分为训练集和测试集；

根据所述训练集建立CART决策树模型；

根据所述测试集确定所述CART决策树模型的准确性；

判断所述准确性是否满足要求，获得第一判断结果；

若所述第一判断结果为所述准确性满足要求，采用所述CART决策树模型预测所述目标网站的更新时间以及所述更新时间对应的资源更新数量；

若所述第一判断结果所述准确性不满足要求，返回所述采用十折交叉法将所述历史数据划分为训练集和测试集的步骤。

可选的，所述根据所述训练集建立CART决策树模型，具体包括：

统计所述训练集中所有历史更新时间作为定义域；所述训练集中包括多个历史更新时间以及多个所述历史更新时间对应的历史资源更新数量；

对所述定义域进行递归划分，将所述定义域划分为M个集合R₁,R₂,...,R_M；

根据所述M个集合R₁,R₂,...,R_M建立CART决策树模型其中x_i为更新时间；R_m表示所述M个集合中的第m个集合；1≤m≤M；N_m表示第m个集合R_m中的元素个数；y_i为更新时间x_i对应的历史资源更新数量；f(x_i)为更新时间x_i对应的预测资源更新数量。

可选的，所述对所述定义域进行递归划分，将所述定义域划分为M个集合R₁,R₂,...,R_M，具体包括：

确定所述定义域的最优切分变量与最优切分点；

采用所述最优切分点将所述定义域划分为两个子区域；