[发明专利]一种面向开源信息采集的资源更新时间预测方法及系统

摘要

本发明公开了一种面向开源信息采集的资源更新时间预测方法及系统。所述方法通过CART决策树算法建立网站资源更新时间和资源更新数量的CART决策树模型，并采用十折交叉法确定所述CART决策树模型的准确性，如果模型准确性满足要求，就可以采用建立的CART决策树模型预测网站未来的更新时间及资源更新数量，从而可以根据预测更新时间自动设置爬虫系统的资源采集时间，定时从目标网站采集所需要的信息资源，有效解决了数据采集过程中难以设置采集频率的问题，同时也避免了人工设置采集时间过于密集导致的对目标网站多次频繁采集的问题，节省了数据采集的计算资源。

主权项

1.一种面向开源信息采集的资源更新时间预测方法，其特征在于，所述方法包括：获取目标网站的历史数据；所述历史数据包括多个历史更新时间以及多个所述历史更新时间对应的历史资源更新数量；采用十折交叉法将所述历史数据划分为训练集和测试集；根据所述训练集建立CART决策树模型；根据所述测试集确定所述CART决策树模型的准确性；判断所述准确性是否满足要求，获得第一判断结果；若所述第一判断结果为所述准确性满足要求，采用所述CART决策树模型预测所述目标网站的更新时间以及所述更新时间对应的资源更新数量；若所述第一判断结果所述准确性不满足要求，返回所述采用十折交叉法将所述历史数据划分为训练集和测试集的步骤。