[发明专利]一种基于大数据的数据采集方法

说明书

本发明公开的基于大数据的数据采集方法，涉及大数据技术领域，根据预设的优先级采集模式，持续采集目标数据源中的初始数据，直至目标数据源中的初始数据全部采集完成，根据预设的增量采集模式，采集目标数据源中的增量数据，根据预设的定时检测模式，采集目标数据源中的更新数据，提高了数据采集的准确率及完整度。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于大数据的数据采集方法。

背景技术

大数据，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

对大数据进行分析、价值挖掘基于对目标领域数据全面的储备，而如何提高数据采集的准确率，对增量数据进行补采，对于更新数据进行跟踪以提高数据采集的完整度，是大数据行业面临的难题。

发明内容

为解决现有技术的不足，本发明实施例提供了一种基于大数据的数据采集方法，该方法包括以下步骤：

根据预设的优先级采集模式，持续采集目标数据源中的初始数据，直至目标数据源中的初始数据全部采集完成；

根据预设的增量采集模式，采集所述目标数据源中的增量数据；

根据预设的定时检测模式，采集所述目标数据源中的更新数据。

优选地，在采集所述目标数据源中被更新的数据之后，所述方法还包括：

对采集到的数据进行分析，统计所述数据的准确率。

优选地，对采集到的数据进行分析，统计所述数据的准确率包括：

分别计算所述数据在不同维度下的准确率p₁、p₂…p_n并为各个准确率分别设置相应的权重w₁、w₂…w_n；

根据公式p＝p₁ w₁+p₂ w₂+…+p_n w_n，计算所述数据的准确率。

优选地，分别计算所述数据在不同维度下的准确率p₁、p₂…p_n包括：

根据公式p₁＝m₁/n₁，计算公布维度下所述数据的准确率，其中，m₁为本次采集的数据量，n₁为目标数据源中的数据总量；

根据公式p₂＝m₂/n₂，计算查询维度下所述数据的准确率，其中，m₂为从本次采集的数据中抽取的数据量，n₂为本次采集的数据总量；

根据公式p₃＝m₃/n₃，计算同行维度下所述数据的准确率，其中，m₃为本次采集的数据量，n₃为同行采集到的数据总量；

根据公式p＝p₁w₁+p₂w₂+p₃w₃，得到所述数据的准确率，其中，w₁、w₂及w₃分别为预设的p₁、p₂及p₃对应的权重。

优选地，目标数据源包括多个数据源网站。

本发明实施例提供的基于大数据的数据采集方法具有以下有益效果：