[发明专利]一种基于大数据的数据采集方法

权利要求书

1.一种基于大数据的数据采集方法，其特征在于，包括：

根据预设的优先级采集模式，持续采集目标数据源中的初始数据，直至目标数据源中的初始数据全部采集完成；

根据预设的增量采集模式，采集所述目标数据源中的增量数据；

根据预设的定时检测模式，采集所述目标数据源中的更新数据。

2.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，在采集所述目标数据源中被更新的数据之后，所述方法还包括：

对采集到的数据进行分析，统计所述数据的准确率。

3.根据权利要求2所述的基于大数据的数据采集方法，其特征在于，对采集到的数据进行分析，统计所述数据的准确率包括：

分别计算所述数据在不同维度下的准确率p₁、p₂…p_n并为各个准确率分别设置相应的权重w₁、w₂…w_n；

根据公式p＝p₁ w₁+p₂ w₂+…+p_n w_n，计算所述数据的准确率。

4.根据权利要求3所述的基于大数据的数据采集方法，其特征在于，分别计算所述数据在不同维度下的准确率p₁、p₂…p_n包括：

根据公式p₁＝m₁/n₁，计算公布维度下所述数据的准确率，其中，m₁为本次采集的数据量，n₁为目标数据源中的数据总量；

根据公式p₂＝m₂/n₂，计算查询维度下所述数据的准确率，其中，m₂为从本次采集的数据中抽取的数据量，n₂为本次采集的数据总量；

根据公式p₃＝m₃/n₃，计算同行维度下所述数据的准确率，其中，m₃为本次采集的数据量，n₃为同行采集到的数据总量；

根据公式p＝p₁w₁+p₂w₂+p₃w₃，得到所述数据的准确率，其中，w₁、w₂及w₃分别为预设的p₁、p₂及p₃对应的权重。

5.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述目标数据源包括多个数据源网站。