[发明专利]一种大数据遗漏率分析方法

权利要求书

1.一种大数据遗漏率分析方法，其特征在于，包括如下步骤：

步骤S1，设置多线程任务方式采集目标采集源中的大数据，对采集任务设置优先级策略，根据优先级进行数据采集；其中，在对所述目标采集源进行初次采集时，采用预设参数设置方式对数据采用逐条逐页采集，直至所述目标采集源中的数据全部采集完成；

步骤S2，对所述步骤S1中已经采集过的目标采集源中的数据源网站设置增量采集模式和定时检测任务，实现对上述数据源网站中新增数据和更新数据的补充采集；

步骤S3，对采集到的数据进行分析，统计遗漏率P，包括：

公布型遗漏率分值p1：(1-采集数据总量/公布数据总量)*100％，公布型遗漏率权值w1；

查询型遗漏率分值p2：(1-抽查已采集数/抽查样本数据总量)*100％，查询型遗漏率权值w2；

同行同数据对比分值p3：采集数据量/同行数据总量*100％，同行同数据对比权值w3；

P＝p1*w1+p2*w2+p3*w3。

2.如权利要求1所述的大数据遗漏率分析方法，其特征在于，在所述步骤S1中，所述优先级策略的采集顺序由高到低依次为：特殊队列、标准队列、蜗牛队列，

其中，特殊队列是需要紧急采集，数据源网站不稳定的采集队列；标准队列是处于日常采集活动的队列；蜗牛队列是数据需求不紧急的采集队列。

3.如权利要求1所述的大数据遗漏率分析方法，其特征在于，在所述步骤S1中，所述预设参数设置方式，包括：

输入目标采集源的URL地址、全采集模式和采集优先级测量；设置对目标采集源的数据源完整翻页方式、翻页起始页，翻页结束页，页面类型；设置采集模式和调度方式。

4.如权利要求3所述的大数据遗漏率分析方法，其特征在于，

设置翻页方式：get、post、delete、put、options；

设置页面类型：列表、详情、json；

设置页面编码：utf-8、gbk、gb2312。

5.如权利要求1所述的大数据遗漏率分析方法，其特征在于，在所述步骤S1，对于目标采集源中暂时不能访问的数据源网站，开启采取时时监控任务监控网站状态，当监控器访问正常或访问量较小时多，执行线程采集。

6.如权利要求1所述的大数据遗漏率分析方法，其特征在于，对已经采集过的数据源网站，以预设周期进行定期重采补漏方式。