[发明专利]一种面向流式数据的非重复采样方法

说明书

一种面向流式数据的非重复采样方法，包括：判断全局组团直径数组的稳定性；存储部分流式数据作为训练数据集，进行数据清洗，去除冗余、不规范数据点；基于数据集各维度分离度的特性，学习训练数据集在各维度上的最优组团直径；更新全局组团直径数组；结合局部敏感哈希，对流式数据进行非重复采样，并实时维护接收集合与拒绝集合；最后每当查询到来，就可以从接受集合中随机采样出结果集合。本发明提出的面向流式数据的非重复采样方法，能够根据数据点的空间分布，信息特征准确、高效的采样具有代表性的数据点，能够极大的减少数据量，同时高度保留原始数据的信息，方便上层应用进行快捷、高效的实时分析。

技术领域

本发明属于流数据处理领域。具体涉及一种面向流数据的非重复采样技术。

背景技术

随着大数据时代的到来，在移动通信，金融等领域实时产生了大量的流式数据，这类流式数据呈现典型的大数据特征，即真实、多样、量大、快速、高价值。由于流式数据的数据量巨大、采集速度极快、样式丰富，这使得很多传统的数据分析系统难以进行实时的处理和分析。

可见，若能在巨量的流式数据中，采样具有代表性的、数据量相对较小的数据集供上层应用进行分析，而不是原生的巨量流式数据，能够极大的减轻上层应用的处理负担，同时又能保证分析结果的准确性。

发明内容

本发明目的是解决传统的数据分析系统对于大量的流式数据难以进行实时处理和分析的问题。

本发明技术方案

一种面向流式数据的非重复采样方法，其步骤为：

第1、读取流式数据，判断全局组团直径数组的稳定性；

设置一个变量来存储全局组团直径数组的稳定性，初始值设置为0(表示不稳定)，再进入第2步，之后在第4.1步中重新计算全局组团直径数组的稳定性，若达到稳定，则置为1，同时对于下一轮的数据而言，将直接进入第5步；

定义1：流式数据，定义如下：

流式数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，流式数据被视为一个随时间延续而无限增长的动态数据集合；

第2、存储部分流式数据作为训练数据集，并进行数据清洗，去除不规范数据点；

第2.1、对于流式数据，数据会源源不断的到来，选取一个预设固定时间段内的数据进行存储，作为训练数据集；

第2.2、清洗训练数据集，去除不规范数据点；

定义2：不规范数据点，定义如下：

对于同一个数据集中的任意一个数据点，若存在以下一个或者多个情况，则该数据点为不规范数据点：

(4)存在缺失属性，也即数据点采集不完整；

(5)存在错误属性；

(6)存在重复数据点，也即存在所有属性均一致的数据点，那么除去第一次出现的数据点以外，剩余数据点均为重复数据点；

第3、基于数据集各维度分离度的特性，学习训练数据集在各维度上的最优组团直径；

定义3：(α，β)-数据集，定义如下：

令S为流式数据，d为S的数据维度，D(.，.)为欧式距离度量方法，α(α₁，...，α_d)为组团直径数组，β(β₁，...，β_d)为距离阈值数组，其满足β_i＞α_i，i∈[1，d]；那么对于任意S中的数据点u，v有：