[发明专利]一种面向流式数据的非重复采样方法

摘要

一种面向流式数据的非重复采样方法，包括：判断全局组团直径数组的稳定性；存储部分流式数据作为训练数据集，进行数据清洗，去除冗余、不规范数据点；基于数据集各维度分离度的特性，学习训练数据集在各维度上的最优组团直径；更新全局组团直径数组；结合局部敏感哈希，对流式数据进行非重复采样，并实时维护接收集合与拒绝集合；最后每当查询到来，就可以从接受集合中随机采样出结果集合。本发明提出的面向流式数据的非重复采样方法，能够根据数据点的空间分布，信息特征准确、高效的采样具有代表性的数据点，能够极大的减少数据量，同时高度保留原始数据的信息，方便上层应用进行快捷、高效的实时分析。

主权项

1.一种面向流式数据的非重复采样方法，其步骤为：/n第1、读取流式数据，判断全局组团直径数组的稳定性；/n设置一个变量来存储全局组团直径数组的稳定性，初始值设置为0，表示不稳定，再进入第2步，之后在第4.1步中重新计算全局组团直径数组的稳定性，若达到稳定，则置为1，同时对于下一轮的数据而言，将直接进入第5步；/n定义1：流式数据，定义如下：/n流式数据是一组顺序、大量、快速、连续到达的数据序列，流式数据被视为一个随时间延续而无限增长的动态数据集合；/n第2、存储部分流式数据作为训练数据集，并进行数据清洗，去除不规范数据点；/n第2.1、对于流式数据，数据会源源不断的到来，选取一个预设固定时间段内的数据进行存储，作为训练数据集；/n第2.2、清洗训练数据集，去除不规范数据点；/n定义2：不规范数据点，定义如下：/n对于同一个数据集中的任意一个数据点，若存在以下一个或者多个情况，则该数据点为不规范数据点：/n(1)存在缺失属性，也即数据点采集不完整；/n(2)存在错误属性；/n(3)存在重复数据点，也即存在所有属性均一致的数据点，那么除去第一次出现的数据点以外，剩余数据点均为重复数据点；/n第3、基于数据集各维度分离度的特性，学习训练数据集在各维度上的最优组团直径；/n定义3：(α，β)-数据集，定义如下：/n令S为流式数据，d为S的数据维度，D(.，.)为欧式距离度量方法，α(α