[发明专利]一种方差优化直方图的构建方法和装置

权利要求书

1.一种流数据处理方法，包括：

输入流数据；

利用方差优化直方图提取所述流数据的概要信息；

构建所述方差优化直方图的步骤包括：

按内存大小和查询精度设定样本数目K和直方图桶的个数B，有新元素出现时，对新出现的元素进行预处理，同时为使样本数目保持在K，以在线数据采样方法优化内存空间的数据样本；根据优化的内存空间数据样本，动态构建方差优化直方图；

对所述新出现的元素进行预处理包括：

1)若该新元素的值小于当前抽样阈值τ，则将该元素的值累加到L_sum，同时将L_count的值加1；

2)当新元素大于当前抽样阈值τ时，将该新元素存储到小顶堆H中：若小顶堆H中元素数目达到限定的最大数据样本数目K，或小顶堆H中的最小元素小于当前抽样阈值τ，则将小顶堆H中最小元素的值累加到L_sum中，同时将L_count的值加1，并删除小顶堆H中的最小元素，调整小顶堆H的结构；

将抽样阈值τ更新为τ＝L_sum′/L_count′，其中，L_sum′：添加元素值后的样本；L_count′：添加新元素后的样本数据个数；

其中，L_sum为累计值，L_count为数据样本个数，所述小顶堆H的最大值为K，所述抽样阈值τ、累计值L_sum，数据样本个数L_count的初始数据都为0；

所述动态构建方差优化直方图包括：

按序平均将K个样本数据存储在直方图的B个桶中，且计算直方图每个桶中数据的方差；

将存储样本的起始角标和结束角标作为桶的边界，记录桶中元素的方差，记录桶中元素的平均值和指向下一个桶的指针；

按桶的分裂合并代价，确定是否进行桶的分裂合并，使得所有桶的方差和最小；

按下式计算所述分裂合并代价Δε：

式中，j：待合并的两个桶中所有的元素；待合并的两个桶中元素的平均值；i：待分裂的桶中所有元素；待分裂的桶中元素的平均值；ε_M和ε_S：分别表示待合并桶和待分裂桶中元素的方差；

当所述分裂合并代价Δε＜0时将待合并的两个桶合并，将待分裂的桶分裂为两个等宽的桶，并同时更新合并和分裂后桶的边界、方差及指向下一个桶的指针；

反之，不分裂合并。

2.如权利要求1所述的方法，其特征在于，所述新元素为K+1个元素，对所述K+1个新元素进行方差优化处理时，按下式计算最小采样代价Cost：

式中，w_i和w_j：分别表示样本i、j的值，且w_i+w_j＜τ且i＜j；w_m：表示样本m的值；

若w_i＜w_j，则将w_i累加到w_j上，同时删除样本i；

若w_i＞w_j，则将w_j累加到w_i上，同时删除样本j。

3.如权利要求1所述的方法，其特征在于，所述新元素为K+1个元素，对所述K+1个元素进行方差优化处理时，按下述方法选取满足min(w_i+w_j)的两个相邻样本i，j：

若w_i＜w_j，则将w_i累加到w_j上，同时删除样本i；

若w_i＞w_j，则将w_j累加到w_i上，同时删除样本j。

4.如权利要求1所述的方法，其特征在于，所述待分裂桶包括当前方差最大的桶；所述待合并的两个桶包括当前方差最小的桶及其相邻的方差较小的一个桶。

5.一种流数据处理装置，包括：

输入流数据的单元；

利用方差优化直方图提取所述流数据的概要信息的单元；

构建所述方差优化直方图包括：

优化单元，按内存大小和查询精度设定样本数目K和直方图桶的个数B，有新元素出现时，对新出现的元素进行预处理，同时为使样本数目保持在K，以在线数据采样方法优化内存空间的数据样本；

构建单元，根据优化的内存空间数据样本，动态构建方差优化直方图；

对所述新出现的元素进行预处理包括：

1)若该新元素的值小于当前抽样阈值τ，则将该元素的值累加到L_sum，同时将L_count的值加1；

2)当新元素大于当前抽样阈值τ时，将该新元素存储到小顶堆H中：若小顶堆H中元素数目达到限定的最大数据样本数目K，或小顶堆H中的最小元素小于当前抽样阈值τ，则将小顶堆H中最小元素的值累加到L_sum中，同时将L_count的值加1，并删除小顶堆H中的最小元素，调整小顶堆H的结构；

将抽样阈值τ更新为τ＝L_sum′/L_count′，其中，L_sum′：添加元素值后的样本；L_count′：添加新元素后的样本数据个数；

其中，L_sum为累计值，L_count为数据样本个数，所述小顶堆H的最大值为K，所述抽样阈值τ、累计值L_sum，数据样本个数L_count的初始数据都为0；

所述动态构建方差优化直方图包括：

按序平均将K个样本数据存储在直方图的B个桶中，且计算直方图每个桶中数据的方差；

将存储样本的起始角标和结束角标作为桶的边界，记录桶中元素的方差，记录桶中元素的平均值和指向下一个桶的指针；

按桶的分裂合并代价，确定是否进行桶的分裂合并，使得所有桶的方差和最小；

按下式计算所述分裂合并代价Δε：

式中，j：待合并的两个桶中所有的元素；待合并的两个桶中元素的平均值；i：待分裂的桶中所有元素；待分裂的桶中元素的平均值；ε_M和ε_S：分别表示待合并桶和待分裂桶中元素的方差；

当所述分裂合并代价Δε＜0时将待合并的两个桶合并，将待分裂的桶分裂为两个等宽的桶，并同时更新合并和分裂后桶的边界、方差及指向下一个桶的指针；

反之，不分裂合并。