[发明专利]一种实时判断大数据或流数据分布密度集中程度的方法

说明书

峰度可用于判断数据密度分布的集中和分散程度。本发明公开了通过减量计算给定规模的计算子集的峰度的两个以上组件来实时地减量地计算大数据或流数据上的峰度从而可以实时地判断大数据或流数据分布密度集中程度的方法,系统和计算系统程序产品。本发明的实施方案包括基于调整前计算子集的峰度的两个以上组件减量计算调整后计算子集的峰度的两个以上组件,然后根据需要基于减量计算的一个以上组件生成调整后计算子集的峰度。减量计算峰度可以基于最新数据实时更新计算结果并避免访问调整后计算子集中的所有数据元素和执行重复计算从而提高计算效率,节省计算资源和降低计算系统能耗,使得实时判断大数据或流数据分布密度集中程度高效低耗及部分场景下实时判断大数据或流数据分布密度集中程度从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

流数据是不断被发送器发送和接收器接收的数据。流数据可以是感应器采集并且不断给计算设备或电子设备传送的实时数据。通常包括陆续接收有时间间隔，具有相似格式的数据元素。流数据也可以是不断地从存储器读出的数据，例如存在多个计算设备存储器的大数据集。

流数据处理算法可以延伸到大数据处理上，因为大数据集随着时间积累并且可以被认为是有不规律时间间隔的数据流。

对于大数据集或流数据处理，如何在数据更新后高效实时并节省资源地更新分析和判断结果,如判断数据分布密度集中程度,是一个挑战,因为可能很多数据元素会被重复访问。

峰度反映了数据密度分布相对于正态分布的集中程度。因此计算峰度后判断流数据分布密度集中程度显而易见，困难和挑战在于如何实时地在大数据或流数据上计算峰度。

例如，有可能峰度在有一个数据元素从包含n个数据元素的计算子集去除后被计算。当一个存在的数据元素被接收时，把该数据元素从计算子集里去除。然后访问所有计算子集里的n-1个数据元素去重新计算峰度。

当在所有n-1个数据元素上重新计算峰度时，计算子集里所有的n-1个数据元素会被访问和使用，计算峰度的时间复杂度通常是O(n)。这样，每当计算子集有变化时，计算子集里的每个数据元素都会为计算峰度被访问。根据需要，计算子集规模n可能非常大，因此数据元素可以分配到含有成百上千个计算设备的云上。数据有改变后，在大数据或流数据上重新计算峰度耗时并浪费资源。

发明内容

峰度可用于判断数据密度分布的集中和分散程度。本发明拓展到方法，系统和计算设备程序产品以减量方式计算峰度从而可以在调整计算子集规模后实时地判断大数据或流数据分布密度集中程度。为一个调整后计算子集的一个数据元素减量计算峰度包括减量计算大数据或流数据的峰度的两个以上组件，然后根据需要基于一个或多个减量计算的组件计算峰度。减量计算峰度只需要接收/ 访问和使用被去除的数据元素，这不仅避免在计算子集中访问所有数据而且也避免像传统方法那样保留整个计算子集，因此时间复杂度以及空间复杂度都被降低从而使得实时判断大数据或流数据分布密度集中程度能够高效低耗地完成。

和或平均值是必须减量计算的特殊组件。假设在同一轮减量计算中所有减量计算的组件(包括和或平均值)总数为p(p＞1)。直接减量的组件个数为 v(1≤v≤p)，则间接减量的组件个数为w＝p-v(w≥0)。其中和或平均值是必须减量计算的特殊组件。和或平均值可以被直接或间接减量计算。

计算系统为一个数据流的或存储于该计算系统上一个或多个存储设备上的一个数据集的一个调整前计算子集，统初始化一个计算子集规模计数器n(n＞ 1)，一个和或一个平均值或一个和及一个平均值，以及峰度的除了和及平均值之外的一个或多个其它组件，该计算子集计数器指定了该调整前计算子集包含的数据元素个数。