[发明专利]一种实时判断流数据分布密度集中程度的方法

说明书

峰度可用于判断数据分布的集中和分散程度。本发明公开了一种通过迭代计算指定规模的计算窗口的峰度的两个以上组件来实时地迭代地计算流数据的峰度从而可以实时地判断流数据分布密度集中程度的方法,系统,和计算系统程序产品。本发明的实施方案包括基于调整前计算窗口的峰度的二个以上组件迭代计算调整后计算窗口的峰度的二个以上组件,然后根据需要基于迭代计算的二个以上组件生成调整后计算窗口的峰度。迭代计算峰度可以基于最新数据实时更新计算结果并避免访问调整后计算窗口中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断流数据分布密度集中程度能够高效低耗及一些实时判断流数据分布密度集中程度的场景从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。如何高效实时并节省资源地处理和分析大数据带给数据分析师和计算机科学家一个艰难的挑战。

流数据是从数据源不断传出并连续地被接收器接收的数据。流数据可以是传感器采集并连续传送到计算设备或电子设备上的实时数据。通常这包括连续接收有时间间隔,具有相似格式的数据元素。流数据也可以是从存储器连续读出的数据,例如存储在多个计算设备存储器上的大数据集。因此,流数据处理算法可以延伸到大数据处理上,因为大数据集随着时间积累而可以被认为是具有不规律时间间隔的数据流。

峰度反映了数据密度分布相对于正态分布的集中程度。因此计算峰度后判断流数据分布密度集中程度显而易见，困难和挑战在于如何实时地在流数据上计算峰度。

为了能够随时得到利用了最新数据的判断结果,也许要为包含最新接收的流数据的n个数据元素的一个计算窗口计算峰度,这样每接收或访问一个数据元素,该数据元素被加入计算窗口而第n个数据元素被移出计算窗口,计算窗口中的n个数据元素就会被访问来重新计算峰度。使用计算窗口中的所有数据元素来重新计算峰度涉及重复数据访问和计算,因此耗时并浪费资源。

取决于需要,计算窗口的规模可能非常大,例如计算窗口中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的流数据上用传统方法重新计算峰度无法做到实时处理并且占用和浪费大量计算资源。

发明内容

峰度可用于判断数据密度分布的集中和分散程度。本发明公开了一种通过迭代计算指定规模的计算窗口的峰度的两个以上组件来实时地迭代地计算流数据的峰度从而可以实时地判断流数据分布密度集中程度的方法,系统,和计算系统程序产品。为一个调整后计算窗口的一个数据元素迭代计算峰度包括基于调整前计算窗口的该数据元素的峰度的两个以上组件迭代计算调整后计算窗口的该数据元素的峰度的两个以上组件然后根据需要基于迭代计算的两个以上组件生成调整后计算窗口的该数据元素的峰度。迭代计算峰度只需要访问和使用迭代计算的组件,新加入和去除的数据元素而避免访问调整后计算窗口中的所有数据元素和执行重复计算从而降低数据访问延迟,提高计算效率,节省计算资源和降低计算系统能耗，使得实时判断流数据分布密度集中程度能够高效低耗及一些实时判断流数据分布密度集中程度从不可能变为可能。

计算窗口的和或平均值是必须迭代计算的特殊组件。假设在同一轮迭代计算中所有迭代计算的组件(包括计算窗口的和或平均值)总数为p(p＞1)。直接迭代的组件个数为v(1≤v≤p),则间接迭代的组件个数为w＝p-v(w≥0)。其中计算窗口的和或平均值是必须迭代计算的特殊组件。和或平均值可以被直接或间接迭代计算。

计算系统初始化一个数据流的存储于一个缓冲区上的指定计算窗口规模为n(n＞1)的一个调整前计算窗口的两个以上组件(共p(p＞1)个，包括一个和或一个平均值或一个和及一个平均值,以及峰度的其它一个或多个组件)。该两个以上组件的初始化包括基于该调整前计算窗口中的数据元素通过组件的定义计算两个以上组件或从计算设备可读媒体上接收或访问已计算的两个以上组件。