[发明专利]一种实时判断大数据或流数据离散程度的方法

说明书

方差和标准方差可用于判断大数据或流数据的离散程度。本发明公开了一种通过增量计算计算子集的方差和或标准方差从而可以实时地判断大数据或流数据离散程度的方法，系统，和计算设备程序产品。本发明的实施方案包括基于调整前计算子集的方差和或标准方差的二个以上组件增量计算调整后计算子集的方差和或标准方差的二个以上组件,然后根据需要基于一个或多个增量计算的组件生成调整后计算子集的方差和或标准方差。增量计算方差和或标准方差可以基于最新数据实时更新计算结果并避免访问调整后计算子集中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断大数据或流数据离散程度可以高效低耗地完成及一些场景下实时判断大数据或流数据离散程度从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网，移动通讯，导航，网游，感应技术和大规模计算基础设施每天产 生海量数据。大数据就是由于其巨大规模，快速变化及增长速度而超出了传统数 据库系统的处理能力及传统分析方法的分析能力的数据。

流数据是不断被发送器发送和接收器接收的数据。流数据可以是感应器 采集并且不断给计算设备或电子设备传送的实时数据。通常包括陆续接收有一定 时间间隔，具有相似格式的数据元素。流数据也可以是从存储器不停被读出的数 据，例如从存储在多个计算设备存储器的大数据集中读出的数据。

如何高效实时并节省资源地处理和分析大数据或流数据是一个挑战。

处理大数据或流数据可包括在多个数据元素上做计算。所以，一个接收流 数据元素的计算设备通常含有一个缓冲区来存储一些数据元素。处理流数据元素 可包括访问保存在缓冲区的数据元素。当做流数据元素的统计计算时，缓冲区可 以很大。

此外，流数据处理算法可以延伸到大数据处理上，因为大数据集随着时 间积累并且可以被认为是具有不规律时间间隔的数据流。

方差和或标准方差可用于判断大数据或流数据离散程度。为了能够随时 得到利用了最新数据的判断结果，方差和或标准方差可能会在流数据或大数据 集有变化后需要重新计算。因此，一些(可能很多)数据元素会被重复访问。例 如，有可能方差和或标准方差在含有最新的n个数据元素的计算子集上被计算。 当一个新的数据元素被接收时，把该新数据元素加到计算子集里。然后计算子集 里所有的n+1个数据元素会被用来重新计算方差和或标准方差。因此，用传统 方法计算一个大数据集的更新后的计算子集的方差和或标准方差时会导致计算 机系统从存储器中访问，提取和使用更新后的计算子集中的所有n+1个数据元 素。

根据需要，计算子集规模n可能非常大，例如计算子集中的数据元素可 能分布在云平台的成千上万台计算/存储设备上。在一些数据变化后的大数据上 用传统方法重新计算方差和或标准方差耗时并浪费资源。

发明内容

方差和或标准方差可用于判断大数据或流数据离散程度。本发明拓展到 方法，系统和计算设备程序产品以增量方式计算方差和或标准方差从而可以在 调整计算子集规模后实时地判断大数据或流数据离散程度。为一个调整后计算子 集增量计算方差和或标准方差包括增量计算大数据或流数据的方差和或标准方 差的一个以上组件，然后根据需要基于一个或多个增量计算的组件计算方差和 或标准方差。增量计算方差和或标准方差只需要接收/访问和使用新加入的数据 元素，这不仅避免在计算子集中访问所有数据而且也避免像传统方法那样保留 整个计算子集，因此时间复杂度以及空间复杂度都被降低从而使得实时判断大 数据或流数据离散程度能够高效低耗地完成及一些场景下实时判断大数据或流 数据离散程度从不可能变为可能。

初始化一个计算子集规模计数器以及方差和或标准方差的二个以上组件。

计算系统可根据需要基于初始化的组件来生成调整前计算子集的方差和 或标准方差。

计算系统访问一个新的大数据元素或接收一个新的流数据元素。