[发明专利]一种实时判断选定数据以标准方差为单位偏离平均值的相对距离的方法

说明书

Z值可用于判断大数据选定数据以标准方差为单位偏离平均值的相对距离。本发明公开了一种通过迭代计算指定规模的计算子集的Z值的两个以上组件来实时地迭代地计算大数据中选定数据元素的Z值从而可以实时地判断大数据中选定数据以标准方差为单位偏离平均值的相对距离的方法,系统,和计算系统程序产品。迭代计算Z值可以基于最新数据实时更新计算结果并避免访问调整后计算子集中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断大数据中选定数据以标准方差为单位偏离平均值的相对距离能够高效低耗地完成及一些实时判断大数据中选定数据以标准方差为单位偏离平均值的相对距离的场景从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术,和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化,及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

计算Z值是一种判断大数据中选定数据以标准方差为单位偏离平均值的相对距离的方法。为了能够随时得到利用了最新数据的判断结果,一个选定数据元素的Z值可能会在大数据集有变化后需要重新计算。因此,一些(可能很多) 数据元素会被重复访问和使用。例如,有可能一个选定数据元素的Z值在含有n 个数据元素的计算子集上被计算。当一个数据元素从计算子集里被去除和一个数据元素被加入计算子集后,计算子集里所有的n个数据元素都被访问来重新计算 Z值。因此,用传统方法计算一个大数据集的更新后的计算子集中选定数据元素的Z值时会导致计算机系统从存储器中访问,提取和使用更新后的计算子集中的所有数据元素。

取决于需要,计算子集的规模可能非常大,例如计算子集中的数据元素可能分布在云平台的成千上万台计算/存储设备上。在一些数据变化后的大数据上用传统方法重新计算Z值无法做到实时处理并且占用和浪费大量计算资源。

发明内容

计算Z值是一种判断大数据选定数据以标准方差为单位偏离平均值的相对距离的方法。本发明拓展到方法,系统和计算设备程序产品以迭代方式计算选定数据元素的Z值从而可以在数据更新后实时地判断大数据中选定数据元素的以标准方差为单位偏离平均值的相对距离。为一个调整后计算子集迭代计算选定数据元素的Z值包括基于调整前计算子集的Z值的两个以上组件迭代计算调整后计算子集的Z值的两个以上组件然后根据需要基于一个或多个迭代计算的组件生成调整后计算子集的选定数据元素的Z值。迭代计算Z值只需要访问和使用迭代计算的组件,新加入和被去除的数据元素而避免访问调整后计算子集中的所有数据元素和执行重复计算从而降低数据访问延迟,提高计算效率,节省计算资源和降低计算系统能耗,使得实时判断大数据分中选定数据元素的以标准方差为单位偏离平均值的相对距离能够高效低耗地完成及一些实时判断大数据中选定数据以标准方差为单位偏离平均值的相对距离的场景从不可能变为可能。

计算系统初始化存储在一个或多个存储媒体上的一个大数据集的一个调整前计算子集的Z值的两个以上组件。该两个以上组件的初始化包括从计算设备可读媒体上接收或访问已计算过的组件或基于调整前计算子集中的数据元素根据组件的定义来计算。

计算系统根据需要访问被选定来计算Z值的一个或多个数据元素。

计算系统根据需要基于初始化的组件来生成调整前计算子集中选定的一个或多个数据元素的Z值。

计算系统访问一个要被从调整前计算子集中去除的数据元素和一个要被加入到调整前计算子集的数据元素。

计算系统通过从调整前计算子集中去除要去除的数据元素和向调整前计算子集加入要加入的数据元素来调整调整前计算子集。

计算系统直接迭代计算该调整后计算子集的Z值的两个以上组件而避免访问和使用调整后计算子集中的所有数据元素来降低数据访问延迟,节省计算资源和降低能耗和提高计算效率。

计算系统根据需要访问调整后计算子集中被选定来计算Z值的一个或多个数据元素。