[发明专利]一种实时判断数据流变化同向性及其程度的方法

说明书

协方差可用于判断流数据变化同向性及其程度。本发明公开了一种通过迭代计算给定规模的计算窗口的协方差从而可以实时判断时间序列或流数据变化同向性及其程度的方法,系统,和计算系统程序产品。本发明的实施方案包括基于调整前计算窗口的协方差的二个以上组件迭代计算调整后计算窗口的协方差的二个以上组件,然后根据需要基于迭代计算的二个以上组件生成调整后计算窗口的协方差。迭代计算协方差可以基于最新数据实时更新计算结果并避免访问调整后计算窗口中的所有数据元素对和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断流数据变化同向性及其程度高效低耗及一些实时判断流数据变化同向性及其程度从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

流数据是从数据源不断传出并连续地被接收方接收的数据。流数据可以是传感器采集并连续传送到计算设备或电子设备上的实时数据。通常这包括连续接收有时间间隔,具有相似格式的数据元素。流数据也可以是从存储器连续读出的数据,例如存储在多个计算设备存储器上的大数据集。因此,流数据处理算法可以延伸到大数据处理上,因为大数据集随着时间积累而可以被认为是具有不规律时间间隔的数据流。

协方差是一个随机变量随另一个随机变量变化的数值度量。当两个随机变量的协方差大于零时，说明随机变量偏离其期望值的方向相同；当协方差小于零时，随机变量偏离其期望值的方向相反；协方差等于零，则随机变量偏离期望值的方向没有关系。协方差绝对值大小可反映同向性程度。因此基于协方差实时判断流数据变化同向性及其程度显而易见，而困难和挑战在于如何实时地在流数据上计算协方差。

用传统方法在流数据上计算协方差涉及大量的重复数据访问和计算。例如,要为数据流上的包含最新的n个数据元素对的一个计算窗口计算协方差,这样每接收一个数据元素对,该数据元素对被加入计算窗口而第n个数据元素对被移出计算窗口,计算窗口中的所有n个数据元素对会被访问来重新计算协方差，尽管其中n-1个数据元素对没有变化。使用计算窗口中的所有数据元素来重新计算协方差涉及重复数据访问和计算,因此耗时并浪费资源。

取决于需要,计算窗口的长度可能非常大,例如计算窗口中的数据元素可能被存储于在云平台的成千上万台计算设备上。在一些数据变化后的流数据上用传统方法重新计算协方差无法做到实时处理并且占用和浪费大量计算资源，也使得一些实时地判断数据流变化同向性及其程度可能无法满足需求地实现。

发明内容

本发明拓展到方法,系统和计算系统程序产品以迭代方式计算数据流的协方差从而可以实时地判断数据流变化同向性及其程度。计算系统包含一个或多个计算设备。每个计算设备包含一个或多个处理器。计算系统可以访问一个或两个数据流。计算系统包含一个或两个缓冲区在一个或多个存储媒介上。计算系统保持一个计算窗口长度计数器。计算窗口长度计数器指明缓冲区的计算窗口中数据元素对的数量。为一个调整后计算窗口迭代计算协方差包括基于调整前计算窗口的协方差的两个以上组件迭代计算调整后计算窗口的协方差的两个以上组件然后根据需要基于迭代计算的组件生成调整后计算窗口的协方差(样本或总体)。迭代计算协方差只需要访问和使用迭代计算的组件,新加入和去除的数据元素对而避免访问调整后计算窗口中的所有数据元素和执行重复计算从而降低数据访问延迟,提高计算效率,节省计算资源和降低计算系统能耗，使一些实时地判断数据流变化同向性及其程度从不可能变为可能。

计算窗口的和或平均值是必须迭代计算的特殊组件。和或平均值可以被直接或间接迭代计算。对于一个给定的协方差迭代算法,假设除了和及平均值之外所用到的其它组件个数为p(p≥1)。直接迭代的组件个数为v(v≥1),则间接迭代的组件个数为w＝p-v(w≥0)。