[发明专利]一种实时判断大数据或流数据相关程度的方法

说明书

相关函数可用于判断大数据或流数据相关程度。本发明公开了一种通过增量计算计算集的相关从而可以实时地判断大数据或流数据相关程度的方法，系统和计算设备程序产品。本发明的实施方案包括基于调整前计算集的相关的二个以上组件增量计算调整后计算集的相关的二个以上组件,然后根据需要基于增量计算的二个以上组件生成调整后计算集的相关。增量计算相关可以基于最新数据实时更新计算结果并避免访问调整后计算集中的所有数据元素对和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断大数据或流数据相关程度高效低耗及一些实时判断大数据或流数据相关程度从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生 海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据 库系统的处理能力及传统分析方法的分析能力的数据。

流数据是不断被发送器发送和接收器接收的数据。流数据可以是感应器 采集并且不断给计算设备或电子设备传送的实时数据。通常包括陆续接收有时间 间隔，具有相似格式的数据元素。流数据也可以是从存储器不停被读出的数据， 例如存在多个计算设备存储器的大数据集。

如何高效实时并节省资源地处理和分析大数据或流数据是一个挑战。

计算相关是一种判断大数据或流数据之中不同变量之间相关程度的有效 方法。相关是两个随机变量之间的相关程度的一个数值度量。相关的值在-1和+1 之间。相关值+1表明两个随机变量之间存在完全正相关关系。相关值-1表明两 个随机变量之间存在完全相反的相关关系。而相关值接近+1或-1则表明两个随 机变量之间存在相当程度的正相关或负相关关系。因此计算相关后判断大数据或 流数据中不同随机变量之间的相关程度显而易见，而困难和挑战在于如何实时并 节省资源地在大数据或流数据上计算相关。

处理大数据或流数据可包括在多个数据元素上做计算。所以，一个接收 流数据元素的计算设备通常含有一个缓冲区来存储一些数据元素。处理流数据元 素可包括访问保存在缓冲区的数据元素。当做流数据元素的统计计算时，缓冲区 可以很大。例如，当计算相关时，一些(可能很多)数据元素需要被访问。

此外，流数据处理算法可以延伸到大数据处理上，因为大数据集随着时 间积累并且可以被认为是不规律时间段的数据流。

对于大数据集或流数据处理，有些统计计算会重新被计算当大数据集有 变化或新的流数据元素被接收。因此，一些(可能很多)数据元素会被重复访问。 例如，有可能相关在含有最新的n对数据元素的计算子集上被计算。当一对新 的数据元素(一个独立数据元素和一个因变量数据元素)被接收时，把那对新的

当在所有2n+2个数据元素上重新计算相关时，计算子集里所有的2n+2 个数据元素会被访问和使用，计算相关的时间复杂度通常是O(n)。这样，每当计 算子集有变化时，计算子集里的每对数据元素都会为计算相关被访问。根据需要， 计算子集规模n可能非常大，因此数据元素可以分配到含有成百上千个计算设 备的云上。数据有改变后，在大数据或流数据上重新计算相关耗时并浪费资源。

发明内容

本发明拓展到方法，系统和计算设备程序产品以增量方式计算相关从而 可以在调整计算子集规模后实时地判断大数据或流数据中不同变量之间的相关 程度。为一个调整后计算子集增量计算相关包括增量计算大数据或流数据的相关 的三个以上组件，然后根据需要基于一个或多个增量计算的组件计算相关。增量 计算相关只需要接收/访问和使用新增加的数据元素对，这不仅避免在计算子集 中访问所有数据而且也避免像传统方法那样保留整个计算子集，因此时间复杂度 以及空间复杂度都被降低从而使得实时判断大数据或流数据相关程度能够高效 低耗地完成。

初始化一个计算子集规模计数器以及相关的三个以上组件。

计算系统可根据需要基于初始化的组件来生成调整前计算子集的相关。