[发明专利]非规则流中高维数据流典型相关性并行计算方法及装置

说明书

技术领域

本发明涉及高级数据流的处理方法及装置，尤其涉及非规则流中高维数据流典型相关性并行计算方法及装置。

背景技术

多维数据流相关性分析在股票趋势预测，高速网络故障诊断，天气预报等许多需要在线趋势分析的领域具有广泛的应用。例如在传感器网络中这相当于分析场与场之间的相关或耦合关系。例如股票投资分析中，分析选择标准普尔500指数和纳斯达克综合指数两种股票指数的相关性，用于指导股票的组合投资。如何利用两种指数的相关属性来判断两种股票是否相关。哪些属性信息占有重要作用。

由于高维数据流的维数通常很高，对其进行高性能运算频繁计算矩阵的乘、转置等式避免不了的。这无疑是非常耗时的。由于在实际应用中数据流量是连续庞大的，所以物化所有的流数据是不实际的，所以对于用户实时地对高维数据流进行统计性的连续查询提出了更高的要求和挑战。

发明内容

为了解决上述问题，本发明基于图形处理器GPU的非规则流中高维数据流的处理模型和CUDA架构的编程模型，提出了一种非规则流中高维数据流典型相关性并行计算方法，该并行计算方法相对于纯CPU方法具有显著的速度优势，很好地满足了高维数据流的实时性需求，可以作为通用的分析方法广泛应用于高维数据流挖掘领域。

为了达到上述目的，本发明提出了一种非规则流中高维数据流典型相关性并行计算方法，所述方法基于图形处理器GPU的非规则流中高维数据流的处理模型和计算统一设备架构CUDA编程模型，其中，

所述高维数据流的处理模型：是在滑动窗口模型的基础之上，基于所述GPU的高维数据流并行处理的六层架构模型。

所述图形处理器GPU：与中央处理器CPU形成异构模式，负责计算密集型的大规模数据并行计算。

所述CUDA架构是指：将所述CPU作为主机Host，所述GPU作为协处理器或设备与所述CUDA架构协同工作。

所述方法包括：

在所述高维数据流处理模型上，采用所述GPU的CUDA编程模型和滑动窗口数据流模式，以增量更新的方式维护两个数据流样本矩阵的协差阵S₂₁，S₂₂和各自的方差阵S₁₁，S₁₂；然后生成概要数据结构，对高维的乘积矩阵进行列向和行向上的采样实现维数约简，根据采样得到的矩阵并行计算典型特征值和典型特征向量。

优选地，所述在滑动窗口模型的基础之上，基于GPU的高维数据流并行处理的六层架构模型是指：一种高可预知的结构化模型；所述高维数据流的处理模型核心是将应用分解成一连串对流进行操作的Kernel，流在Kernel之间传递，在Kernel内部完成对流中元素的处理。

优选地，所述以增量更新的方式维护两个数据流样本矩阵的协差阵S₂₁，S₂₂和各自的方差阵S₁₁，S₁₂的步骤包括：

数据流矩阵以循环队列的方式实现，更新矩阵时，即时间窗前滚，用新元组替换掉最旧的元组，使偏移索引指向下一个相邻的窗口；在滑动窗口数据流模式下，并行增量生成X，Y各自的方差阵及X与Y协差阵；以及

根据滑动窗口数据流模式，同步流的当前输入到达时，时间窗前滚一个时刻，接收一个新的元组。

优选地，所述以增量更新的方式维护两个数据流样本矩阵的协差阵S₂₁，S₂₂和各自的方差阵S₁₁，S₁₂，还包括，对于所述滑动窗口数据流模式，当同步流的当前输入T＝(t，△_x，△_y)到达时，X_(t-n+1)＝X_(t-n+2)，…，X_(t-1)＝X_(t)，X_(t)＝X_(new)，时间窗前滚一个时刻，接收新的元组X_(new)。n步的上述赋值操作归结为X＝X+△_x，同理有Y＝Y+△_y，一般情况下可认为△_x＝X_(new)-X_(t-n+1)，△_y＝Y_(new)-Y_(t-n+1)。