[发明专利]一种大数据方差标准差的分布式或增量计算方法

摘要

本发明公开了一种大数据方差标准差的分布式或增量计算方法，将大集合的方差计算拆分为计算子集的方差、和、计数以及平均值，并通过子集计算得出的上述变量合并计算出大集合的最终方差及标准差；本发明能够处理超大数据集合(无法存储与内存中)的方差及标准差；针对超大数据集合，可以通过该方法将大集合拆分为若干子集，并发布到不同的机器上计算子集的上述变量，最后由其中一个机器完成所有子集的合并计算功能，从而能够达到分布式计算的目的，缩短超大数据集合的方差标准差计算时间；本发明更适用于海量的数据系统，在海量数据系统中，很多传统的方法无法完成大数据的方差标准差计算。

主权项

一种大数据方差标准差的分布式或增量计算方法，其特征在于，包括如下步骤：(1)交易流水的采集：所述交易流水来自多种数据源，所述数据源为sql、nosql、文件系统；采用增量采集的方式将交易流水加载到内存中，每次采集m个交易流水数据，得到的交易流水集合为Xi＝{x1,x2,…,xm}，其中i表示采集的序号数；(2)定义中间变量C、S、V、D，其中C为集合中数据个数，S为集合中数据之和，V为集合中数据的平均值，D为集合中数据的方差，则任意子集Xi的Ci为m，Si为Vi为Si/m，Di为(3)不断执行步骤1和2，得到n个交易流水子集X1、X2、…、Xi、…、Xj、…、Xn的中间结果；假设集合Xi的中间变量分别是Ci，Si，Vi，Di；集合Xj的中间变量分别是Cj，Sj，Vj，Dj，根据下述公式，将集合Xi和Xj进行合并得出合并后的集合Xij的方差Dij：Dij=CiDi+(Vi+Vij)[2Si+Ci(Vi-Vij)]+CjDj+(Vj-Vij)[2Sj+Cj(Vj-Vij)]Cij]]>其中，Vij表示集合Xi+Xj中数据的平均值，Cij表示集合Xi+Xj中数据的个数；根据Dij得到集合Xij的标准差(4)继续执行步骤3直到所有交易流水子集X1、X2、…、Xn全部完成计算，得到大数据集合X＝{X1、X2、…、Xn}的总方差D和其对应的标准差σ；(5)基于标准差σ进行交易波动的侦测：设定标准差阈值，超出该阈值则引入风控控制策略进行风险控制。