[发明专利]一种大数据方差标准差的分布式或增量计算方法

权利要求书

1.一种大数据方差标准差的分布式或增量计算方法，其特征在于，包括如下步骤：

(1)交易流水的采集：所述交易流水来自多种数据源，所述数据源为sql、nosql、文件系统；采用增量采集的方式将交易流水加载到内存中，每次采集m个交易流水数据，得到的交易流水集合为X_i＝{x₁,x₂,…,x_m}，其中i表示采集的序号数；

(2)定义中间变量C、S、V、D，其中C为集合中数据个数，S为集合中数据之和，V为集合中数据的平均值，D为集合中数据的方差，则任意子集X_i的C_i为m，S_i为V_i为S_i/m，D_i为

(3)不断执行步骤1和2，得到n个交易流水子集X₁、X₂、…、X_i、…、X_j、…、X_n的中间结果；假设集合X_i的中间变量分别是C_i，S_i，V_i，D_i；集合X_j的中间变量分别是C_j，S_j，V_j，D_j，根据下述公式，将集合X_i和X_j进行合并得出合并后的集合X_ij的方差D_ij：

$D_{ij}=\frac{C_i{D}_i+(V_i+V_{ij})\[2S_i+C_i(V_i-V_{ij})\]+C_j{D}_j+(V_j-V_{ij})\[2S_j+C_j(V_j-V_{ij})\]}{C_{ij}}$

其中，V_ij表示集合X_i+X_j中数据的平均值，C_ij表示集合X_i+X_j中数据的个数；

根据D_ij得到集合X_ij的标准差

(4)继续执行步骤3直到所有交易流水子集X₁、X₂、…、X_n全部完成计算，得到大数据集合X＝{X₁、X₂、…、X_n}的总方差D和其对应的标准差σ；

(5)基于标准差σ进行交易波动的侦测：设定标准差阈值，超出该阈值则引入风控控制策略进行风险控制。