[发明专利]一种实时判断大数据或流数据离散程度的方法

权利要求书

1.一种，由基于一个或多个计算设备构成的一个计算系统实现的,实时地判断大数据或流数据离散程度的方法,其特征在于：

由基于计算设备的一个计算系统,为一个数据流的或存储于该计算系统上一个或多个存储设备上的一个数据集的一个调整前计算子集,初始化一个计算子集规模计数器n(n≥0)，为该调整前计算子集初始化一个和或一个平均值或一个和及一个平均值,以及方差和或标准方差的除了和及平均值之外的一个或多个其它组件，该计算子集规模计数器指定了该调整前计算子集包含的数据元素个数；

由基于计算设备的该计算系统,基于一个或多个为该调整前计算子集初始化的组件,为该调整前计算子集生成方差和或标准方差。

由基于计算设备的该计算系统,访问或接收一个要加入该调整前计算子集的数据元素；

由基于计算设备的该计算系统,调整该调整前计算子集,通过向该调整前计算子集加入要加入的数据元素及更新该计算子集规模计数器；

由基于计算设备的该计算系统,为该调整后计算子集增量计算一个和或一个平均值或一个和及一个平均值；

由基于计算设备的该计算系统,至少基于该调整前计算子集的方差和或标准方差的该一个或多个除了和及平均值之外的其它组件,为该调整后计算子集直接增量计算方差和或标准方差的一个或多个组件,这里的增量计算一个或多个组件包括：

访问被加入的数据元素从而避免访问该调整后计算子集中的所有数据元素来降低数据访问延迟,节省计算资源,和降低能耗；

访问该调整前计算子集的方差和或标准方差的该一个或多个除了和及平均值之外的其它组件；以及

基于被加入的数据元素,向被访问的每个组件数学地加入被加入的数据元素对该组件的任何贡献从而避免使用该调整后计算子集中的所有数据元素来提高计算效率；以及

由基于计算设备的该计算系统,基于一个或多个为该调整后计算子集增量计算的组件,为该调整后计算子集生成方差和或标准方差。

2.按照权利要求1所述的由计算系统实现的该方法，其特征在于：所述访问或接收一个要加入该调整前计算子集的数据元素包括访问或接收多个要加入该调整前计算子集的数据元素,该方法也进一步包括对于多个要加入的数据元素中的每一个数据元素进行调整该调整前计算子集，为该调整后计算子集增量计算和或平均值或和及平均值,直接增量计算方差和或标准方差的一个或多个除了和及平均值之外的其它组件,以及为该调整后计算子集生成方差和或标准方差。

3.按照权利要求2所述的由计算系统实现的该方法，其特征在于：所述为该调整后计算子集生成方差和或标准方差当且仅当该方差和或标准方差被访问。

4.按照权利要求3所述的由计算系统实现的方法，其特征在于：所述为该调整后计算子集生成方差和或标准方差进一步包括由基于计算设备的该计算系统为该调整后计算子集间接增量计算方差和或标准方差的一个或多个组件,间接增量计算该一个或多个组件包括基于要计算的组件之外的一个或多个组件来逐个分别计算该一个或多个组件。