[发明专利]一种时序网络数据集的规则化分散及收拢方法

说明书

本发明公开了一种时序网络数据集的规则化分散及收拢方法，其步骤包括：1)将用于存储分布式时序数据集的数据结构中各个数据序列、依据对应的封装算法规则进行封装；封装后的数据序列的数据块至少包括数据块的类型、数据块所在数据序列的标志、数据块的封装时序标识、数据块中具体的业务数据负载；2)当时序数据集基于具体业务场景不断增长，达到分散触发条件时，数据序列By裂变分出数据序列Bys；3)当时序数据集基于具体业务场景不断增长，达到收拢触发条件时，数据序列Bys向数据序列By汇集融入数据序列By。本发明可以实现快速、明确的进行新增数据集分散，从而实现数据集灵活处理。

技术领域

本发明涉及计算机技术及互联网领域，具体涉及互联网环境下网络数据集的规则化分散及收拢方法。

背景技术

随着互联网时代的不断发展，时序数据库、区块链、边缘计算等网络类型数据结构下的随时间延续的数据集体积的增长，对于数据集的读取、传输及操作所需要的资源，成为了越来越多的分布式计算系统的节点处理、存储资源的瓶颈。

目前对于这类分布式数据集的数据块体积增长应对可以采用减少封装时间、提高封装费用等处理方法，从而降低需要封装数据集的体积，从而降低后续数据集的传输、处理等成本，但是减少封装时间可能导致数据一致不充分的风险，而提高费用会导致项目运行成本居高的问题。

因此，本发明提出一种用于互联网的时序网络数据集在增长状态下的规则化分散及收拢方法，提高互联网下的时序数据在分布式网络状态下的数据存储的更加灵活性和便捷性，从而降低分布式系统的单点处理负荷。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种用于互联网的时序网络数据集在增长过程的规则化分散及收拢存储的方法，适用于所有数据集的进行分裂、收拢存储及处理等调节单点负载的应用场合，是一种应用在公共场合下的时序数据集的关联分散存储的方法。

在一个给定的计算机网络的时序网络数据集的，时序数据集有若干并行数据块序列构成，数据序列由数据块利用特征值而次第关联的构成，数据块由如图1所示的数据结构组成，其中数据负载由如图2所示的业务数据构成。当数据序列的数据块体积超过设定容量安全阈值或业务设定需要，则数据序列就依据特征值奇偶特性或其他约定规则进行分裂成偶数列数据序列，数据序列之间的业务数据形成互补，如图5和图6所示；当分散后的数据序列的数据块低于设定容量阈值或业务设定需要，则分散后的数据合并回归为之前的数据序列，如图4。

本发明的时序数据集的规则化分散及收拢方法，包括如下步骤：

1)将用于存储分布式时序数据集的数据结构中各个数据序列B1、～、BN依据不同的业务场景或其他设定准则选择对应的封装算法规则，可以是zip格式压缩、加密算法或其他自定义算法规则，同一条数据序列By中的数据块之间依序次关联，y＝1～N，其中这种关联可以是相邻数据块的数据特征之间锚定，或其他自定义关联方法。数据序列B1、～、BN最终依其自身业务特点封装成各自的数据依赖结构，如图4。其中，构成数据序列的数据块至少包括Fy_Sh、F_DS、Ti_(y,x)、DATA共4部分，也可以包括H_(y,(x-1))、H_G(z-1)作为第5、6部分，如图1，其中，Fy_Sh是数据块的类型，F_DS是数据块所在数据序列By的标志(可以是By，也可以是一个编码或者序数)，Ti_(y,x)是第y列数据序列By中第x个数据块的封装时序标识，可以是封装时刻或其他约定标识，DATA是指数据块中具体的业务数据负载，H_(y,(x-1))是第y列数据序列By中第x个数据块的前序数据块(即第x-1个数据块)的数字特征值，其中，H_G(z-1)是第y列数据序列By中第x个数据块的超块(即第z-1个)的数字特征值。其中，超块H_G(z)是超块序列(一类数据序列)中的数据块，超块序列的数据块至少保存了其他数据序列的数据序列标志F_DS、数据封装时序Ti_(y,x)，及前序超块数字特征值H_G(z-1)。“超块”的封装生成方式与普通数据块类似，同时超块接受其他数据块的数字特征值并保存，超块可以是其他普通的数据块的充当，或者也可以是专门的数据块。