[发明专利]一种大数据场景下的数据分割方法

权利要求书

1.一种大数据场景下的数据分割方法，其特征在于，包括：

获取探测区间，确定待分割的数据集合中属于探测区间内的区内数据条数；

在区内数据条数不处于预定的容忍范围内时，对探测区间的右端点进行一次或者多次指数型调整直至得到使得区内数据条数处于容忍范围内的右端点或者越过容忍范围；

在指数型调整导致区内数据条数越过容忍范围时，以当前的探测区间的右端点以及前一个探测区间的右端点构成的区间为查找范围，通过二分查找法确定使得区内数据条数处于容忍范围内的右端点；

根据探测区间的左端点以及使得区内数据条数处于容忍范围内的右端点确定的分割区间对数据集合进行分割。

2.根据权利要求1所述的方法，其特征在于，对探测区间的右端点进行指数型调整包括利用以下公式计算右端点：

right＝left+l*2^c；

其中，right表示探测区间的右端点，left表示探测区间的左端点，l表示探测区间的起始长度，c表示指数，c为整数。

3.根据权利要求2所述的方法，其特征在于，对探测区间的右端点进行一次或者多次指数型调整包括：

在探测区间内的区内数据条数小于容忍范围的下界时，每次将指数c加1后重新确定区内数据条数；和/或

在探测区间内的区内数据条数大于容忍范围的上界时，每次将指数c减1后重新确定区内数据条数。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在对数据集合进行下一次分割前，根据上次的分割区间的长度以及右端点，确定下一次分割对应的探测区间，

其中，下一次分割对应的探测区间的左端点为前次的分割区间的右端点加1，下一次分割对应的探测区间的右端点等于前次的分割区间的右端点加1再加前次的分割区间的长度。

5.根据权利要求1所述的方法，其特征在于，所述探测区间限定的范围为数据的时间属性，数据集合中任意数据对应的时间戳中记录的时间处于所述探测区间则表示该数据是属于探测区间内的区内数据。

6.一种数据在线迁移的方法，其特征在于，该方法包括：

根据处理器的各线程的处理能力以及容忍的偏差，得到容忍范围；

利用权利要求1-5之一所述的大数据场景下的数据分割方法对待分割的数据集合进行分割，得到一个或者多个数据块，其中，每个数据块中包含的数据条数处于容忍范围内；

对数据块中的有效数据进行迁移并移除过时的数据。

7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至6中任一项所述方法的步骤。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，其中存储器用于存储可执行指令；

所述一个或多个处理器被配置为经由执行所述可执行指令以实现权利要求1至6中任一项所述方法的步骤。