[发明专利]采用向量处理的同时分割

权利要求书

1.一种分割输入数据流的系统，其特征在于，包括：

处理器，用于：

将输入数据流拆分成多个子数据流，使得所述多个子数据流的每个子数据流与所述多个子数据流中与其相邻的子数据流具有重叠部分；

在所述处理器的处理管线中同时分割所述多个子数据流以创建多个分割的子数据流；

根据所述多个子数据流中的每两个连续子数据流的重叠部分的至少一个重叠分段同步所述多个分割的子数据流的每个分割的子数据流的排序，连接所述多个分割的子数据流以创建分割的数据流。

2.根据权利要求1所述的系统，其特征在于，所述处理器是单指令多数据(single-instruction-multiple-data，简称SIMD)处理器。

3.根据权利要求1或2所述的系统，其特征在于，所述处理器用于：计算滚动序列的滚动哈希值；其中，所述滚动序列应用于所述多个子数据流中的每个子数据流的连续数据项的多个序列中的每个序列；当所述滚动哈希值符合至少一个分割标准时将序列指定为可变长分段以分割所述多个子数据流中的每个子数据流，其中，所述滚动序列包括序列的连续数据项的子集。

4.根据权利要求1至3中任一项所述的系统，其特征在于，所述多个序列的每个序列包括预定义的最少连续数据项。

5.根据权利要求1至4中任一项所述的系统，其特征在于，当在检测所述滚动哈希值对所述至少一个分割标准的符合性之前，所述多个序列中的至少一个大序列的连续数据项的数量超过预定义最大值，所述处理器用于将所述至少一个大序列指定为可变长分段。

6.根据权利要求1至5中任一项所述的系统，其特征在于，所述处理器用于当所述同步失败时，依次分割所述输入数据流。

7.一种分割输入数据流的方法，其特征在于，包括：

将输入数据流拆分成多个子数据流，使得所述多个子数据流的每个子数据流与所述多个子数据流中与其相邻的子数据流具有重叠部分；

在处理器的处理管线中同时分割所述多个子数据流以创建多个分割的子数据流；

根据所述多个子数据流中的每两个连续子数据流的重叠部分的至少一个重叠分段同步所述多个分割的子数据流的每个分割的子数据流的排序，连接所述多个分割的子数据流以创建分割的数据流。

8.根据权利要求7所述的方法，其特征在于，计算滚动序列的滚动哈希值；其中，所述滚动序列应用于所述多个子数据流的每个子数据流的连续数据项的多个序列中的每个序列；当所述滚动哈希值符合至少一个分割标准时将序列指定为可变长分段以分割所述多个子数据流中的每个子数据流，其中，所述滚动序列包括序列的连续数据项的子集。

9.根据权利要求7或8所述的方法，其特征在于，所述多个序列的每个序列包括预定义的最少连续数据项。

10.根据权利要求7至9中任一项所述的方法，其特征在于，当在检测所述滚动哈希值对所述至少一个分割标准的符合性之前，所述多个序列中的至少一个大序列的连续数据项的数量超过预定义最大值，将所述至少一个大序列指定为可变长分段。

11.根据权利要求7至10中任一项所述的方法，其特征在于，当所述同步失败时，依次分割所述输入数据流。