[发明专利]一种面向大数据的数据频度并行处理方法

权利要求书

1.一种面向大数据的数据频度并行处理方法，在CUDA环境下把要处理的数据进行任务块划分实现并行化，其特征在于包括以下步骤：

步骤1：接收数据，对数据预处理；

步骤2：定义各状态变量；

步骤3：将数据由CPU传输到GPU端；

步骤4：在GPU上划分任务，并根据任务分配情况动态设置并发速度；

步骤5：在CUDA环境下并行发射任务，在device端利用GPU的并行性特点处理数据，统计特征数据频度。

2.根据权利要求1所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述的步骤1中的数据预处理是指读取接收数据流中的有效数据到数组，生成目标数据，数据存储类型可以是字符形式，每个子数据存储长度固定为L（L可根据接收数据的子数据长度特征决定）个字节，对于需要统计处理的特征数据存储形式与目标数据相同，即特征数据占L个字节。

3.根据权利要求1所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述步骤2中的状态变量分为host端变量和device端变量；host端变量包括：目标数据数组，特征数据数组，存储块统计状态的数组；对应的device端变量包括：目标数据数组，特征数据数组，块统计状态数组。

4.根据权利要求1所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述步骤3的数据由CPU传输到GPU端时，目标数据采用零拷贝内存形式实现从host端到device端的传输，host端其他数据传输到device端，对device端数据初始化，并行处理后得到的块统计状态结果传输回host端做最后的统计得出结果。

5.根据权利要求1所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述的步骤4中的任务分配指具体分配每个thread的任务，动态设置并发速度；每个thread完成单个字符的目标数据与特征数据之间的运算。

6.根据权利要求5所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述的每个thread执行的运算指的是比较运算，目标数据与特征数据比较，相等则为1，否则为0，以及对比较之后的结果进行处理。

7.根据权利要求5所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述的动态设置并发速度是指根据目标数据流的接收速度动态设置并发处理速度，使得处理速度大于接收速度，具体指设置block和grid数目，并且block数除了要适应处理速度大于或者等于接收速度，保持一致性外还要满足是L的倍数的要求。

8.根据权利要求1所述的一种面向大数据的数据频度并行处理方法，其特征在于：所述的步骤5中的在device端利用GPU的并行性特点处理数据，其具体步骤如下：

步骤1：定义shared数组，用来记录每个thread计算结果；

步骤2：根据权利要求4所述执行任务，并根据运算结果设置步骤1中shared数组中的值；

步骤3：块同步处理，保证每个block中的thread都完成任务，然后再继续以下的任务，保持同步性；

步骤4：对每L个thread中的第一个thread执行以下任务：统计shared数组中的值，当对应数组L个长度中的值有0出现时就停止对这L个长度值的统计，继续下一个L长度数据的统计，统计的结果以原子加操作形式存到对应的块统计状态数组中，得到每个block的计算结果。