[发明专利]一种面向大数据的特征提取并行处理方法

权利要求书

1.一种面向大数据的特征提取并行处理方法，其特征在于：在硬件处理能力的范围内，该处理方法包含以下步骤：

步骤1：在GPU上为任务数据和特征数据分配存储空间；

步骤2：在处理大数据时，根据所要处理的任务数据和特征数据，并行构建一个具有良好并行性的矩阵数组；

步骤3：通过采用并行处理矩阵数组的方法，对数据进行多线程并发执行特征匹配；

步骤4：提取出符合特征的数据，并统计成功提取数据的次数。

2.根据权利要求1所述的一种面向大数据的特征提取并行处理方法，其特征在于：所述的采用并行处理矩阵数组的方法是基于CUDA的架构，利用GPU并行计算能力实现的。

3.根据权利要求1所述的一种面向大数据的特征提取并行处理方法，其特征在于：所述的任务数据需要从CPU传递到GPU的存储单元中，以便使用GPU进行并行运算。

4.根据权利要求1所述的一种面向大数据的特征提取并行处理方法，其特征在于：所述的提取出符合特征的数据，在大数据环境下，实时对缓存区中的数据进行特征提取的速率大于或等于数据流的发送速率，并且根据数据流的发送速率自适应的调整特征提取的并发宽度，保证动态数据流处理的可并发控制。

5.根据权利要求1所述的一种面向大数据的特征提取并行处理方法，其特征在于：所述的对数据进行多线程并发执行特征匹配，结合GPU硬件特性，在其处理能力的范围内，匹配算法采取的利用可并行化矩阵数组处理数据的方法包含以下两个步骤，且均并行执行：

步骤1：将任务数据和特征数据每个字符依次进行并行匹配，形成一个有效的矩阵数组；

步骤2：根据特征数据的长度，并行处理有效数组，得出正确匹配的结果，即成功特征匹配的次数。

6.根据权利要求1和5所述的面向大数据的特征提取并行处理方法，其特征在于：所述的特征数据需要从CPU传递到GPU的常量内存中，使用常量内存来存储特征数据key，常量内存的访问限制为只读，在第一次从常量内存的某个地址上读取特征数据后，当其他线程请求同一个地址时，将直接从缓存中读取特征数据。

7.根据权利要求5所述的一种面向大数据的特征提取并行处理方法，其特征在于：所述的步骤1的并行匹配是，根据任务数据长度STRLEN和特征数据长度KEYLEN，将任务数据和特征数据的每个字符依次进行并行匹配，形成一个KEYLEN*STRLEN的“01”矩阵数组，即用矩阵数组的第i行分别与特征数据第i个字符作比较，相同则记为“1”，不同则记为“0”。

8.根据权利要求5所述的一种面向大数据的特征提取并行处理方法，其特征在于：所述的依次并行匹配时根据特征数据长度KEYLEN，依次并行处理(STRLEN-KEYLEN+1)个KEYLEN*KEYLEN的小数组矩阵，判断它的对角线数值是否全为“1”，即先判断小数组矩阵对角线的第一位数值是否为“1”，如果不是“1”（而是“0”），则不用继续判断下一位数值，直接转向判断下一个小数组矩阵；如果是“1”，则继续判断对角线上的下一位数值是否为“1”，直到对角线数值全部为“1”，则有一个成功的特征提取，记录成功匹配一次。