[发明专利]小包数据并行处理装置和方法

说明书

本发明提供了小包数据并行处理装置和方法，该装置包括：用于存储第一小包数据的输入数据存储模块，数据调度控制模块在检测到存在空置的输入缓冲模块时，将输入数据存储模块存储的第一小包数据转移至输入缓冲模块，处理调度控制模块在检测到存在空闲的数据处理模块时，将输入缓冲模块中缓存的第一小包数据转移至空闲的数据处理模块，数据处理模块对接收到的第一小包数据进行处理获得第二小包数据，处理调度控制模块在检测到存在空置的输出缓冲模块时，将第二小包数据转移至空置的输出缓冲模块，数据调度控制模块在检测到输出缓冲模块中缓存有第二小包数据时，将输出缓冲模块缓存的第二小包数据转移至输出数据存储模块。本方案能够提资源利用率。

技术领域

本发明涉及数据处理技术领域，特别涉及小包数据并行处理装置和方法。

背景技术

随着Hadoop(Apache基金会所开发的分布式系统基础架构)生态圈的成熟和分布式文件系统的广泛应用，目前已经有许多关于海量数据的处理方案，但实际这些方案更适用于单个文件较大的数据，对小数据并未进行优化。然而实际应用中海量小包的数据形式特别常见，海量小包数据的数据个数多，但每包数据量小，因此需要对每个小包数据单独处理，从而造成资源利用率较低。

目前针对海量小包的处理技术，利用Hadoop分布式文件系统可以实现海量小包数据处理，但由于Hadoop擅长存储大文件，一般该系统的文件块大小为64MB，在单个文件较小时读写性能较差，因此导致资源利用率较低。

发明内容

本发明提供了小包数据并行处理装置和方法，能够提高资源利用率。

第一方面，本发明实施例提供了小包数据并行处理装置，包括：输入数据存储模块、输出数据存储模块、数据调度控制模块、处理调度控制模块、至少两个输入缓冲模块、至少两个输出缓冲模块和至少两个数据处理模块；

所述输入数据存储模块，用于存储待处理的第一大包数据，其中，所述第一大包数据包括至少两个第一小包数据，每个所述第一小包数据的数据量不大于一个所述输入缓冲模块的容量；

所述数据调度控制模块，用于在检测到所述至少两个输入缓冲模块中存在空置的所述输入缓冲模块时，将所述输入数据存储模块中存储的所述第一小包数据转移至所述输入缓冲模块，其中，每一个所述输入缓冲模块同时仅能够缓存一个所述第一小包数据；

所述处理调度控制模块，用于在检测到所述至少两个数据处理模块中存在空闲的所述数据处理模块，且检测到存在缓存有所述第一小包数据的所述输入缓冲模块时，将所述输入缓冲模块中缓存的所述第一小包数据转移至空闲的所述数据处理模块，其中，每一个所述数据处理模块同时仅能够存储一个所述第一小包数据；

所述数据处理模块，用于对接收到的所述第一小包数据进行处理，获得第二小包数据；

所述处理调度控制模块，还用于在检测到存在已获得所述第二小包数据的所述数据处理模块，并检测到所述至少两个输出缓冲模块中存在空置的所述输出缓冲模块时，将所述数据处理模块中的所述第二小包数据转移至空置的所述输出缓冲模块；

所述数据调度控制模块，还用于在检测到所述至少两个输出缓冲模块中缓存有所述第二小包数据时，将所述输出缓冲模块中缓存的所述第二小包数据转移至所述输出数据存储模块。

可选地，该小包数据并行处理装置进一步包括：数据接口模块和数据信息存储模块；

所述数据接口模块，用于接收来自外部处理器的所述第一大包数据和数据信息，并将接收到的所述第一大包数据存储到所述输入数据存储模块，以及将所述数据信息存储到所述数据信息存储模块，其中，不同的所述第一小包数据对应不同的所述数据信息，所述数据信息用于描述所述第一小包数据的属性；