[发明专利]数据流并行处理的方法、设备及系统

摘要

本发明公开了一种数据流并行处理的方法、设备及系统，属于计算机并行计算领域。所述方法包括：接收上一级设备发送的至少一个数据流，并获取每个数据流的处理配置文件，所述处理配置文件中包括数据流的处理方式信息及处理配置信息；根据每个数据流的处理配置文件对每个数据流进行并行处理，得到每个数据流的处理结果。所述设备包括：接收模块，获取模块和处理模块。本发明通过数据流传输设备获取数据流，并通过传输规则将获取到的数据流传输到对应的数据流处理设备。数据流处理设备再根据数据流的处理配置文件对数据流进行并行处理。由于数据流的处理过程并未涉及到对文件的操作，且多个数据流可以并行处理，从而能够提高数据流的处理效率。 1

主权项

1.一种数据流并行处理的方法，其特征在于，所述方法包括：

获取至少一个数据流，并对于任一数据流，确定所述任一数据流的标识，并向存储有传输规则的数据流向控制设备发送传输规则查询请求，所述传输规则查询请求中携带所述任一数据流的标识，所述传输规则中包括数据流对应的处理设备的网际协议IP地址和端口号；

接收所述数据流向控制设备根据所述任一数据流的标识返回的传输规则，并将接收到的传输规则作为获取到的所述任一数据流的传输规则；

根据每个数据流的传输规则确定每个数据流对应的处理设备的信息；

根据每个数据流对应的处理设备的信息将每个数据流发送至对应的处理设备，由每个数据流对应的处理设备对每个数据流进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据每个数据流的传输规则确定每个数据流对应的处理设备的信息，包括：

对于任一数据流，如果获取到的所述任一数据流的传输规则中包括多个处理设备的IP地址和端口号，则在所述多个处理设备的IP地址和端口号中选择一个处理设备的IP地址和端口号作为确定的所述任一数据流对应的处理设备的信息。

3.一种数据流并行处理的方法，其特征在于，所述方法包括：

接收上一级设备发送的至少一个数据流，并获取每个数据流的处理配置文件，所述处理配置文件中包括数据流的处理方式信息及处理配置信息；所述至少一个数据流是所述上一级设备根据所述至少一个数据流的对应的传输规则确定得到的本地的IP地址和端口号，而发送到本地的；所述至少一个数据流的对应的传输规则是所述上一级设备从数据流向控制设备获取的；所述数据流向控制设备是根据所述上一级设备发送的所述至少一个数据流的标识确定所述至少一个数据流的对应的传输规则的；

根据每个数据流的处理配置文件对每个数据流进行并行处理，得到每个数据流的处理结果。

4.根据权利要求3所述的方法，其特征在于，所述接收上一级设备发送的至少一个数据流，包括：

接收上一级设备根据每个数据流的传输规则发送的数据流，所述上一级设备为上一级处理设备或数据流传输设备。

5.根据权利要求3所述的方法，其特征在于，所述获取每个数据流的处理配置文件，包括：

对于任一数据流，确定所述任一数据流的标识，并向存储有处理配置文件的数据处理逻辑控制设备发送处理配置文件查询请求，所述处理配置文件查询请求中携带所述任一数据流的标识；

接收所述数据处理逻辑控制设备根据所述任一数据流的标识返回的处理配置文件，并将接收到的处理配置文件作为获取到的所述任一数据流的处理配置文件。

6.根据权利要求3所述的方法，其特征在于，所述根据每个数据流的处理配置文件对每个数据流进行并行处理之前，还包括：

确定每个数据流对应的处理器；

所述根据每个数据流的处理配置文件对每个数据流进行并行处理，包括：

对于任一数据流，调度所述任一数据流对应的处理器按照所述任一数据流的处理配置文件对所述任一数据流进行处理，得到所述任一数据流的处理结果。

7.根据权利要求6所述的方法，其特征在于，所述得到所述任一数据流的处理结果之后，还包括：

输出每个数据流的处理结果。

8.根据权利要求7所述的方法，其特征在于，输出每个数据流的处理结果之前，还包括：

将每个数据流的处理结果存储到对应的处理器的共享内存中；

所述输出每个数据流的处理结果，包括：

每隔预设时间从对应的共享内存中导出每个数据流的处理结果，并将导出的处理结果进行输出。

9.根据权利要求7所述的方法，其特征在于，所述输出每个数据流的处理结果，包括：

获取每个处理结果的传输规则，所述传输规则中包括每个处理结果对应的下一级设备的IP和端口号；

根据每个处理结果的传输规则确定每个处理结果对应的下一级设备的信息，并根据每个处理结果对应的下一级设备的信息将每个处理结果发送至对应的下一级设备，所述下一级设备为下一级处理设备或应用设备。

10.一种数据流传输设备，其特征在于，所述设备包括：

第一获取模块，用于获取至少一个数据流；

第二获取模块，用于对于任一数据流，确定所述任一数据流的标识，并向存储有传输规则的数据流向控制设备发送传输规则查询请求，所述传输规则查询请求中携带所述任一数据流的标识，所述传输规则中包括数据流对应的处理设备的网际协议IP地址和端口号；接收所述数据流向控制设备根据所述任一数据流的标识返回的传输规则，并将接收到的传输规则作为获取到的所述任一数据流的传输规则；

确定模块，用于根据每个数据流的传输规则确定每个数据流对应的处理设备的信息；

发送模块，用于根据每个数据流对应的处理设备的信息将每个数据流发送至对应的处理设备，由每个数据流对应的处理设备对每个数据流进行处理。

11.根据权利要求10所述的设备，其特征在于，所述确定模块，用于对于任一数据流，如果获取到的所述任一数据流的传输规则中包括多个处理设备的IP地址和端口号，则在所述多个处理设备的IP地址和端口号中选择一个处理设备的IP地址和端口号作为确定的所述任一数据流对应的处理设备的信息。

12.一种数据流处理设备，其特征在于，所述设备包括：

接收模块，用于接收上一级设备发送的至少一个数据流；所述至少一个数据流是所述上一级设备根据所述至少一个数据流的对应的传输规则确定得到的本地的IP地址和端口号，而发送到本地的；所述至少一个数据流的对应的传输规则是所述上一级设备从数据流向控制设备获取的；所述数据流向控制设备是根据所述上一级设备发送的所述至少一个数据流的标识确定所述至少一个数据流的对应的传输规则的；

获取模块，用于获取每个数据流的处理配置文件，所述处理配置文件中包括数据流的处理方式信息及处理配置信息；

处理模块，用于根据每个数据流的处理配置文件对每个数据流进行并行处理，得到每个数据流的处理结果。

13.根据权利要求12所述的设备，其特征在于，所述接收模块，用于接收上一级设备根据每个数据流的传输规则发送的数据流，所述上一级设备为上一级处理设备或数据流传输设备。

14.根据权利要求12所述的设备，其特征在于，所述获取模块，包括：

第一发送单元，用于对于任一数据流，确定所述任一数据流的标识，并向存储有处理配置文件的数据处理逻辑控制设备发送处理配置文件查询请求，所述处理配置文件查询请求中携带所述任一数据流的标识；

接收单元，用于接收所述数据处理逻辑控制设备根据所述任一数据流的标识返回的处理配置文件，并将接收到的处理配置文件作为获取到