[发明专利]数据流并行处理的方法、设备及系统

说明书

本发明公开了一种数据流并行处理的方法、设备及系统，属于计算机并行计算领域。所述方法包括：接收上一级设备发送的至少一个数据流，并获取每个数据流的处理配置文件，所述处理配置文件中包括数据流的处理方式信息及处理配置信息；根据每个数据流的处理配置文件对每个数据流进行并行处理，得到每个数据流的处理结果。所述设备包括：接收模块，获取模块和处理模块。本发明通过数据流传输设备获取数据流，并通过传输规则将获取到的数据流传输到对应的数据流处理设备。数据流处理设备再根据数据流的处理配置文件对数据流进行并行处理。由于数据流的处理过程并未涉及到对文件的操作，且多个数据流可以并行处理，从而能够提高数据流的处理效率。

技术领域

本发明涉及计算机领域，特别涉及一种数据流并行处理的方法、设备及系统。

背景技术

随着社会的进步和企业的发展，越来越多的工作要对海量数据流进行处理。如气象部门预测天气需对气象数据流进行处理，企业需要处理用户数据流来进行业务方向的归纳总结。这些数据流增速越来越快，以至于需要寻找更加高效的手段进行处理。在对海量数据流进行处理的过程中，并行计算是一种提高计算机处理速度与计算能力的有效手段。由于采用不同的数据流并行处理方法对数据流处理效率有深刻影响。因此，合理设计数据流并行处理方法，对适应不断增加的数据流处理需求十分重要。

现有技术中，基于HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），采用MR（Map Reduce，映射化简）并行计算模型对海量数据流进行并行处理。具体实施时，在获取到一至多个数据流之后，需要先将数据流存入到HDFS中用于存放处理数据的文件上，再将该存放处理数据的文件传输到HDFS对应的处理设备。处理设备首先将该存放处理数据的文件分成若干文件块，启动多个Map函数并行对若干文件块进行处理，从而通过多个Map函数根据每一文件块的KV（Key—Value，键值）将每一文件块写入到对应的分区文件中，实现相同KV的文件块写入到一个分区文件中。之后再启动多个Reduce函数对分区文件中的KV进行并行汇聚操作，产生结果数据。最后，销毁启动的多个Map函数与多个Reduce函数，并将结果数据写入到HDFS上用于存放结果数据的文件中。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于现有技术提供的数据流并行处理操作需要先将获取到的数据流写入到HDFS中存放处理数据的文件上，再将该存放处理数据的文件传输到HDFS对应的处理设备，由此可见，现有技术都是基于文件的，而文件操作一般涉及到磁盘的读写，由于磁盘为服务器上的慢速设备，因此读写磁盘需要耗费很长时间，导致处理数据流的效率较低。另外，处理设备在处理大量数据流的情况下，启动Map函数与Reduce函数对文件块进行处理时也会耗费很长时间，同时，将启动的Map函数和Reduce函数进行销毁还会耗费很长时间，因此，进一步降低了处理数据流的效率。

发明内容

为了解决现有技术的问题，本发明提供了一种数据流并行处理的方法、设备及系统。所述技术方案如下：

一方面，提供了一种数据流并行处理的方法，所述方法包括：

获取至少一个数据流，并获取每个数据流的传输规则，所述传输规则中包括数据流对应的处理设备的网际协议IP地址和端口号；

根据每个数据流的传输规则确定每个数据流对应的处理设备的信息；

根据每个数据流对应的处理设备的信息将每个数据流发送至对应的处理设备，由每个数据流对应的处理设备对每个数据流进行处理。

另一方面，提供了一种数据流并行处理的方法，所述方法包括：

接收上一级设备发送的至少一个数据流，并获取每个数据流的处理配置文件，所述处理配置文件中包括数据流的处理方式信息及处理配置信息；