[发明专利]一种数据处理方法及数据处理装置

说明书

技术领域

本发明涉及通信和计算机技术领域，具体涉及一种数据处理方法及数据处理装置。

背景技术

随着信息技术的发展，通常有大量的信息数据需要处理，若采用一个数据处理设备对大量的数据进行处理，处理速度非常慢；因此，引入了数据处理设备集群，但通常数据处理设备集群中的数据处理设备的数量是固定的，若待处理数据的数据量增加了，会存在不能满足数据处理的需求。

发明内容

本发明所要解决的技术问题是提供一种数据处理方法及数据处理装置，能够实现数据的并行处理。

本发明解决上述技术问题的技术方案如下：

一方面，本发明提供了一种数据处理方法，所述方法包括：

S1、从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；

S2、配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；

S3、根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；

S4、将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。

另一方面，本发明提供了一种数据处理装置，所述装置包括：

数据获取模块，用于从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；

对应关系配置模块，用于配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；

处理设备信息获取模块，用于根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；

任务分配模块，用于将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。

本发明提供的一种数据处理方法及数据处理装置，根据待处理任务的任务标识，配置任务标识与处理设备的网际协议IP及端口号的对应关系，将任务分配给对应的处理设备，能够随着待处理数据数据量的增加，扩大处理设备的规模，实现数据的并行处理。

附图说明

图1为本发明实施例一的一种数据处理方法流程图；

图2为本发明实施例二的一种数据处理装置示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一、一种数据处理方法。下面结合图1对本实施例提供的数据处理方法进行详细说明。

参见图1，S1、从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识。

具体的，主设备可以从数据源中获取到需要进行处理的待处理数据，针对每一个待处理数据，为其创建一个任务，为了后续的方便起见，为每一个创建的任务设置一个任务标识。

S2、配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系。

具体的，当为每一个待处理任务设置了任务标识之后，配置创建的任务的任务标识与处理设备的网际协议IP及端口号的对应关系，即任务由对应的处理设备来处理执行。其中，任务标识与处理设备的网际协议IP及端口号为多对多的对应关系，即一个任务标识对应多个处理设备的网际协议IP及端口号，一个处理设备的网际协议IP及端口号也能对应多个任务标识。

S3、根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号。

具体的，当需要执行某任务时，根据该任务的任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的网际协议IP及端口号，由前述任务标识与处理设备的网际协议IP及端口号的对应关系可知，一个任务标识可能会对应多个处理设备的网际协议IP及端口号。

S4、将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。

具体的，将步骤S1中创建的任务分配给对应的处理设备，其中，当一个任务标识对应多个处理设备的网际协议IP和端口号时，将任务标识对应的任务分配给优先级最高的处理设备，并由该处理设备对该任务进行处理。另外，当多个任务标识对应一个处理设备时，将多个任务标识对应的多个任务按照一定的规则全部分配给对应的该处理设备，比如，按照任务创建的时间顺序将各个任务都分配给对应的处理设备。