[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，当大型机下移到开放平台，接收到批处理任务，该方法包括：

接收到批处理任务的主节点从连接的节点中确定处理所述批处理任务的多个成员节点；

根据所述多个成员节点的信息对所述批处理任务对应的表数据切分，得到多个分块数据；

将分块数据对应发送到所述多个成员节点；

获取所述多个成员节点发送来的多个结果数据；其中，所述结果数据是每个成员节点处理所述分块数据得到的数据；

将所述多个结果数据合并得到所述批处理任务的处理结果。

2.如权利要求1所述的方法，其特征在于，所述获取所述多个成员节点发送来的多个结果数据包括：通过远程直接数据存取RDMA方式获取所述多个成员节点发送来的多个结果数据。

3.如权利要求1所述的方法，其特征在于，根据所述多个成员节点的信息对所述批处理任务对应的表数据切分，得到多个分块数据包括：

从所述表数据中选择设定字段作为关键字段；

对表数据中每一行数据的所述关键字段对应的字段值进行哈希hash计算，得到每一行数据对应的哈希值；

利用哈希值取模后的数值和所述多个成员节点的数量对所述表数据进行切分，得到多个分块数据。

4.如权利要求1所述的方法，其特征在于，从连接的节点中确定处理所述批处理任务的多个成员节点包括：

发送状态查询信息到所述连接的节点，所述查询信息用于获取所述连接的节点的在线状态信息、处理器负载信息或任务负载状态信息；

接收到所述连接的节点发送的反馈信息后，根据所述反馈信息从所述连接的节点中确定处理所述批处理任务的多个成员节点。

5.如权利要求4所述的方法，其特征在于，将分块数据对应发送到所述多个成员节点包括：

利用每个节点的反馈信息和所述多个成员节点的数量对所述表数据进行切分，得到多个分块数据。

6.一种数据处理装置，其特征在于，该装置设置于大型机下移后的开放平台中，接收到批处理任务，该装置包括：

成员节点选取模块，用于接收批处理任务，并从连接的节点中确定处理所述批处理任务的多个成员节点；

切分模块，用于根据所述多个成员节点的信息对所述批处理任务对应的表数据切分，得到多个分块数据；

分发模块，用于将分块数据对应发送到所述多个成员节点；

接收模块，用于获取所述多个成员节点发送来的多个结果数据；其中，所述结果数据是每个成员节点处理所述分块数据得到的数据；

合并模块，用于将所述多个结果数据合并得到所述批处理任务的处理结果。

7.如权利要求6所述的装置，其特征在于，接收模块具体用于通过远程直接数据存取RDMA方式获取所述多个成员节点发送来的多个结果数据。

8.如权利要求6所述的装置，其特征在于，所述切分模块具体用于从所述表数据中选择设定字段作为关键字段；对表数据中每一行数据的所述关键字段对应的字段值进行哈希hash计算，得到每一行数据对应的哈希值；利用哈希值取模后的数值和所述多个成员节点的数量对所述表数据进行切分，得到多个分块数据。

9.如权利要求6所述的装置，其特征在于，所述成员节点选取模块具体用于发送状态查询信息到所述连接的节点，所述查询信息用于获取所述连接的节点的在线状态信息、处理器负载信息或任务负载状态信息；接收到所述连接的节点发送的反馈信息后，根据所述反馈信息从所述连接的节点中确定处理所述批处理任务的多个成员节点。

10.如权利要求9所述的装置，其特征在于，所述分发模块具体用于利用每个节点的反馈信息和所述多个成员节点的数量对所述表数据进行切分，得到多个分块数据。