[发明专利]一种实时数据合并方法和装置

权利要求书

1.一种实时数据合并方法，所述方法包括：

前置分组模块在接收到数据时，将具有处理关联性的数据发送至多个数据处理节点中的同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点利用本地暂存，存储所述关联数据；

所述数据处理节点合并所述关联数据；

所述方法还包括：若在预定时间内未完成所述关联数据的合并，则将所述关联数据上传至共享存储；

所述将具有处理关联性的数据发送至同一个数据处理节点，包括：

对于接收到的每个数据，计算所述数据的关联键，具有处理关联性的数据对应的关联键相同；

根据所述关联键得到分配参数；

根据分配参数与数据处理节点的映射关系，将所述数据发送至所述分配参数对应的数据处理节点。

2.根据权利要求1所述的方法，所述计算数据的关联键，包括：

将所述数据的一个数据属性，作为所述关联键；

或者，根据所述数据中的数据属性，计算得到所述关联键。

3.根据权利要求1所述的方法，所述数据处理节点的本地暂存，包括：

所述数据处理节点的内存数据库或者本地文件。

4.一种实时数据合并系统，所述系统包括：前置分组模块和分布式数据处理集群，所述分布式数据处理集群中包括多个数据处理节点，所述前置分组模块用于将数据送达所述各个数据处理节点；

所述前置分组模块，用于在接收到数据时，将具有处理关联性的数据发送至多个数据处理节点中的同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点，用于利用本地暂存，存储所述关联数据，并合并所述关联数据；

所述数据处理节点还用于若在预定时间内未完成所述关联数据的合并，则将所述关联数据上传至共享存储；

所述前置分组模块，具体用于：对于接收到的每个数据，计算所述数据的关联键，具有处理关联性的数据对应的关联键相同；根据所述关联键得到分配参数；根据分配参数与数据处理节点的映射关系，将所述数据发送至所述分配参数对应的数据处理节点。

5.根据权利要求4所述的系统，所述关联键，是所述数据的一个数据属性，或者是根据所述数据中的数据属性计算得到。

6.根据权利要求4所述的系统，所述数据处理节点的本地暂存，包括：所述数据处理节点的内存数据库或者本地文件。

7.一种计算机可读存储介质，所述介质上存储有计算机指令，该指令被处理器执行时，用于实现如下步骤：

前置分组模块在接收到数据时，将具有处理关联性的数据发送至多个数据处理节点中的同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点利用本地暂存，存储所述关联数据；

所述数据处理节点合并所述关联数据；

若在预定时间内未完成所述关联数据的合并，则将所述关联数据上传至共享存储；

所述将具有处理关联性的数据发送至同一个数据处理节点，包括：

对于接收到的每个数据，计算所述数据的关联键，具有处理关联性的数据对应的关联键相同；

根据所述关联键得到分配参数；

根据分配参数与数据处理节点的映射关系，将所述数据发送至所述分配参数对应的数据处理节点。

8.一种实时数据合并设备，所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如下步骤：

前置分组模块在接收到数据时，将具有处理关联性的数据发送至多个数据处理节点中的同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点利用本地暂存，存储所述关联数据；

所述数据处理节点合并所述关联数据；

若在预定时间内未完成所述关联数据的合并，则将所述关联数据上传至共享存储；

所述将具有处理关联性的数据发送至同一个数据处理节点，包括：

对于接收到的每个数据，计算所述数据的关联键，具有处理关联性的数据对应的关联键相同；

根据所述关联键得到分配参数；

根据分配参数与数据处理节点的映射关系，将所述数据发送至所述分配参数对应的数据处理节点。