[发明专利]一种数据合并方法、装置、存储器及存储控制器

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种基于多处理器的数据合并方法、装置、存储器及存储控制器。

背景技术

随着计算机应用技术的不断发展，数据中心需要处理的数据量也大量增加。在一些特殊的场景下，经常需要对大量的数据进行合并处理。比如，在进行集群监控时，为了查看集群的整体状态，则需要将集群中不同节点的状态数据合并为汇总数据。

目前，在针对多个待合并数据进行合并处理时，通常需要根据预设的数据合并规则设置一个数据合并模型，在一个处理器上运行该数据合并模型以将多个待合并数据直接合并为一个目标数据。

上述技术方案中，在待合并数据的数据量较大时，一方面，会导致运行数据模型的处理器资源消耗严重而影响处理器性能，另一方面，同一个处理器对大量待合并数据进行合并处理时，需要花费大量的处理时长。影响数据合并效率。

发明内容

本发明实施例提供了一种基于多处理器的数据合并方法、装置、存储器及存储空控制器，可提高数据合并效率。

第一方面，本发明提供了一种基于多处理器的数据合并方法，包括：

根据预设分组规则，在至少两个处理器上分别创建至少一个数据合并进程；

根据预设分组规则将至少4个待合并数据划分为至少两个待合并数据组，并确定每一个所述待合并数据组分别对应的所述数据合并进程；

利用各个所述数据合并进程将当前所述数据合并进程所对应的待合并数据组中的各个待合并数据合并为一个预合并数据；

将各个所述数据合并进程分别合并的各个所述预合并数据，合并成目标数据。

优选地，

在所述利用各个所述数据合并进程将当前所述数据合并进程所对应的待合并数据组中的各个待合并数据合并为一个预合并数据之前，还包括：

预先构建消息中间件；

所述确定每一个所述待合并数据组分别对应的所述数据合并进程，进一步包括：将各个所述待合并数据发送至所述消息中间件；

在所述利用各个所述数据合并进程将当前所述数据合并进程所对应的待合并数据组中的各个待合并数据合并为一个预合并数据之前，进一步包括：利用各个所述数据合并进程，从所述消息中间件中读取对应当前所述数据合并进程的待合并数据组。

优选地，

所述在至少两个处理器上分别创建至少一个数据合并进程，进一步包括：在存储介质中构建每一个所述数据合并进程分别对应的存储区域，并设置各个所述存储区域之间的组织顺序；

则，在所述利用各个所述数据合并进程将当前所述数据合并进程所对应的待合并数据组中的各个待合并数据合并为一个预合并数据之后，进一步包括：利用各个所述数据合并进程将当前所述数据合并进程合并的所述预合并数据写入对应当前所述数据合并进程的存储区域；

所述将各个所述数据合并进程分别合并的各个所述预合并数据，合并成目标数据，包括：根据各个所述存储区域之间的组织顺序，读取各个所述存储区域中存储的所述预合并数据，并利用读取的各个所述预合并数据组合成目标数据。

优选地，

在所述根据预设分组规则将至少4个待合并数据划分为至少两个待合并数据组之前，还包括：采集至少四个数据采集节点分别提供的至少一个待合并数据。

第二方面，本发明实施例提供了一种基于多处理器的数据合并装置，包括：

进程创建模块，用于根据预设分组规则，在至少两个处理器上分别创建至少一个数据合并进程；

分组处理模块，用于根据预设分组规则将至少4个待合并数据划分为至少两个待合并数据组，并确定每一个所述待合并数据组分别对应的所述数据合并进程；

至少一个数据合并进程，用于将当前所述数据合并进程所对应的待合并数据组中的各个待合并数据合并为一个预合并数据；

合并处理模块，用于将各个所述数据合并进程分别合并的各个所述预合并数据，合并成目标数据。

优选地，

还包括：消息中间件；其中，

所述分组处理模块，进一步用于将各个所述待合并数据发送至所述消息中间件；

每一个所述数据合并进程，进一步用于从所述消息中间件中读取对应当前所述数据合并进程的待合并数据组。

优选地，

还包括：存储设置模块；其中，

所述存储设置模块，用于在存储介质中构建每一个所述数据合并进程分别对应的存储区域，并设置各个所述存储区域之间的组织顺序；