[发明专利]并行处理的方法、系统、电子装置和存储介质

说明书

本申请涉及一种并行处理的方法、系统、电子装置和存储介质，其中，该并行处理方法包括：获取多个待计算资源，并确定多个待计算资源之间的依赖关系；根据依赖关系，确定多个待计算资源中的第一待计算资源，并行处理第一待计算资源，其中，第一待计算资源不依赖于其他待计算资源的处理结果；根据依赖关系和对待计算资源的处理结果，确定多个待计算资源中的第二待计算资源，并行处理第二待计算资源，其中，第二待计算资源依赖于其他待计算资源的处理结果，且第二待计算资源依赖的待计算资源已被处理完毕。通过本申请，解决了数据组装效率低的问题，实现了提高数据组装的效率的有益效果。

技术领域

本申请涉及数据处理领域，特别是涉及并行处理的方法、系统、电子装置和存储介质。

背景技术

随着编程语言的发展，系统架构由原来的单一服务演变为微服务，后者在稳定性及系统灵活性上有着极大的优势，但随之也会带来数据搜索困难。因为应用微服务之后，对应的数据模型会跟着做拆分，而列表搜索经常是多个模型的联表查询，数据库拆分后就无法实现了。为解决这个问题，便衍生出了一批跨多个模型做数据组装的框架，将多个模型组装为一张数据宽表，供上层应用搜索查询。在数据组装过程中要考虑的一个关键指标是并发处理性能。而数据项之间存在复杂的依赖关系，要完成一个完整的数据需要经过数十个组装步骤，这些步骤间需要考虑数据之间的依赖关系来调整组装顺序，引发数据组装配置难度大、处理性差、并发度低等问题，从而导致数据组装效率低。

发明内容

在本实施例中提供了一种并行处理方法、系统、电子装置和存储介质，以解决相关技术中数据组装配置效率低的问题。

第一个方面，在本实施例中提供了一种并行处理方法，其特征在于，包括：

获取多个待计算资源，并确定多个所述待计算资源之间的依赖关系；

根据所述依赖关系，确定多个所述待计算资源中的第一待计算资源，并行处理所述第一待计算资源，其中，所述第一待计算资源不依赖于其他待计算资源的处理结果；

根据所述依赖关系和对所述待计算资源的处理结果，确定多个所述待计算资源中的第二待计算资源，并行处理所述第二待计算资源，其中，所述第二待计算资源依赖于其他待计算资源的处理结果，且所述第二待计算资源依赖的待计算资源已被处理完毕。

在其中的一些实施例中，根据所述依赖关系，确定多个所述待计算资源中的第一待计算资源包括：判断多个所述待计算资源中各所述待计算资源的处理是否依赖于其他待计算资源的处理结果，在判断到所述待计算资源的处理不依赖于其他待计算资源的处理结果的情况下，确定所述待计算资源为所述第一待计算资源；

根据所述依赖关系和对所述待计算资源的处理结果，确定多个所述待计算资源中的第二待计算资源包括：在判断到所述待计算资源的处理依赖于其他待计算资源的处理结果的情况下，根据所述待计算资源的处理结果，判断当前的待计算资源依赖的处理结果所属的待计算资源是否被处理完毕，在当前的待计算资源依赖的处理结果所属的待计算资源被处理完毕的情况下，确定当前的待计算资源为所述第二待计算资源。

在其中的一些实施例中，在判断当前的待计算资源依赖的处理结果所属的待计算资源是否被处理完毕之后，所述方法还包括：

在当前的待计算资源依赖的处理结果所属的待计算资源缺失的情况下，确定当前的待计算资源数据有效性校验失败，其中，对数据有效性校验失败的待计算资源不予处理。

在其中的一些实施例中，在判断当前的待计算资源依赖的处理结果所属的待计算资源是否被处理完毕之前，所述方法还包括：

判断当前的待计算资源是否具有循环依赖；

在当前的待计算资源不具有循环依赖的情况下，确定执行判断当前的待计算资源依赖的处理结果所属的待计算资源是否被处理完毕的步骤；