[发明专利]一种多线程并发的数据指标批量处理方法、装置及存储介质

说明书

本发明公开了一种多线程并发的数据指标批量处理方法、装置及存储介质，其通过获取全量指标作业清单，及其每个指标作业对应的依赖任务清单；根据不同的指标类型，对全量指标作业清单中的指标作业和依赖任务清单中的依赖任务，配置对应的作业计算类型和计算公式；判定指标作业对应的依赖任务是否完成；对满足并发条件的指标作业创建合并队列；并根据不同的作业计算类型，对合并队列中的指标作业进行整合，形成并发计算队列；对并发计算队列中的指标作业进行并发计算，能够对指标作业对应的依赖任务进行调度和合并，并且能够对多维度的数据进行并发计算，不仅极大的提高了算法的效率，而且使得算法更灵活，应用场景更广。

技术领域

本发明涉及多线程并发的数据指标批量处理技术领域，特别是一种多线程并发的数据指标批量处理方法及其应用该方法的多线程并发的数据指标批量处理系统及计算机可读存储介质。

背景技术

大数据已经广泛应用于日常生活的诸多领域，特别是金融领域对于大数据的依赖远超其他领域。在数据大集中的发展趋势下，如何从海量数据中抽取具有共性特征的数据集，并对这些具有共性特征的数据集进行快速交互地批量处理或批量加工，将是管理信息系统中日益突出的问题，也是数据集中工程中亟待解决的问题。

在批量数据加工环节中，有个特殊场景就是指标加工。指标是一系列有规律、多维度、多加工方式数据的汇总。由于指标通常会有成千上万个，例如金融领域的指标包括：BSN0100017零售存款余额、BSN0100051小微企业零售存款、BSN0100052收单商户零售存款、BSN0100018零售存款余额、BSN0100023零售结构性存款、BSN0100025零售活期存款、BSN0100026零售定期存款等；每个指标的计算公式并不一致，并且可能有衍生依赖关系(如BSN0100018＝BSN0100025+BSN0100026+BSN0100023)。

如果将所有指标配置成SQL放置到调度里面计算，可能需要生成上万个调度任务。这些任务之间错综复杂，维护不便，并且加工逻辑可能高度雷同，既给调度系统带来较大维护压力，也给数据库带来巨大的计算资源浪费。

如果将所有指标编写成一个或者少数几个SQL放到调度任务里面，理论上可以解决资源浪费问题，但是不同指标需要相互等待直至所有指标达到计算条件，任务才能启动，会影响数据的时效性。

发明内容

本发明的主要目的在于提供了一种多线程并发的数据指标批量处理方法、装置及存储介质，旨在解决现有的批量数据加工遇到的多维度指标如何并发计算的技术问题。

为实现上述目的，本发明提供了一种多线程并发的数据指标批量处理方法，包括以下步骤：

获取全量指标作业清单，及其每个指标作业对应的依赖任务清单；

根据不同的指标类型，对所述全量指标作业清单中的指标作业和所述依赖任务清单中的依赖任务，配置对应的作业计算类型和计算公式；

判断所述指标作业对应的依赖任务是否完成；若是，则判定所述指标作业满足并发条件；

对满足并发条件的所述指标作业创建合并队列；并根据不同的作业计算类型，对所述合并队列中的指标作业进行整合，形成并发计算队列；

对所述并发计算队列中的指标作业进行并发计算。

本发明通过建立作业与作业、作业与指标的依赖关系，通过对指标作业和依赖任务进行计算方法的配置，并根据配置规则进行队列合并和作业整合，实现高并发计算，极大的提高了算法的效率。

优选的，所述指标的维度包括机构级别维度、客户级别维度、产品级别维度中的任一种或两种以上维度；每个维度指标对应的指标类型包括基础指标、衍生指标、融合指标中的任一种或两种以上类型。