[发明专利]大数据计算方法、计算系统、计算机设备及可读存储介质

说明书

技术领域

本发明涉及大数据计算技术领域，具体而言，涉及一种大数据计算方法、大数据计算系统、计算机设备、计算机可读存储介质。

背景技术

随着金融机构精细化管理的深入，已经从对机构和部门的盈利，对业务线和产品的关注，发展到对客户经理，客户，渠道，项目等多维度经营数据的关注。经营成本分摊已从机构，产品维度细化到账户，交易级维度的分摊。

同时随着原始凭证数据的细化，分摊规则多样化，相对于原始数据，分摊结果往往呈几何倍数的增长，结果数据已经达到亿级，甚至几十亿的数据量。这对计算的消耗时间，分摊结果核对和查询效率都提出了非常高的要求，即便在应用某国外高性能内存数据库的场景下，也需要十个小时甚至更多时间完成一次分摊计算。传统的应用架构已经不能满足这样大数据量，高密度计算的应用需求。

因此，如何解决针对分摊的业务场景深度优化，实现卓越的计算性能和查询效率提升，让企业的内部管理更深入、更高效成为亟待解决的问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明第一个方面在于提出一种大数据计算方法。

本发明的第二个方面在于提出一种大数据计算系统。

本发明的第三个方面在于提出一种计算机设备。

本发明的第四个方面在于提出一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种大数据计算方法，包括：获取待处理任务，根据待处理任务提交计算作业至Spark计算引擎；将计算作业提交至作业列队中；判断Spark计算引擎中是否具有调度计算作业所需的物理资源；在Spark计算引擎中具有物理资源时，调度计算作业；控制计算作业加载计算数据，并对计算数据进行计算，以生成计算结果；存储计算结果。

本发明提供的大数据计算方法，获取待处理任务，根据待处理任务提交计算作业至Spark计算引擎，实现了自动向Spark计算引擎提交计算作业，Spark计算引擎是可以独立部署的大数据计算引擎，从架构上，把分析计算任务从业务系统中剥离出来，从而减轻了业务系统的负载。将计算作业提交至作业列队中，判断Spark计算引擎中是否具有调度计算作业所需的物理资源，在Spark计算引擎中具有物理资源时，调度计算作业，控制计算作业加载计算数据，并对计算数据进行计算，生成计算结果充分利用了Spark大数据集群资源以及强大的分布式并行处理和内存计算能力、快速查询的优势，提高了计算任务的并发数量，提升了多维度分析计算的效率。存储对数据进行计算的计算结果，新的存储系统，兼顾顺序与随机读写的效率。

根据本发明的上述大数据计算方法，还可以具有以下技术特征：

在上述技术方案中，优选地，在Spark计算引擎中不具有物理资源时，控制计算作业继续保持在作业列队中。

在该技术方案中，在资源调度模块不具备调度作业所需的资源时，不进行作业调度，控制计算作业继续保持在作业列队中，等待分配到相关可用资源，当已被调度执行的计算作业任务结束后，释放相关资源时，再进行调度，进一步进行数据加载以及计算。

在上述任一技术方案中，优选地，控制计算作业加载计算数据，并对计算数据进行计算，以生成计算结果的过程，具体包括：将计算作业的原始数据转换为弹性分布式数据集；对弹性分布式数据集上进行转换和操作，以生成计算结果弹性分布式数据集；将计算结果弹性分布式数据集转换为预设文本结果，并输出预设文本结果。

在该技术方案中，控制计算作业加载计算数据，并对计算数据进行计算，以生成计算结果的过程，因为原始数据的格式不一定适用Spark计算引擎，那么将计算作业的原始数据转换为Spark中弹性分布式数据集(RDD)，然后Spark计算引擎对弹性分布式数据集上进行转换(Transformation)和操作(Action)，就会生成计算结果弹性分布式数据集，最后将计算结果弹性分布式数据集转换为预设文本结果，并输出预设文本结果。如此，充分利用了RDD分布式内存的计算能力，实现了计算任务在Spark计算引擎中快速、可靠的计算，提高了计算任务的并发数量，提升了计算效率。

在上述任一技术方案中，优选地，获取待处理任务，根据待处理任务提交计算作业至Spark计算引擎的过程，具体包括：将获取的计算作业以RESTful的方式提交至Spark计算引擎。