[发明专利]大数据计算方法、计算系统、计算机设备及可读存储介质

摘要

本发明提出了一种大数据计算方法、大数据计算系统、计算机设备、计算机可读存储介质。其中，大数据计算方法包括获取待处理任务，根据待处理任务提交计算作业至Spark计算引擎；将计算作业提交至作业列队中；判断Spark计算引擎中是否具有调度计算作业所需的物理资源；在Spark计算引擎中具有物理资源时，调度计算作业；控制计算作业加载计算数据，并对计算数据进行计算，以生成计算结果；存储计算结果。本发明基于大数据Spark的分摊计算引擎，充分利用了Spark强大的分布式并行处理和内存计算能力、快速查询的优势，提高了计算任务的并发数量，提升了多维度分析计算的效率。

主权项

一种大数据计算方法，其特征在于，包括：获取待处理任务，根据所述待处理任务提交计算作业至Spark计算引擎；将所述计算作业提交至作业列队中；判断所述Spark计算引擎中是否具有调度所述计算作业所需的物理资源；在所述Spark计算引擎中具有所述物理资源时，调度所述计算作业；控制所述计算作业加载计算数据，并对所述计算数据进行计算，以生成计算结果；存储所述计算结果。