[发明专利]大数据计算方法、系统和计算机设备

说明书

本申请提供一种大数据计算方法、系统和计算机设备，上述大数据计算方法包括：获取源数据节点；获取根据源数据的数据格式和数据内容选择的实时计算节点和离线计算节点；加载实时计算逻辑和离线计算逻辑；生成实时计算任务，根据实时计算任务中的源数据进行计算，获得实时计算结果；以及生成离线计算任务，在到达调度时间之后，根据离线计算任务中的源数据和离线存储中的实时计算结果进行计算，获得离线计算结果。本申请可以屏蔽底层不同计算模式(实时和离线)的差异，简化大数据分布式计算框架原有复杂编程模型，使得用户可以依据实时和离线计算统一的SQL编程模型，自助化配置多级计算逻辑，大大降低了用户对大数据计算技术应用上的门槛。

技术领域

本申请涉及大数据计算技术领域，尤其涉及一种大数据计算方法、系统和计算机设备。

背景技术

现有相关技术中，大数据计算方案包括基于Lambda架构大数据计算方案和开源社区Apache Beam方案，其中，基于Lambda架构大数据计算方案，运行多种计算框架上，是整合实时和离线计算的一种方式，但是这种计算方案没有大数据统一计算模型，同一个处理逻辑用户需要在实时计算和离线计算分别编写和维护两套不同的代码，实现较复杂。

而开源社区Apache Beam方案在某一种计算框架上统一了实时和离线两种计算模式，在开源社区Apache Beam方案中，实时和离线计算只能同时在一个计算框架上运行，不支持垮不同框架计算，而且使用Apache Beam的统一编程模型需要具备一定大数据技术储备和高阶语言编程能力，在实现复杂计算逻辑时，对于用户来说成本较高。

发明内容

为克服相关技术中存在的问题，本申请提供一种大数据计算方法、系统和计算机设备。

本申请的实施例采用如下技术方案：

第一方面，本申请实施例提供一种大数据计算方法，包括：获取源数据节点，从所述源数据节点中获取待处理的源数据；获取所述源数据的数据格式和数据内容，以及获取根据所述源数据的数据格式和数据内容选择的实时计算节点和离线计算节点；加载所述实时计算节点上配置的实时计算逻辑和所述离线计算节点上配置的离线计算逻辑；根据所述实时计算逻辑生成实时计算任务，根据所述实时计算任务中的源数据进行计算，获得实时计算结果，并将所述实时计算结果同步到离线存储；以及根据所述离线计算逻辑生成离线计算任务，在到达所述离线计算任务的调度时间之后，根据所述离线计算任务中的源数据和所述离线存储中的实时计算结果进行计算，获得离线计算结果。

上述大数据计算方法中，获取源数据节点之后，从上述源数据节点中获取待处理的源数据，然后获取上述源数据的数据格式和数据内容，以及获取根据上述源数据的数据格式和数据内容选择的实时计算节点和离线计算节点；加载上述实时计算节点上配置的实时计算逻辑和上述离线计算节点上配置的离线计算逻辑，根据上述实时计算逻辑生成实时计算任务，根据实时计算任务中的源数据进行计算，获得实时计算结果，并将上述实时计算结果同步到离线存储；以及根据上述离线计算逻辑生成离线计算任务，在到达上述离线计算任务的调度时间之后，根据上述离线计算任务中的源数据和上述离线存储中的实时计算结果进行计算，获得离线计算结果，从而可以实现屏蔽底层不同计算模式(实时和离线)的差异，简化大数据分布式计算框架原有复杂编程模型，使得用户可以依据实时和离线计算统一的结构化查询语言(Structured Query Language；以下简称：SQL)编程模型，自助化配置实时计算、离线计算等多级计算逻辑，实现简单，大大降低了用户对大数据计算技术应用上的门槛。