[发明专利]大数据计算方法、系统和计算机设备

摘要

本申请提供一种大数据计算方法、系统和计算机设备，上述大数据计算方法包括：获取源数据节点；获取根据源数据的数据格式和数据内容选择的实时计算节点和离线计算节点；加载实时计算逻辑和离线计算逻辑；生成实时计算任务，根据实时计算任务中的源数据进行计算，获得实时计算结果；以及生成离线计算任务，在到达调度时间之后，根据离线计算任务中的源数据和离线存储中的实时计算结果进行计算，获得离线计算结果。本申请可以屏蔽底层不同计算模式(实时和离线)的差异，简化大数据分布式计算框架原有复杂编程模型，使得用户可以依据实时和离线计算统一的SQL编程模型，自助化配置多级计算逻辑，大大降低了用户对大数据计算技术应用上的门槛。

主权项

1.一种大数据计算方法，其特征在于，包括：获取源数据节点，从所述源数据节点中获取待处理的源数据；获取所述源数据的数据格式和数据内容，以及获取根据所述源数据的数据格式和数据内容选择的实时计算节点和离线计算节点；加载所述实时计算节点上配置的实时计算逻辑和所述离线计算节点上配置的离线计算逻辑；根据所述实时计算逻辑生成实时计算任务，根据所述实时计算任务中的源数据进行计算，获得实时计算结果，并将所述实时计算结果同步到离线存储；以及根据所述离线计算逻辑生成离线计算任务，在到达所述离线计算任务的调度时间之后，根据所述离线计算任务中的源数据和所述离线存储中的实时计算结果进行计算，获得离线计算结果。