[发明专利]大数据计算方法、系统和计算机设备

权利要求书

1.一种大数据计算方法，其特征在于，包括：

获取在大数据配置管理页面中通过图形拖拽选择的源数据节点，从所述源数据节点中获取待处理的源数据，并对所述待处理的源数据进行实时数据清洗，以将所述源数据的不同字段统一化；

获取所述源数据的数据格式和数据内容，以及获取根据所述源数据的数据格式和数据内容，通过图形拖拽选择的实时计算节点和离线计算节点；

加载所述实时计算节点上配置的实时计算逻辑和所述离线计算节点上配置的离线计算逻辑，且当所述实时计算逻辑和所述离线计算逻辑的语法验证通过时，保存计算配置；

根据所述实时计算逻辑生成实时计算任务，其中所有的实时计算节点融合转为一个实时计算任务，根据所述实时计算任务中的源数据进行计算，获得实时计算结果，并将所述实时计算结果同步到离线存储，所述实时计算结果包括实时队列里中的实时数据；以及根据所述离线计算逻辑生成离线计算任务，其中每个离线计算节点单独转为一个离线计算任务，所述离线计算任务被离线注册到任务调度器并等待周期调度，每次调度具有若干次自动重试的机会，在到达所述离线计算任务的调度时间之后，根据所述离线计算任务中的源数据和所述离线存储中的实时计算结果进行计算，获得离线计算结果，其中在所述将所述实时计算结果同步到离线存储的过程中设有哨兵机制，所述哨兵机制用于在发现所述实时数据发生异常时，通知所述离线计算任务进行补充计算；

返回所述实时计算任务与所述离线计算任务对应的计算实例状态和数据流实时监控情况，并在所述大数据配置管理页面显示所述计算实例状态和数据流实时监控情况。

2.根据权利要求1所述的方法，其特征在于，还包括：

在所述获得实时计算结果之后，显示所述实时计算结果；以及在所述获得离线计算结果之后，显示所述离线计算结果。

3.根据权利要求1所述的方法，其特征在于，所述实时计算逻辑和所述离线计算逻辑是使用带有特殊处理函数的结构化查询语言配置的。

4.一种大数据计算系统，其特征在于，包括：大数据配置管理模块、任务调度器和大数据计算引擎，其中，所述大数据计算引擎包括实时计算引擎和离线计算引擎；

所述大数据配置管理模块，用于获取在大数据配置管理页面中通过图形拖拽选择的源数据节点，从所述源数据节点中获取待处理的源数据，获取所述源数据的数据格式和数据内容，以及获取根据所述源数据的数据格式和数据内容，通过图形拖拽选择的实时计算节点和离线计算节点；

所述任务调度器，用于加载所述实时计算节点上配置的实时计算逻辑和所述离线计算节点上配置的离线计算逻辑，且当所述实时计算逻辑和所述离线计算逻辑的语法验证通过时，保存计算配置；

所述实时计算引擎，用于根据所述任务调度器加载的实时计算逻辑生成实时计算任务，其中所有的实时计算节点融合转为一个实时计算任务，将所述实时计算任务提交到实时计算集群，由所述实时计算集群根据所述实时计算任务中的源数据进行计算，获得实时计算结果，并将所述实时计算结果同步到离线存储，所述实时计算结果包括实时队列里中的实时数据；

所述离线计算引擎，用于根据所述离线计算逻辑生成离线计算任务，其中每个离线计算节点单独转为一个离线计算任务，并将所述离线计算任务注册到所述任务调度器并等待周期调度，每次调度具有若干次自动重试的机会；

所述任务调度器，还用于在到达所述离线计算任务的调度时间之后，将所述离线计算任务提交到离线计算集群，由所述离线计算集群根据所述离线计算任务中的源数据和所述离线存储中的实时计算结果进行计算，获得离线计算结果，其中在所述将所述实时计算结果同步到离线存储的过程中设有哨兵机制，所述哨兵机制用于在发现所述实时数据发生异常时，通知所述离线计算任务进行补充计算；返回所述实时计算任务与所述离线计算任务对应的计算实例状态和数据流实时监控情况，并在所述大数据配置管理页面显示所述计算实例状态和数据流实时监控情况。

5.根据权利要求4所述的系统，其特征在于，

所述大数据配置管理模块，还用于在所述获得实时计算结果之后，显示所述实时计算结果；以及在所述获得离线计算结果之后，显示所述离线计算结果。