[发明专利]一种数据处理系统、方法及装置

权利要求书

1.一种数据处理系统，其特征在于，包括：服务节点和提供不同处理逻辑的多个计算集群；

所述服务节点，用于确定目标处理逻辑，所述目标处理逻辑为待处理数据需要的处理逻辑，将所述待处理数据发送至目标计算集群，所述目标计算集群是所述多个计算集群中提供所述目标处理逻辑的计算集群；

所述目标计算集群，用于接收所述待处理数据，根据所述目标处理逻辑处理所述待处理数据，并以所述目标处理逻辑相匹配的存储方式存储处理结果。

2.根据权利要求1所述的系统，其特征在于，还包括：

控制节点，用于控制所述目标计算集群对所述待处理数据进行处理时的执行逻辑。

3.根据权利要求1所述的系统，其特征在于，所述多个计算集群包括：提供批量处理逻辑的第一计算集群和/或提供流式处理逻辑的第二计算集群。

4.根据权利要求1所述的系统，其特征在于，所述服务节点具体用于：

根据所述待处理数据所属业务系统的业务需求，确定所述目标处理逻辑，将所述待处理数据发送至所述目标计算集群。

5.根据权利要求4所述的系统，其特征在于，所述服务节点具体用于：

若所述业务需求属于离线数据需求，确定批量处理逻辑为所述目标处理逻辑，将所述待处理数据发送至所述多个计算集群中提供所述批量处理逻辑的第一计算集群。

6.根据权利要求4所述的系统，其特征在于，所述服务节点具体用于：

若所述业务需求属于实时数据需求，确定流式处理逻辑为所述目标处理逻辑，将所述待处理数据发送至所述多个计算集群中提供所述流式处理逻辑的第二计算集群。

7.根据权利要求3所述的系统，其特征在于，所述第一计算集群包括：对象存储节点、批量处理节点以及行式存储节点；

所述对象存储节点用于：根据控制节点的存储指令，以全量备份的方式存储所述服务节点发送的所述待处理数据；

所述批量处理节点用于：根据所述控制节点的调度，从所述对象存储节点中读取所述待处理数据，对所述待处理数据进行批量处理，将批量处理结果写入所述行式存储节点。

8.根据权利要求3所述的系统，其特征在于，所述第二计算集群包括：流式处理节点、缓存节点以及列式存储节点；

所述流式处理节点用于：接收所述服务节点发送的所述待处理数据，对所述待处理数据进行流式处理，并根据控制节点的缓存指令，将流式处理结果写入所述缓存节点；

所述缓存节点用于：缓存所述流式处理结果；

所述列式存储节点用于：存储所述控制节点从所述缓存节点读取并写入的所述流式处理结果。

9.根据权利要求8所述的系统，其特征在于，所述流式处理节点还用于：

在流式处理过程中根据预置规则实时侦测所述待处理数据体现的业务问题，并在侦测到所述业务问题时输出报警信息；和/或

将流式处理过程中的中间结果写入所述对象存储节点，以支持所述批量处理逻辑。

10.根据权利要求1-9任一项所述的系统，其特征在于，所述服务节点包括：部署于所述数据处理系统的服务模块和部署于业务系统的采集模块；

所述采集模块，用于采集所述业务系统产生的日志数据，将所述日志数作为所述待处理数据发送至所述服务模块；

所述服务模块，用于接收所述采集模块发送的所述待处理数据，确定所述目标处理逻辑，将所述待处理数据发送至所述目标计算集群。

11.根据权利要求10所述的系统，其特征在于，所述服务模块还用于：

在将所述待处理数据发送至所述目标计算集群之前，转换所述待处理数据的格式为预设的标准化格式。