[发明专利]一种数据处理系统、方法及装置

说明书

本申请实施例提供一种数据处理系统、方法及装置。系统包括：服务节点和提供不同处理逻辑的多个计算集群；服务节点，用于确定目标处理逻辑，所述目标处理逻辑为待处理数据需要的处理逻辑，将待处理数据发送至目标计算集群，目标计算集群是多个计算集群中提供目标处理逻辑的计算集群；目标计算集群，用于接收待处理数据，根据目标处理逻辑处理待处理数据，并以与目标处理逻辑相匹配的存储方式存储处理结果。本申请技术方案提供统一的日志处理系统，可以提高日志数据的处理效率和质量。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据处理系统、方法及装置。

背景技术

对各种互联网应用来说，日志数据是一类具有重要意义的数据。日志数据可以记录应用产生的所有行为，并按照某种规范表达出来。基于应用的日志数据，可以执行与应用相关的多种处理，例如排错，优化应用性能，调整应用行为，或者统计指标等。

基于日志数据执行与应用相关的处理需要搭建日志处理平台，然后基于日志处理平台处理或分析日志数据。应用开发方更擅长扩展应用自身的功能，改进应用的性能，在日志处理平台搭建方面不够专业，搭建效率相对较低，而且效果也不够理想，进而导致日志数据处理效率和质量较低。

发明内容

本申请从多个方面提供一种数据处理系统、方法及装置，用以提供统一的数据处理系统，以提高日志数据的处理效率和质量。

本申请实施例提供一种数据处理系统，包括：服务节点和提供不同处理逻辑的多个计算集群；

所述服务节点，用于确定目标处理逻辑，所述目标处理逻辑为待处理数据需要的处理逻辑，将所述待处理数据发送至目标计算集群，所述目标计算集群是所述多个计算集群中提供所述目标处理逻辑的计算集群；

所述目标计算集群，用于接收所述待处理数据，根据所述目标处理逻辑处理所述待处理数据，并以与所述目标处理逻辑相匹配的存储方式存储处理结果。

在一可选实施方式中，所述系统还包括：控制节点，用于控制所述目标计算集群对所述待处理数据进行处理时的执行逻辑。

在一可选实施方式中，所述多个计算集群包括：提供批量处理逻辑的第一计算集群和/或提供流式处理逻辑的第二计算集群。

在一可选实施方式中，所述服务节点具体用于：根据所述待处理数据所属业务系统的业务需求，确定所述目标处理逻辑，将所述待处理数据发送至所述目标计算集群。

在一可选实施方式中，所述服务节点具体用于：若所述业务需求属于离线数据需求，确定批量处理逻辑为所述目标处理逻辑，将所述待处理数据发送至所述多个计算集群中提供所述批量处理逻辑的第一计算集群。

在一可选实施方式中，所述服务节点具体用于：若所述业务需求属于实时数据需求，确定流式处理逻辑为所述目标处理逻辑，将所述待处理数据发送至所述多个计算集群中提供所述流式处理逻辑的第二计算集群。

在一可选实施方式中，所述第一计算集群包括：对象存储节点、批量处理节点以及行式存储节点；

所述对象存储节点用于：根据控制节点的存储指令，以全量备份的方式存储所述服务节点发送的所述待处理数据；

所述批量处理节点用于：根据所述控制节点的调度，从所述对象存储节点中读取所述待处理数据，对所述待处理数据进行批量处理，将批量处理结果写入所述行式存储节点。

在一可选实施方式中，所述第二计算集群包括：流式处理节点、缓存节点以及列式存储节点；

所述流式处理节点用于：接收所述服务节点发送的所述待处理数据，对所述待处理数据进行流式处理，并根据控制节点的缓存指令，将流式处理结果写入所述缓存节点；

所述缓存节点用于：缓存所述流式处理结果；