[发明专利]一种数据处理方法、装置、设备、系统及存储介质

说明书

本申请实施例提供一种数据处理方法、装置、设备、系统及存储介质。在本申请实施例中，在业务端和计算端之间增加了日志管理设备，日志管理设备可获取业务端提供的日志数据；确定计算端所需的至少一个目标属性字段；从日志数据中提取并存储与至少一个目标属性字段匹配的至少一条日志记录，以供计算端访问至少一条日志记录，以进行数据计算。据此，本实施例中，业务端和计算端之间不再直接通信，这可有效减少对业务端的应用入侵；而且，日志管理设备可按照计算端的计算需求，对业务端提供的日志数据进行采集、整理及存储，可更便于计算端使用，从而降低计算端的数据采集复杂度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备、系统及存储介质。

背景技术

目前，在进行特征计算平台的搭建过程中，通常会采用“flume+日志”或者“mysql+canel”等方式来进行日志数据采集。其中，flume为一种高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Canel为一个开源项目，基于java实现，通过模拟成为mysql的slave的方式，监听mysql的binlog日志来获取数据。

在“mysql+canel”方式下，存在应用入侵的风险；而在“flume+日志”方式下，日志采集的复杂度过高，效率过低。

发明内容

本申请的多个方面提供一种数据处理方法、装置、设备及存储介质，用以降低数据采集的复杂度和/或减少数据采集过程中的应用入侵。

本申请实施例提供一种数据处理方法，包括：

依据第一计算端的第一计算需求，确定所述第一计算端所需的至少一个第一目标属性字段；

获取业务端提供的日志数据；

从所述日志数据中提取与所述至少一个第一目标属性字段匹配的至少一条日志记录；

存储所述至少一条日志记录，以供所述第一计算端访问所述日志记录，以进行数据计算。

本申请实施例还提供一种日志管理装置，包括：

第一交互模块，用于依据第一计算端的第一计算需求，确定所述第一计算端所需的至少一个第一目标属性字段；

第二交互模块，用于获取业务端提供的日志数据；

处理模块，用于从所述日志数据中提取与所述至少一个第一目标属性字段匹配的至少一条日志记录；存储所述至少一条日志记录，以供所述第一计算端访问所述至少一条日志记录，以进行数据计算。

本申请实施例还提供一种计算设备，包括存储器、处理器和通信组件；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器和所述通信组件耦合，用于执行所述一条或多条计算机指令，以用于：

依据第一计算端的第一计算需求，确定所述第一计算端所需的至少一个目标属性字段；

通过所述通信组件获取业务端提供的日志数据；

从所述日志数据中提取与所述至少一个第一目标属性字段匹配的至少一条日志记录；存储所述至少一条日志记录，以供所述第一计算端访问所述至少一条日志记录，以进行数据计算。

本申请实施例还提供一种数据处理系统，包括：业务端、日志管理设备和第一计算端，所述日志管理设备分别与所述业务端和所述第一计算端通信连接；

所述日志管理设备，用于依据所述第一计算端的第一计算需求，确定所述第一计算端所需的至少一个第一目标属性字段；获取所述业务端提供的日志数据；从所述日志数据中提取与所述至少一个第一目标属性字段匹配的至少一条日志记录；存储所述至少一条日志记录；