[发明专利]基于Flume数据中台的数据处理方法、装置、设备及介质

说明书

本发明公开了一种基于Flume数据中台的数据处理方法、装置、设备及介质，涉及大数据处理领域。该方法包括：获取日志规则，按照日志规则采集数据，并将数据发送到消息队列；通过消息队列将数据输入到分布式数据中台；将数据从分布式数据中台输出到存储介质；其中，在数据从分布式数据中台输出到存储介质的过程中，主设备采用主从心跳机制，检测代理节点中服务进程的实时状态，并根据实时状态启用备用服务进程，基于备用服务进程输出数据，或者，根据实时状态，采用数据均衡落地的方式输出数据。采用该基于Flume数据中台的数据处理方法能够在数据处理过程中有效降低存储空间的占用率。

【技术领域】

本发明涉及大数据处理领域，尤其涉及一种基于Flume数据中台的数据处理方法、装置、设备及介质。

【背景技术】

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，形成大数据资产层，进而为客户提供高效服务的技术。

现有的数据中台是通过进程直连数据源的方式获取数据，当一个进程异常退出时，数据中台无法及时告警、修复，容易出现数据丢失的情况。因此，在数据中台实现数据处理的过程中，为了保证数据不丢失，数据中台的服务进程中都落地了相同的一份数据，但这将导致大量的数据重复冗余，过多地占用存储空间。

【发明内容】

有鉴于此，本发明实施例提供了一种基于Flume数据中台的数据处理方法、装置、设备及介质，用以解决数据中台在实现数据处理的过程中数据占用存储空间过多的问题。

第一方面，本发明实施例提供了一种基于Flume数据中台的数据处理方法，包括：

获取日志规则，按照所述日志规则采集数据，并将所述数据发送到消息队列；

通过所述消息队列将所述数据输入到分布式数据中台，其中，所述分布式数据中台包括主设备，以及多个分布式集群，每个所述分布式集群中包括多个从设备，作为所述分布式集群的代理节点，所述分布式数据中台基于Flume实现；

将所述数据从所述分布式数据中台输出到存储介质；

其中，在所述数据从所述分布式数据中台输出到所述存储介质的过程中，所述主设备采用主从心跳机制，检测所述代理节点中服务进程的实时状态，并根据所述实时状态启用备用服务进程，基于所述备用服务进程输出所述数据，或者，根据所述实时状态，采用数据均衡落地的方式输出所述数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述在所述数据从所述分布式数据中台输出到所述存储介质的过程中，所述主设备采用主从心跳机制，检测所述代理节点中服务进程的实时状态，包括：

所述代理节点定时向所述主设备发送心跳信息，其中，所述心跳信息包括内存占用率和中央处理器占用率；

所述主设备根据所述心跳信息判断所述代理节点中服务进程的实时状态；

当所述代理节点中服务进程内存占用率超过第一预设阈值或中央处理器占用率超过第二预设阈值时，确定所述代理节点中服务进程的所述实时状态为负荷过多；

当所述代理节点中服务进程内存占用率低于第三预设阈值或中央处理器占用率低于第四预设阈值时，确定所述代理节点中服务进程的所述实时状态为负荷过剩。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述实时状态启用备用服务进程，基于所述备用服务进程输出所述数据，或者，根据所述实时状态，采用数据均衡落地的方式输出所述数据，包括：

当所述代理节点中服务进程的所述实时状态为负荷过多，且所述代理节点中服务进程不存在所述备用服务进程时，启用所述备用服务进程，基于所述备用服务进程输出所述数据；