[发明专利]基于Flume数据中台的数据处理方法、装置、设备及介质

权利要求书

1.一种基于Flume数据中台的数据处理方法，其特征在于，所述方法包括：

获取日志规则，按照所述日志规则采集数据，并将所述数据发送到消息队列；

通过所述消息队列将所述数据输入到分布式数据中台，其中，所述分布式数据中台包括主设备，以及多个分布式集群，每个所述分布式集群中包括多个从设备，作为所述分布式集群的代理节点，所述分布式数据中台基于Flume实现；

将所述数据从所述分布式数据中台输出到存储介质；

其中，在所述数据从所述分布式数据中台输出到所述存储介质的过程中，所述主设备采用主从心跳机制，检测所述代理节点中服务进程的实时状态，并根据所述实时状态启用备用服务进程，基于所述备用服务进程输出所述数据，或者，根据所述实时状态，采用数据均衡落地的方式输出所述数据。

2.根据权利要求1所述的方法，其特征在于，所述在所述数据从所述分布式数据中台输出到所述存储介质的过程中，所述主设备采用主从心跳机制，检测所述代理节点中服务进程的实时状态，包括：

所述代理节点定时向所述主设备发送心跳信息，其中，所述心跳信息包括内存占用率和中央处理器占用率；

所述主设备根据所述心跳信息判断所述代理节点中服务进程的实时状态；

当所述代理节点中服务进程内存占用率超过第一预设阈值或中央处理器占用率超过第二预设阈值时，确定所述代理节点中服务进程的所述实时状态为负荷过多；

当所述代理节点中服务进程内存占用率低于第三预设阈值或中央处理器占用率低于第四预设阈值时，确定所述代理节点中服务进程的所述实时状态为负荷过剩。

3.根据权利要求2所述的方法，其特征在于，所述根据所述实时状态启用备用服务进程，基于所述备用服务进程输出所述数据，或者，根据所述实时状态，采用数据均衡落地的方式输出所述数据，包括：

当所述代理节点中服务进程的所述实时状态为负荷过多，且所述代理节点中服务进程不存在所述备用服务进程时，启用所述备用服务进程，基于所述备用服务进程输出所述数据；

当所述代理节点中服务进程的所述实时状态为负荷过剩，且所述消息队列采用Kafka时，根据Kafka group id，采用数据均衡落地的方式输出所述数据。

4.根据权利要求1所述的方法，其特征在于，所述获取日志规则，按照所述日志规则采集数据，并将所述数据发送到消息队列，包括：

通过预架设的配置服务中心提供多数据源接入的服务，其中，所述预架设的配置服务中心采用前端界面的方式进行操作；

通过所述前端界面获取用户输入的所述日志规则，按照所述日志规则和所述多数据源接入的服务，从多个数据源中采集所述数据，并将所述数据发送到Kafka。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将所述数据从所述分布式数据中台输出到存储介质，包括：

通过预架设的数据服务中心提供数据统一接口；

根据所述数据统一接口，将所述数据从所述分布式数据中台输出到同一非易失性存储介质。

6.一种基于Flume数据中台的数据处理装置，其特征在于，所述装置包括：

第一处理模块，用于获取日志规则，按照所述日志规则采集数据，并将所述数据发送到消息队列；

第二处理模块，用于通过所述消息队列将所述数据输入到分布式数据中台，其中，所述分布式数据中台包括主设备，以及多个分布式集群，每个所述分布式集群中包括多个从设备，作为所述分布式集群的代理节点，所述分布式数据中台基于Flume实现；

第三处理模块，用于将所述数据从所述分布式数据中台输出到存储介质；

第四处理模块，用于在所述数据从所述分布式数据中台输出到所述存储介质的过程中，所述主设备采用主从心跳机制，检测所述代理节点中服务进程的实时状态，并根据所述实时状态启用备用服务进程，基于所述备用服务进程输出所述数据，或者，根据所述实时状态，采用数据均衡落地的方式输出所述数据。