[发明专利]一种数据管理方法、中间件及数据管理系统

权利要求书

1.一种数据管理方法，其特征在于，应用于中间件，所述方法包括：

获得数据采集方的采集数据；

生成所述采集数据的主题信息，并封装所述采集数据及所述主题信息，得到包括主题信息的采集数据；

发送所述包括主题信息的采集数据至数据存储方，以使数据存储方根据所述采集数据的主题信息将所述采集数据存储至相应主题所对应的存储位置处。

2.根据权利要求1所述的方法，其特征在于，所述数据采集方为Flume日志系统，则所述获得数据采集方的采集数据，包括：

基于预定协议接收Flume日志系统采集的每条日志数据；

将接收的每条日志数据缓存在预先创建的阻塞队列中。

3.根据权利要求2所述的方法，其特征在于，所述数据存储方为Kafka分布式发布订阅消息系统，则所述发送所述包括主题信息的采集数据至数据存储方，包括：

基于预先创建的线程池，发送包括主题信息的日志数据至Kafka分布式发布订阅消息系统。

4.根据权利要求1所述的方法，其特征在于，在所述发送所述包括主题信息的采集数据至数据存储方之前，还包括：

获得黑白名单主题信息；

当所述采集数据对应的主题信息为黑名单主题信息或非白名单主题信息时，过滤掉所述采集数据；

当所述采集数据对应的主题信息为非黑名单主题信息或白名单主题信息时，触发发送所述包括主题信息的采集数据至数据存储方的相应主题所对应的存储位置处的步骤。

5.根据权利要求1所述的方法，其特征在于，还包括：

监控所述中间件的数据流量，并在数据流量异常时进行告警。

6.一种中间件，其特征在于，包括：

数据获取单元，用于获得数据采集方的采集数据；

主题生成单元，用于生成所述采集数据的主题信息，并封装所述采集数据及所述主题信息，得到包括主题信息的采集数据；

数据发送单元，用于发送所述包括主题信息的采集数据至数据存储方，以使数据存储方根据所述采集数据的主题信息将所述采集数据存储至相应主题所对应的存储位置处。

7.根据权利要求6所述的中间件，其特征在于，所述数据采集方为Flume日志系统，所述数据存储方为Kafka分布式发布订阅消息系统；

则所述数据获取单元，具体用于：

基于预定协议接收Flume日志系统采集的每条日志数据；将接收的每条日志数据缓存在预先创建的阻塞队列中；

相对应地，所述数据发送单元，具体用于：

基于预先创建的线程池，发送包括主题信息的日志数据至Kafka分布式发布订阅消息系统。

8.根据权利要求6所述的中间件，其特征在于，还包括：

黑白名单管理单元，用于：

获得黑白名单主题信息；当所述采集数据对应的主题信息为黑名单主题信息或非白名单主题信息时，过滤掉所述采集数据；当所述采集数据对应的主题信息为非黑名单主题信息或白名单主题信息时，触发所述发送单元。

9.根据权利要求6所述的中间件，其特征在于，还包括：

流量监控单元，用于监控所述中间件的数据流量，并在数据流量异常时进行告警。

10.一种数据管理系统，其特征在于，包括服务器集群，其中，所述服务器集群中的每个服务器部署有一个如权利要求6-9任一项所述的中间件。

11.根据权利要求10所述的系统，其特征在于，还包括：

负载均衡管理装置，用于对所述服务器集群中的各个服务器进行负载监控及管理，以使得所述服务器集群中各个服务器的负载均衡。