[发明专利]一种大数据的数据接入统一管理平台

权利要求书

1.一种大数据的数据接入统一管理平台，其特征在于：包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台；

其中，所述高可用+负载均衡模块连接所述数据采集集群模块，所述数据采集集群模块连接所述数据计算集群模块，所述分布式协同模块输出端连接所述数据采集集群模块及所述数据计算集群模块，所述WEB统一管理调度平台连接所述高可用+负载均衡模块、所述数据采集集群模块及所述数据计算集群模块。

2.根据权利要求1所述的平台，其特征在于：所述高可用+负载均衡模块为两层结构的负载均衡架构，即第一层的LVS处理模块和第二层的Nginx负载均衡模块，中间通过Redirect联通两层架构。

3.根据权利要求1所述的平台，其特征在于：所述分布式协同模块，用于所述数据采集集群模块和所述数据计算集群模块的协同。

4.根据权利要求1所述的平台，其特征在于：所述分布式协同模块基于Zookeeper组件实现所述协同。

5.根据权利要求1所述的平台，其特征在于：所述数据采集集群模块包括若干流式数据采集器A和若干批处理数据采集器B。

6.根据权利要求5所述的平台，其特征在于：所述数据采集集群模块，用于根据配置和业务需求，启动一个或多个采集服务，并根据所述分布式协同模块中的配置和注册的计算服务进行数据分发；发送日志数据到消息队列；接受消息队列中的补传消息，生成补传任务，作为批处理任务，对数据进行补传。

7.根据权利要求5所述的平台，其特征在于：所述数据计算集群模块，用于根据配置和业务需求，启动相应的计算服务，并将信息注册到所述分布式协同模块，接受采集集群发送的数据，经过计算后，根据配置发送到数据仓库或其他组件；发送日志数据到消息队列。

8.根据权利要求6或7所述的平台，其特征在于：所述平台还包括容错识别模块，所述容错识别模块用于从消息队列调取日志数据进行分析、统计。

9.根据权利要求1所述的平台，其特征在于：所述平台还包括执行单元和服务接口；所述执行器用于控制服务的启停、配置的下发以及集群监控；所述服务接口，用于为前端设备提供接口，以及通过与所述执行单元交互来执行用户操作。

10.根据权利要求1所述的平台，其特征在于：所述WEB统一管理调度平台，用于为用户提供统一管理调度平台，以实现对整个服务的维护。