[发明专利]一种大数据的数据接入统一管理平台

说明书

本申请提供了一种大数据的数据接入统一管理平台，其特征在于：包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台。通过设置统一的接入管理平台，可以针对具有不同输入、输出方式的处理功能及对应数据进行统一管理，不再需要各数据采集环节分别编写独立程序或脚本，有效降低开发、维护难度，也显著提高了平台的性能及稳定性。

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种大数据的数据接入统一管理平台。

背景技术

随着大数据技术与应用的逐渐普及，越来越多的公司在面对日益增多的业务和数据增长时选择拥抱大数据。但是随着公司的发展，业务不断扩展，数据呈现爆炸式增长态势，数据采集工作作为大数据工作的基础，变得尤为重要，同时也面临着更多问题与挑战。

虽然文件存储和计算已采用分布式集群方案，但是数据采集环节多为编写独立程序或脚本，甚至BS架构的采集工具。由此便产生了一系列的问题，如单点故障，性能、稳定性一般，计算资源分配、利用不合理，难于统一维护管理等一系列问题。例如：

1)数据输入输出多为本地磁盘或RDBMS，方式相对单一。随着业务变得越来越复杂，需要不断的开发适配不同输入、输出方式的处理功能，开发、维护难度不断增加。

2)现有架构下，各组件之间相对独立，结构松散。每个组件需要各自维护，且组件间关联、依赖关系维护困难，复杂业务场景下更是很难维护且容易误操作。

3)数据采集过程中，缺少必要的稽核统计。缺乏对数据资产的管理，且数据出现问题时不易发现和排查。

4)容错能力差。当发生网络波动、中断或者其它情况导致数据采集异常，数据容易发生缺失或者产生脏数据，数据质量下降。

发明内容

针对上述技术问题，本申请提供了一种大数据的数据接入统一管理平台。

一种大数据的数据接入统一管理平台，包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台；

其中，所述高可用+负载均衡模块连接所述数据采集集群模块，所述数据采集集群模块连接所述数据计算集群模块，所述分布式协同模块输出端连接所述数据采集集群模块及所述数据计算集群模块，所述WEB统一管理调度平台连接所述高可用+负载均衡模块、所述数据采集集群模块及所述数据计算集群模块。

可选地，所述高可用+负载均衡模块为两层结构的负载均衡架构，即第一层的LVS处理模块和第二层的Nginx负载均衡模块，中间通过Redirect联通两层架构。

可选地，所述分布式协同模块，用于所述数据采集集群模块和所述数据计算集群模块的协同。

可选地，所述分布式协同模块基于Zookeeper组件实现所述协同。

可选地，所述数据采集集群模块包括若干流式数据采集器A和若干批处理数据采集器B。

可选地，所述数据采集集群模块，用于根据配置和业务需求，启动一个或多个采集服务，并根据所述分布式协同模块中的配置和注册的计算服务进行数据分发；发送日志数据到消息队列；接受消息队列中的补传消息，生成补传任务，作为批处理任务，对数据进行补传。

可选地，所述数据计算集群模块，用于根据配置和业务需求，启动相应的计算服务，并将信息注册到所述分布式协同模块，接受采集集群发送的数据，经过计算后，根据配置发送到数据仓库或其他组件；发送日志数据到消息队列。

可选地，所述平台还包括容错识别模块，所述容错识别模块用于从消息队列调取日志数据进行分析、统计。