[发明专利]一种基于Flink流计算技术的多源异构数据实时处理系统及方法

说明书

本发明公开了一种基于Flink流计算技术的多源异构数据实时处理系统及方法，该系统包括：数据采集侧，通过日志方式和/或SDK方式和/或MQ方式获取分散在多个系统组件中的异构数据，经初步处理后以连续流的方式发送给Kafka；任务管理平台侧，配置数据源类型、配置异构数据的清洗和切分规则以及配置数据集的维度和指标，并于所有配置完成后基于Flink流计算技术启动数据实时处理任务，于数据实时计算后根据数据集定义存储；数据展现和输出侧，获取数据集的结果输出，本发明可对现有业务系统中输出的多种来源不同结构的数据进行分析，找到日志事件和业务之间的相关性，以帮助运维人员提高效率，为现有的业务分析系统提供补充。

技术领域

本发明涉及一种多源异构数据实时处理系统及方法，特别是涉及一种基于Flink流计算技术的多源异构数据实时处理系统及方法。

背景技术

在互联网+时代，为了适应业务的快速开发、弹性伸缩等需求，企业的IT系统架构正向Docker容器集群和微服务方向演进，这种架构提高了资源利用率、带来了更大的灵活性、支持高并发场景。

但是随着业务规模的扩大、服务之间调用关系复杂度的增加，日志输出量越来越多，在面对故障和性能问题时，分析的难度更大，因此，如何对系统输出的大量数据进行分析，找出其中有价值的信息，帮助运维人员提高效率，为现有的业务分析系统提供补充是亟待解决的问题，由此，多源异构数据实时处理技术应运而生。

目前，为解决当前问题，多源异构数据实时处理技术主要是通过建立自定义数据实时处理任务对文件日志、Agent输出、消息队列等多种来源输出的数据进行清洗切分，灵活地配置数据集的维度和指标生成时序数据，图形化展现数据集中的数据，根据已配置的报警规则通知联系人，减轻运维人员的压力，找到和业务相关的有价值信息。

然而，针对该问题，目前的多源异构数据实时处理技术的解决方法还存在一些不足之处：

1、没有提供可以构建数据清洗和切分规则的可视化图形界面，而是通过配置文件实现。

2、日志数据没有转换为结构化的时序数据，从而无法按照时间、维度进行指标值分组计算。

3、没有提供可配置的数据交互图表展现界面。

Flink是一个高效的基于内存计算的分布式数据处理平台，是Apache的顶级项目之一。它的核心是一个流式数据流引擎(Streaming dataflow engine)，提供了数据流的分布式数据分布、通信和容错功能，具有高效、可靠、可扩展等特性，并且与Hadoop生态系统有着很好的兼容性。Flink使用DataSet来描述并行计算的数据集，并对相应的数据集提供了丰富的诸如map、reduce、join、group之类数据处理接口。然而，目前，还未出现基于Flink流计算技术的多源异构数据实时处理技术。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于Flink流计算技术的多源异构数据实时处理系统及方法，通过对现有业务系统中输出的多种来源不同结构的大量数据进行分析，通过关键信息匹配业务经过的所有系统处理节点，找到日志事件和业务之间的相关性，帮助运维人员提高效率，为现有的业务分析系统提供补充。

为达上述目的，本发明提出一种基于Flink流计算技术的多源异构数据实时处理系统，包括：

数据采集侧，用于通过日志方式和/或SDK方式和/或MQ方式同时获取分散在多个系统组件中的异构数据，经过初步处理后以连续流的方式发送给Kafka；

任务管理平台侧，用于配置数据源类型、配置异构数据的清洗和切分规则以及配置数据集的维度和指标，并于所有配置完成后基于Flink流计算技术启动数据实时处理任务，并于数据实时计算后根据数据集定义存入存储单元；

数据展现和输出侧，用于获取数据集中的结果以图表方式展现或者通过接口方式输出。