[发明专利]一种基于Flink的实时计算方法及系统

说明书

本发明涉及一种基于Flink的实时计算方法及系统，该方法包括如下步骤：(1)实时数据的获取：获取用于计算的数据源至接入层，触发实时计算；(2)实时数据的清洗和分析处理：采用实时流计算引擎Flink对获取的数据源进行实时的数据清洗和计算，聚合计算结果；(3)实时计算结果持久化：对计算结果进行持久化并完成数据分发。与现有技术相比，本发明方法及系统能够建立高吞吐量、低延迟、高性能的实时计算，满足对业务数据改变的实时地监控和响应，为实时采集客户行为、实时营销计算、实时风险监测等不同场景提供有效服务。

技术领域

本发明涉及一种实时计算方法及系统，尤其是涉及一种基于Flink的实时计算方法及系统。

背景技术

面向服务的架构(SOA)将企业内部拆分为不同的独立系统，每个系统分别使用各自独立的数据库，这种模式解决了业务系统扩展的问题，但是业务交易数据过于分散在不同的系统中，很难将数据进行集中化管理，对于企业内部进行数据分析或者数据挖掘之类的应用，则需要从不同数据库中进行数据抽取，将数据从数据库中周期性地同步到数据仓库中，然后在数据仓库中进行数据的抽取、转换、加载(ETL)，从而构建成不同的数据集市和应用，提供给业务系统使用。

大数据技术的兴起让企业能够更加灵活高效地使用自己的业务数据，从数据中抽取出更多重要的价值，并将数据分析和挖掘出来的结果应用在企业的抉择、营销、管理等应用领域。但是对于一些时间要求比较高的应用，例如实时预警、实时报表统计，则对实时计算提出了较高的要求。

现有实时计算，在实时预警应用中通过定时扫描范围时间内变化的数据，结合行内客户、客户经理信息，推送大额动等账信息到客户经理。实时预警应用单机运行，吞吐量较小，有一定压力。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Flink的实时计算方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于Flink的实时计算方法，该方法包括如下步骤：

(1)实时数据的获取：获取用于计算的数据源至接入层，触发实时计算；

(2)实时数据的清洗和分析处理：采用实时流计算引擎Flink对获取的数据源进行实时的数据清洗和计算，聚合计算结果；

(3)实时计算结果持久化：对计算结果进行持久化并完成数据分发。

步骤(1)实时数据的获取包括两种方式：

一、通过数据准实时复制工具和数据交换平台从各源系统获取数据源，进行数据持久化落地到实时明细数据层，再采用微批量的方式从持久层取出实时数据放入接入层；

二、通过KAFKA消息队列的方式获取数据源至接入层的KAFKA消息队列中。

步骤(3)计算结果首先会存入统一的实时汇总数据层进行持久化，实时汇总数据层落地到Hadoop的Hbase上，然后再按不同的应用场景进行数据分发。

按不同的应用场景进行数据分发具体包括：

(a)计算结果数据集与原生数据相比没有数量级上的变化且需要提供实时查询，则该计算结果数据集保存到HBASE并向外提供数据服务；

(b)计算结果数据集与原生数据相比在数量上有明显的增大且有准实时数据要求，则把计算结果数据集保存到Hadoop上的HDFS上，再通过Hadoop的离线计算与其他非埋点数据进行关联，最后提供数据服务；

(c)计算结果数据集与原生数据相比在数量上有明显的减少，则将计算结果数据集写入关系型数据库中，然后提供数据服务；