[发明专利]基于flink的实时聚合报表方法、电子设备及可读存储介质

说明书

本发明公开了一种基于flink的实时聚合报表方法、电子设备及可读存储介质，涉及大数据技术领域，该方法包括以下的步骤：S1、初始化报表数据；S2、实时同步数据库的明细数据；S3、日报表数据的实时处理；S4、月报表数据的实时处理；S5、年报表的实时处理；本发明的有益效果是：能够实时响应运营日、月、年报表数据请求，满足高并发场景使用。

技术领域

本发明涉及大数据技术领域，更具体的说，本发明涉及一种基于flink的实时聚合报表方法、电子设备及可读存储介质。

背景技术

现有技术中，对于实时数据的需求越来越多，多个独立的实时任务会造成很大的集群资源的浪费，付出较高的开发运维成本，因此需要一个统一的实时数据仓库来提高任务扩展性，节约集群资源。

对于企业运营需要使用的业务日、月、年报，目前可使用的技术有：(1)采用日常的跑批处理机制，利用Shell脚本与传统型数据库交互即可实现；(2)使用以Hadoop为代表的大数据离线处理机制实现。

上述两种方式均存在缺陷：第一种方式，实现简单，对大数据量的跑批处理会短时间内增加传统型型数据库的I/O压力，甚至耗尽数据库资源，出现宕机；第二种方式，使用了大数据的Hadoop技术，可分解短时间的跑批处理压力，但报表的生成时效性较低，且若报表生成后数据有变动，则不支持即时处理，需要重新生成数据方可解决；同时，对已生成的报表若需要调整，则需重新开发。

发明内容

为了克服现有技术的不足，本发明提供一种基于flink的实时聚合报表方法、电子设备及可读存储介质，能够实时响应运营日、月、年报表数据请求。

第一方面，本发明提供了一种基于flink的实时聚合报表方法，其改进之处在于，该方法包括以下的步骤：

S1、初始化报表数据，初始化日报表、月报表以及年报表的数据，并保存在MongoDB数据库对应的明细表中；

S2、实时同步数据库的明细数据，定时拉取明细表中的数据，将需要的字段数据发送到Kafka；

S3、日报表数据的实时处理，通过flink实时聚合Kafka上的数据，调整聚合的时间窗口，将聚合处理后的数据存储到MongoDB数据库的日报表中；

在flink中将新增、删除以及更新的数据分成不同的stream流进行处理，再将处理的结果sink到相应的日报表中；

S4、月报表数据的实时处理，在将数据落地到日报表之前会将所有的更新、删除的数据转换成增加的数据，在月报表数据处理时在flink消费Kafka数据只有增加数据，将时间窗口内具体的数据直接累加到已有的值中，最后落地到MongoDB数据库相应的月报表中；

S5、年报表的实时处理，在将数据落地到月报表之前将所有的月报表数据发送到kafka，在年报表数据处理时flink消费kafka数据时只有增加数据，将时间窗口内聚合的数据直接累加到已有的值中，最后落地到mongodb数据库相应的年报表中。

进一步的，所述的步骤S2中，通过定时程序定时拉取明细表的数据。

进一步的，所述的步骤S2中，根据业务需求将需要的字段数据发送到Kafka。

进一步的，所述的步骤S3中，经过聚合处理后的数据占明细表数据的5％以下。

进一步的，所述的步骤S3中，在flink中通过OutputTag结合SpitStream，将新增、删除以及更新的数据分成不同的stream流进行处理。

进一步的，所述的步骤S3中，在flink中将新增、删除以及更新的数据分成不同的stream流进行处理之前，还包括以下的步骤：

将删除的累计聚合操作转换成新增数据进行处理；