[发明专利]一种大数据处理方法、装置、系统、设备和存储介质在审
申请号: | 202011127509.4 | 申请日: | 2020-10-20 |
公开(公告)号: | CN112256734A | 公开(公告)日: | 2021-01-22 |
发明(设计)人: | 朱伟伟;徐烨;陈萌;杜锐;薛飞;牛佩云;张子奇;蒋威 | 申请(专利权)人: | 中国农业银行股份有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/215 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘颖 |
地址: | 100005 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 系统 设备 存储 介质 | ||
本申请公开了一种大数据处理方法、装置、系统、设备和存储介质,按照第一业务规则,对历史数据进行统计,得到数据统计结果。获取实时流数据,并按照第二业务规则,对实时流数据进行实时处理,得到实时处理结果,通过预设窗口展示实时处理结果。在触发业务汇总任务的情况下,按照业务汇总任务所指示的业务规则,对数据统计结果和实时处理结果进行汇总,得到业务汇总结果。相较于现有技术,本申请直接对数据统计结果和实时处理结果进行汇总,能够减少大量计算资源的浪费。并且,按照第一业务规则对历史数据进行统计,能够为流计算引擎减轻计算负担,避免流计算引擎额外开辟窗口处理历史数据,减少计算资源的浪费。
技术领域
本申请涉及大数据技术领域,尤其涉及一种大数据处理方法、装置、系统、设备和存储介质。
背景技术
随着业务的发展,越来越多的场景用到流式计算,流计算引擎随之得到蓬勃发展。在实际应用中,流计算引擎的计算能力往往与计算资源相关,占用的计算资源越多则计算能力越强。
目前,在利用流计算引擎进行长窗口(一种现有术语,用于表示数据处理窗口,其工作时间较长,例如银行的全天候业务监控窗口)大数据处理的过程中,需要置办大量的硬件设备,保障流计算引擎的计算能力。但是,长窗口大数据处理过程并不是时刻都需求高强度的计算能力,明显的,现有技术不可避免地会造成大量计算资源的浪费。
发明内容
申请人发现:在利用窗口监控业务数据(例如,工作时长为30天的监控窗口,该监控窗口监控业务在30天内所发生的实时流数据,并按照业务规则对实时流数据进行计算,得到计算结果)的场景下,各种流计算引擎都均显乏力,其主要原因是:在利用长窗口监控业务数据的场景下,流计算引擎不仅需要存储海量的数据计算结果,同时还得开辟数量较多的窗口针对不同时间段、不同类型的数据进行处理(例如进行数据清洗、转换、加工等),额外开辟数量较多的窗口处理数据会消耗巨大的计算资源。
因此,本申请提供了一种大数据处理方法、装置、系统、设备和存储介质,目的在于提供一种行之有效的大数据处理方法,在利用流计算引擎进行长窗口大数据处理过程中,避免流计算引擎额外开辟窗口处理历史数据,减少计算资源的浪费。
为了实现上述目的,本申请提供了以下技术方案:
一种大数据处理系统,其特征在于,包括:
批计算引擎和流计算引擎;
所述批计算引擎,用于按照第一业务规则,对历史数据进行统计,得到数据统计结果;所述第一业务规则为,针对数据处理时长大于预设阈值的数据处理任务,预先制定的业务规则;
所述批计算引擎,还用于按照预设间隔时间,将所述数据统计结果发送给所述流计算引擎;
所述流计算引擎,用于获取实时流数据,并按照第二业务规则,对所述实时流数据进行实时处理,得到实时处理结果,通过预设窗口展示所述实时处理结果;所述第二业务规则为,针对所述数据处理时长不大于所述预设阈值的数据处理任务,预先制定的业务规则;
所述流计算引擎,还用于在触发业务汇总任务的情况下,按照所述业务汇总任务所指示的业务规则,对所述数据统计结果和所述实时处理结果进行汇总,得到业务汇总结果,并通过所述预设窗口展示所述业务汇总结果;所述业务汇总任务为,在预设周期时间内对所述历史数据和所述实时流数据进行汇总的任务。
可选的,还包括:
数据同步引擎;
所述数据同步引擎,用于按照所述预设间隔时间,将所述数据库中预存的所述历史数据发送给所述批计算引擎。
可选的,所述数据同步引擎还用于:
接收所述批计算引擎发送的所述数据统计结果,并将所述数据统计结果发送给所述流计算引擎。
可选的,所述数据同步引擎还用于:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业银行股份有限公司,未经中国农业银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011127509.4/2.html,转载请声明来源钻瓜专利网。