[发明专利]基于Flink和Kafka实时监控销售数据的方法、系统及装置

说明书

本发明是有关于一种基于Flink和Kafka实时监控销售数据的方法、系统及装置。所述方法包括：由Kafka消息队列获取由用户消费而产生的实时销售数据；采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额。本发明基于Flink和Kafka实时监控销售数据的方法、系统及装置提高了对销售数据进行分析处理的实时性。

技术领域

本发明涉及大数据处理分析技术领域，特别是涉及一种基于Flink和Kafka实时监控销售数据的方法、系统及装置。

背景技术

在电子商务蓬勃发展的时代背景下，“双十一”购物节已经连续成功上演了十年。有专家指出，今年“双十一”的亮点总体上来讲可以概括为“四好+两通”，具体包括“好货”、“好玩”、“好服务”、“好品质”、“通全球”、“线上线下通”。“双十一”早已不仅是天猫的节日，更是全中国、全世界的商家与消费者的盛大节日，也是全球商业力量的大巡礼，成为了商业领域的奥林匹克。

“双十一”形成的海量交易意味海量的交易数据。海量数据中必然蕴含着海量信息。因而，对这些海量的交易数据的进一步分析处理成为了业界人士的关注焦点。然而，现有的大数据处理系统大部分都只能处理静态的数据，分析过程的实时性不强，难以满足对交易数据进行实时分析、实时监控的要求。

发明内容

本发明要解决的技术问题是提供一种基于Flink和Kafka实时监控销售数据的方法、系统及装置，通过采用数据流为大数据分析处理的基本数据结构，大大提高了对销售数据进行分析处理的实时性。

为解决上述技术问题，本发明提供了一种基于Flink和Kafka实时监控销售数据的方法，所述方法包括：由Kafka消息队列获取因用户消费而产生的实时销售数据，且所述实时销售数据为数据流；采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额，且所述实时交易额为数据流。

作为本发明技术方案的一种改进，由Kafka消息队列获取因用户消费而产生的实时销售数据，包括：由Kafka消息队列获取以数据流为数据结构的实时销售数据，实时销售数据包括：客户编号、价格、客户所属城市、交易商品编号。

作为本发明技术方案的一种改进，实时销售数据由用户标识动作、用户点击动作及交易业务动作产生。

作为本发明技术方案的一种改进，采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额，包括：采用Flink分布式运算系统，解析实时销售数据；采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计，得到用户消费的实时交易额，其中，对实时销售数据的解析结果及实时交易额均为数据流。

作为本发明技术方案的一种改进，采用Flink分布式运算系统，解析实时销售数据，包括：采用Flink分布式运算系统，将实时销售数据解析为包括价格字符串及价格整数的元组；则，采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计而得到的统计结果为总交易额的实时统计。

作为本发明技术方案的一种改进，采用Flink分布式运算系统，解析实时销售数据，包括：采用Flink分布式运算系统，将实时销售数据解析为包括城市字符串及价格整数的元组；则，采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计而得到的统计结果为区分城市交易额的实时统计。

作为本发明技术方案的一种改进，还包括：在由Kafka消息队列获取因用户消费而产生的实时销售数据之前，利用Filebeat日志分析器监控系统日志，并将包含实时销售数据的日志条目输出至Kafka消息队列。