[发明专利]用于实时处理数据的方法、系统、电子设备及存储介质

说明书

本发明公开一种用于实时处理数据的方法，应用于实时处理数据的系统，所述系统包括接收模块、判断模块以及处理模块，方法包括：所述接收模块从设备端接收数据，其中，所述设备端用于完成订单中商品的制作；所述判断模块判断所述数据是否是交易信息数据，在所述数据是交易信息数据的情况下，所述接收模块发送调用信息给所述处理模块；所述处理模块接收所述调用信息，基于业务指标对所述交易信息数据进行处理，以得到业务指标数据，所述业务指标数据用于表征所述业务指标。本申请中，由于加入了判断的步骤，并且在判断结果是接收到的数据是交易信息数据的情况下，才调用处理模块，因此处理模块并不是一直都都处于工作状态，从而可以节省成本。

技术领域

本发明涉及大数据技术领域，特别是一种用于实时处理数据的方法、一种用于实时处理数据的系统、一种电子设备以及一种存储介质。

背景技术

随着科技技术的发展，绝大多数的企业基于业务需求都具有对数据实时处理的需求。一般地，目前大多数企业采用的实时数据处理架构都是基于一些成熟的开源数据处理框架，例如Spark Streaming、Apache Flink等。Spark Streaming适用于大量数据的快速处理，其核心思想是数据微批化，当批处理的数据窗口极小时可以近似地认为是数据流处理，可实现实时数据的快速扩展，具有高吞吐量、高容错处理的特点；Apache Flink同样是适用于大量数据的快速处理，而且更加主流，采用流批一体的思想，真正地处理流式数据，Flink最大特点在于其实时计算的正确性保证，原生支持事件时间，支持延时数据处理，由于Flink本身基于原生数据流计算，可以达到毫秒级低延时。

具体地，目前的实时数据处理架构主要包括存储单元和基于Apache Flink或者Spark Streaming架构的处理单元，其中存储单元，用于存储设备端上传的数据，处理单元用于实时的监控存储单元中是否有新的数据被存储进来，并且还用于对上传到所述存储单元中的数据进行实时处理。

其中，关于设备端，例如，在零售领域，设备端可以理解为制作饮品的设备，例如自动咖啡售卖机。设备端上传到存储单元的数据可以包括两类，一类是业务数据，一类是日志记录。其中，业务数据主要包含交易信息数据和设备信息数据，具体地，交易信息数据包括订单金额、订单明细、饮品类型、优惠信息等；设备信息主要包括设备状态、物料状态等。日志记录可以理解为一些即时的消息，比如设备上线了，产生一条记录、设备下线了，又产生一条记录等。

关于处理单元，根据上文的描述，处理单元需要一直监控存储单元中是否有新的数据被存储进来，如果有新的数据被存到了存储单元中，则处理单元就会基于业务指标对这一部分数据进行实时处理，从而得到业务指标数据，其中业务指标可以是设备维度的，例如A设备当天完成的订单数，A设备当天不同时段(小时维度)完成的订单数；再比如，也可以是周维度下A设备的完成的订单数、饮品总杯数、订单总金额；又或者有很多设备，设备会租赁给不同的租户，这种情况下，业务指标也可以是不同租户当天的实时订单流水和订单数、不同租户当天不同时间段的实时订单流水和订单数(小时维度)、不同租户当天不同饮品的销售杯数和金额倒排序，不同租户周维度下销售订单数、销售杯数、销售金额、不同租户月维度下销售订单数、销售杯数、销售金额等。因此，这里的实时处理可以理解为是基于不同的业务指标对接收到的数据进行数据处理后，从而得到表征业务指标的业务指标数据。

根据以上介绍可知，现有技术中的实时处理架构中的处理单元需要一直处理工作状态，即使是没有新的数据被存储到存储单元中，也需要一直去监控。这样，由于处理单元需要一直处于工作状态，从而会导致成本很高，而且像Spark Streaming、Apache Flink等原生级别的数据处理框架虽然功能强大，框架成熟，但是对于数据量相对不是很大的企业来说，利用这种成熟的数据框架搭建的实时数据处理架构无论是开发成本还是运维成本都比较高。

因此，需要提供一种新的实时处理数据的方法，以减少开发成本和运维成本。

发明内容