[发明专利]数据处理方法、装置及设备和存储介质

说明书

本公开关于一种数据处理方法、装置及设备和存储介质。其中，一种数据处理方法包括：当位于内存中的数据需要写入磁盘时，确定需要写入磁盘的数据中指定数据的指标，上述指定数据由数据对应的配置信息确定，上述指标为针对指定数据进行数学处理后的数值；当确定完所有需要写入磁盘的数据中指定数据的指标时，将确定的所有指标输入消息队列；采用流处理引擎对消息对列中的所有指标进行聚合处理，得到统计结果。本公开实施例，当位于内存中的数据需要写入磁盘时，确定需要写入磁盘的数据中指定数据的指标，避免了先将数据写入磁盘，待确定数据指标时又需要从磁盘读出数据带来的频繁的IO操作，节省了资源和统计时长，更具及时性。

技术领域

本公开涉及通信领域，尤其涉及一种数据处理方法、装置及设备和存储介质。

背景技术

数据已经成为互联网企业非常依赖的新型重要资产，数据质量的好坏直接关系到信息准确度，也影响到企业的生存和竞争力。目前，可以采用数据抽取、转换和加载(Extract-Transform-Load，简称ETL)的方式整合数据，从而为企业的决策提供分析依据，其中，ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起。

目前，统计数据的方式是针对不同的业务表配置指标采集项，执行结构化查询语言(Structured Query Language，简称SQL)任务采集指标，然后基于一些监控规则，发送报警信息。

发明内容

本公开提供一种数据处理方法、装置及设备和存储介质，以至少解决相关技术中因频繁的IO操作导致的资源浪费和统计耗时长的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，包括：

当位于内存中的数据需要写入磁盘时，确定需要写入所述磁盘的数据中指定数据的指标，所述指定数据由所述数据对应的配置信息确定，所述指标为针对所述指定数据进行数学处理后的数值；

当确定完所有需要写入所述磁盘的数据中指定数据的指标时，将确定的所有指标输入消息队列；

采用流处理引擎对所述消息对列中的所有指标进行聚合处理，得到统计结果。

在一实施例中，所述确定需要写入所述磁盘的数据中指定数据的指标，包括：

将需要写入所述磁盘的数据分配给至少一个线程；

通过所述至少一个线程确定各自分配到的所述数据中指定数据的指标。

在一实施例中，所述通过所述至少一个线程确定各自分配到的所述数据中指定数据的指标，包括：

通过所述至少一个线程调用统计插件确定各自分配到的所述数据中指定数据的指标，所述统计插件用于获取对应的配置信息，并根据所述配置信息确定所述数据中指定数据的指标。

在一实施例中，所述采用流处理引擎对所述消息对列中的所有指标进行聚合处理，得到统计结果，包括：

获取每个指标携带的标识信息，所述标识信息包括时间标识；

采用所述流处理引擎根据所述标识信息确定聚合窗口；

对位于每个所述聚合窗口中的所有指标进行统计，得到所述统计结果。

在一实施例中，所述标识信息还包括用户标识。

根据本公开实施例的第二方面，提供一种数据处理装置，包括：

确定模块，被配置为当位于内存中的数据需要写入磁盘时，确定需要写入所述磁盘的数据中指定数据的指标，所述指定数据由所述数据对应的配置信息确定，所述指标为针对所述指定数据进行数学处理后的数值；