[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据处理方法、装置、设备及存储介质，所述方法包括：获取待处理数据，确定所述待处理数据关联的数据分层特征；根据所述数据分层特征对所述待处理数据进行数据分层，得到至少一个分层数据；基于所述分层数据对所述待处理数据进行处理，得到所述待处理数据的数据处理结果。本发明实施例提供的方法通过根据数据分层特征对待处理数据重新分层，基于重新分层后的分层数据进行数据处理，实现了大数据不均匀情况下的均匀数据处理。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

随着业务的开展和业务量的增多，会使数仓中累积的数据会越来越大，而分析历史数据可以得到业务的历史情况，分析新增的数据可以看到最近业务的进展。基于这样的背景下，大数据量的分析需求迫切，但是数仓数据的累加往往不均匀，如何对不均匀的数据进行均匀处理是一个亟待解决的技术问题。

发明内容

本发明实施例提供了一种数据处理方法、装置、设备及存储介质，以实现在大数据量不均匀情况下的均匀数据处理。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理数据，确定待处理数据关联的数据分层特征；

根据数据分层特征对待处理数据进行数据分层，得到至少一个分层数据；

基于分层数据对待处理数据进行处理，得到待处理数据的数据处理结果。

可选的，进一步的，所述确定所述待处理数据关联的数据分层特征，包括：

确定所述待处理数据的数据类型，根据所述数据类型确定所述数据分层特征。

可选的，进一步的，所述确定所述待处理数据关联的数据分层特征，包括：

获取所述待处理数据的业务标识，根据所述业务标识确定所述数据分层特征。

可选的，进一步的，所述基于所述分层数据对所述待处理数据进行处理，得到所述待处理数据的数据处理结果，包括：

针对每个所述分层数据，对所述分层数据进行处理，得到所述分层数据的分层处理结果；

将所述分层处理结果合并去重，得到所述数据处理结果。

可选的，进一步的，在根据所述数据分层特征对所述待处理数据进行数据分层之前，还包括：

根据所述待处理数据中子数据包的数据特征确定所述子数据包的处理模式，得到离线处理数据；

相应的，所述根据所述数据分层特征对所述待处理数据进行数据分层，包括：

根据所述数据分层特征对所述离线处理数据进行数据分层。

可选的，进一步的，所述处理模式包括实时处理和离线处理，所述根据所述待处理数据中子数据包的数据特征确定所述子数据包的处理模式，得到离线处理数据，包括：

当所述子数据包的数据量大于预设的数据量阈值时，确定所述子数据包的处理模式为离线处理；

当所述子数据包的数据量不大于预设的数据量阈值时，确定所述子数据包的处理模式为实时处理；

将数据模式为离线处理的子数据包作为所述离线处理数据。

可选的，进一步的，所述方法还包括：

将所述数据处理结果与数据库中的历史处理结果合并去重后添加至数据库中。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

分层特征确定模块，用于获取待处理数据，确定待处理数据关联的数据分层特征；