[发明专利]数据监控方法、装置、电子设备及存储介质

说明书

本发明涉及大数据领域，揭露了一种数据监控方法，包括：获取历史数据集及实时数据集，从实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；基于预设的时间戳，采集历史数据集的异常历史数据变化量，根据异常历史数据变化量，配置历史数据集的异常历史数据传输幅度值；基于时间戳，采集异常实时数据集的异常实时数据变化量，根据异常实时数据变化量，配置异常实时数据集的异常实时数据传输幅度值，根据异常实时数据传输幅度值和异常历史数据传输幅度值，执行正常实时数据集在业务系统中的传输。此外，本发明还涉及区块链技术，所述数据监控任务可存储于区块链中。本发明可以提高数据监控的准确性。

技术领域

本发明涉及大数据领域，尤其涉及一种数据监控方法、装置、电子设备及计算机可读存储介质。

背景技术

在业务系统中，业务系统数据是通过每天大数据跑批来更新业务系统中的历史数据，数据监控用于监控大数据跑批的过程中一些标准及规范不够严格的数据，以防止这些标准及规范不够严格的数据流入业务系统中，造成业务系统无法正常运行。

目前，数据监控通常采用数据字段级规则来监控并设置阻断数据流入业务系统中，由于现有数据字段级粒度粗以及数据字段格式随意性，会有可能把正常可用数据一起阻断，从而影响数据监控的准确性。

发明内容

本发明提供一种数据监控方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据监控的准确性。

为实现上述目的，本发明提供的一种数据监控方法，包括：

获取历史数据集及实时数据集，从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；

基于预设的时间戳，采集所述历史数据集的异常历史数据变化量，根据所述异常历史数据变化量，配置所述历史数据集的异常历史数据传输幅度值；

基于所述时间戳，采集所述异常实时数据集的异常实时数据变化量，根据所述异常实时数据变化量，配置所述异常实时数据集的异常实时数据传输幅度值；

判断所述异常实时数据传输幅度值是否大于所述异常历史数据传输幅度值；

若所述异常实时数据传输幅度值大于所述异常历史数据传输幅度值，则对所述正常实时数据集进行阻断；

若所述异常实时数据传输幅度值不大于所述异常历史数据传输幅度值，则将所述正常实时数据集传输至业务系统中。

可选地，所述从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集，包括：

筛选出所述实时数据集中的重复数据，得到第一异常实时数据集；

筛选出所述实时数据集中的异常值数据，得到第二异常实时数据集；

将所述第一异常实时数据集和所述第二异常实时数据集进行汇总，得到所述异常实时数据集；

从所述实时数据集中剔除所述异常实时数据集，得到正常实时数据集。

可选地，所述筛选出所述实时数据集中的重复数据，得到第一异常实时数据集，包括：

计算所述实时数据集中任意两个实时数据的距离值，在所述实时数据集中任意两个实时数据的距离值小于预设阈值时，筛选出任意一个实时数据作为第一异常实时数据，根据所述第一异常实时数据，得到所述第一异常实时数据集。

可选地，所述计算所述实时数据集中任意两个实时数据的距离值包括：

利用下述方法计算所述实时数据集中任意两个实时数据的距离值：