[发明专利]大数据监控方法、装置、设备及计算机可读存储介质

说明书

本发明涉及金融科技领域，并公开了一种大数据监控方法，包括如下步骤：获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。本发明还公开了一种大数据监控装置、设备和计算机可读存储介质。本发明提高了大数据监控的效率，降低了大数据监控过程中硬件设备资源的消耗。

技术领域

本发明涉及数据分析技术领域，尤其涉及大数据监控方法、装置、设备及计算机可读存储介质。

背景技术

近年来，互联网科技的飞速发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域。

金融业务的数据量和业务量指数增长，对处理金融业务的数据进行有效地监控，以保证业务正常变得尤为必要；目前大数据监控方案，监控人员配置监控算法，基于海量原始数据进行分析，从而发现数据异常，这种大数据监控方案每次执行监控时都消耗大量计算资源，需要等待较长的时间；若涉及到监控方案中监控规则调整时，则需重新扫描海量原始数据进行变量分析，海量原始数据的分析导致业务平台资源占用较多，使得业务平台不能响应正常的业务，业务平台自身形成交易瓶颈，也就是说当前的大数据监控方案，不可以进行高效地数据监控分析。

发明内容

本发明的主要目的在于提出一种大数据监控方法、装置、设备及计算机可读存储介质，旨在解决当前的大数据监控方案对硬件设备的资源占用大，不可以进行高效地数据监控分析的技术问题。

为实现上述目的，本发明提供一种大数据监控方法，所述大数据监控方法包括如下步骤：

获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

在一实施例中，所述大数据监控方法应用于大数据监控平台，所述获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标的步骤之前，包括：

搭建大数据监控平台，并建立所述大数据监控平台与分布式数据库之间的通信连接；

配置特征提取规则，通过所述特征提取规则处理所述分布式数据库中预存的原始数据，生成所述原始数据的特征指标；

将所述特征指标输入至预设阈值生成模型中，生成所述特征指标对应的特征阈值。

在一实施例中，所述获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标的步骤，包括：

获取更新的原始数据，对所述更新的原始数据进行数据清洗；

将清洗后的原始数据按照所述原始数据的数据类型分类统计，得到所述原始数据对应的每日特征指标；

统计预设周期内的每日特征指标，获得总量特征指标，将所述总量特征指标除以所述预设周期，获得平均特征指标；

将所述总量特征指标与上一期的总量特征指标进行比对，获得环比增长率，将所述总量特征指标与历史同期的总量特征指标进行比对，获得同比增长率，将所述环比增长率和所述同比增长率作为相对特征指标，将所述总量特征指标、所述平均特征指标和所述相对特征指标作为更新的原始数据的特征指标。