[发明专利]业务数据处理方法、装置、设备及存储介质

说明书

本发明涉及数据监控领域，公开了一种业务数据处理方法、装置、设备及存储介质，用于提高异常数据检测的准确率。所述业务数据处理方法包括：获取运维监控中心的异构数据，并对异构数据进行标识提取，得到标识信息，根据标识信息查询初始数据表；对初始数据表进行属性提取，得到属性字段，并计算属性字段对应的属性值；根据转换规则对属性字段进行数据表转换，得到目标数据表；将目标数据表输入数据异常检测模型进行异常检测，得到检测结果；若检测结果为异常，则根据目标数据表生成告警信息，并将告警信息传输至终端，通过终端对告警信息进行可视化展示。此外，本发明还涉及区块链技术，告警信息可存储于区块链节点中。

技术领域

本发明涉及数据监控领域，尤其涉及一种业务数据处理方法、装置、设备及存储介质。

背景技术

在日常运维、重点保障、以及应急期间会产生的大量实时监控数据，因此需要快速的进行故障分析和问题定位使数据可视化，让运维人员可以浏览大量的数据，并迅速发现异常数据或探测将来的趋势和问题。

现有方案通过可视化工具对数据进行底层的异常检测，但是其监控图形显示过于简单，且运维方面较弱，即现有方案的准确率低。

发明内容

本发明提供了一种业务数据处理方法、装置、设备及存储介质，用于提高异常数据检测的准确率。

本发明第一方面提供了一种业务数据处理方法，所述业务数据处理方法包括：获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

可选的，在本发明第一方面的第一种实现方式中，在所述对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值之后，所述根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表之前，所述业务数据处理方法还包括：调用预置的转换规则库并根据所述标识信息查询所述标识信息对应的转换规则；若所述转换规则库中存在与所述标识信息对应的预设转换规则，则将所述预设转换规则作为所述标识信息对应的转换规则；若所述转换规则库中不存在与所述标识信息对应的所述预设转换规则，则将所述初始数据表发送至预置的数据库中心；接收所述数据库中心返回的通用转换规则，将所述通用转换规则作为所述标识信息对应的转换规则，并将所述通用转换规则和所述标识信息存储至所述转换规则库中。

可选的，在本发明第一方面的第二种实现方式中，所述业务数据处理方法还包括：计算所述目标数据表和所述初始数据表的相似度；判断所述相似度是否超过预设目标值；若超过，则执行所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若不超过，则生成报错信息，并将所述报错信息传输至所述运维监控中心。

可选的，在本发明第一方面的第三种实现方式中，所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果，包括：对所述目标数据表进行二维转换，得到二维向量；将所述二维向量输入预置的数据异常检测模型进行时序数据重构，得到输出向量；调用预置损失函数计算所述二维向量和所述输出向量的损失值，并判断所述损失值是否超过预置损失阈值；若是，则确定所述目标数据表存在异常并生成检测结果为异常；若否，则将所述目标数据表发送至预置的审核中心。

可选的，在本发明第一方面的第四种实现方式中，在所述若否，则将所述目标数据表发送至预置的审核中心之后，所述业务数据处理方法还包括：通过所述审核中心对所述目标数据表和所述初始数据表进行核验，得到核验后的数据表；接收所述核验后的数据表，并将所述核验后的数据表作为标准数据表存储至所述运维监控中心。