[发明专利]数据处理方法、数据处理装置、电子设备和存储介质

说明书

本公开提供了一种数据处理方法，包括：从管理驾驶舱的数据库中获取待处理数据表，其中，待处理数据表中包括多个第一业务数据，待处理数据表的每一列表征一个业务维度，待处理数据表的每一行表征一个业务数据组；对于每个第一业务数据，将第一业务数据输入与第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果；在检测结果表示第一业务数据为异常数据的情况下，将第一业务数据所属的目标业务数据组中的其他第一业务数据输入与目标业务数据组对应的预测模型中，输出得到第二业务数据；以及使用第二业务数据对数据库中的第一业务数据进行替换。本公开还提供了一种数据处理装置、电子设备、计算机存储介质和计算机程序产品。

技术领域

本公开涉及数据处理技术领域和金融领域，更具体地，涉及一种数据处理方法、一种数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。

背景技术

管理驾驶舱是一款为企业提供的指标分析型系统，致力于打破数据隔离，实现指标分析。管理驾驶舱通过详尽的指标体系使采集到的数据形象化、直观化、具体化，实时反映企业的运行状态。管理驾驶舱系统中的实时运营数据对业务的分析决策起着关键的作用。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：管理驾驶舱作为数据使用环节的最末端，如果中间的数据处理环节出现问题，会使驾驶舱的实时数据出现异常。

发明内容

有鉴于此，本公开提供了一种数据处理方法、一种数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的第一个方面，提供了一种数据处理方法，包括：

从管理驾驶舱的数据库中获取待处理数据表，其中，上述待处理数据表中包括多个第一业务数据，上述待处理数据表的每一列表征一个业务维度，上述待处理数据表的每一行表征一个业务数据组；

对于每个上述第一业务数据，将上述第一业务数据输入与上述第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果；

在上述检测结果表示上述第一业务数据为异常数据的情况下，将上述第一业务数据所属的目标业务数据组中的其他第一业务数据输入与上述目标业务数据组对应的预测模型中，输出得到第二业务数据；以及

使用上述第二业务数据对上述数据库中的第一业务数据进行替换。

根据本公开的实施例，还包括：

通过数据采集组件采集系统运行过程中产生的报文数据；

通过流计算引擎对上述报文数据进行组合，得到上述业务数据组；以及

将上述业务数据组通过通信链路传输并存储至位于上述数据库的上述待处理数据表中。

根据本公开的实施例，上述方法还包括：

从上述数据库中获取与上述目标业务维度相关联的历史业务数据集；以及

基于指数平滑方法，利用上述历史业务数据集构建得到与上述目标业务维度对应的异常检测模型，其中，上述异常检测模型基线检测模型、线性倾向检测模型和时间趋势检测模型。

根据本公开的实施例，其中，上述将上述第一业务数据数据输入与上述第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果，包括：

将上述第一业务数据输入上述异常检测模型中，输出预测得到的第三业务数据；

计算上述第一业务数据与上述第三业务数据的差值；

基于上述差值，确定上述第一业务数据的置信区间；以及

基于上述第一业务数据与上述置信区间的位置关系，得到上述检测结果。