[发明专利]异常数据分拣方法、装置、计算设备及计算机存储介质

说明书

本发明实施例涉及移动通信技术领域，公开了一种异常数据分拣方法、装置、计算设备及计算机存储介质，该方法包括：获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；根据所述历史主键数据获取实时参数模型；根据所述历史主键数据以及所述实时参数模型获取实时数据；对所述实时数据进行一致性分析，并获取异常数据。通过上述方式，本发明实施例能够弥补现有的比对的不实时性和不准确性，可以有效的稽核出真实差异数据，避免产生多余的异常数据。

技术领域

本发明实施例涉及移动通信技术领域，具体涉及一种异常数据分拣方法、装置、计算设备及计算机存储介质。

背景技术

在移动通信领域，用户的信息、资料、账户金额，根据配置的公共稽核规则和业务稽核模板对数据进行稽核比对后，由于会随着一些业务的订购或者一些其他业务的变更导致一些数据的变化，需要将一些信息记录下来，在后续包含产品订购、资金充值、网络使用、计费出账、销账欠费、结算酬金到入账等操作后数据是否一致，需要与之前的数据进行稽核校验，分拣出真实的异常差异数据进行修复。

对于生产系统内部数据，如果直接去比对，首先移动通信领域的生产数据极其庞大且在实时变化，进行全量数据实时稽核会对生产系统产生较大压力，数据获取上也会比较耗时且稽核效率比较低下。稽核平台首先采用的是采集+稽核的方式进行批量稽核，通过采集前一天的数据到稽核数据库然后进行比对，这样首先会稽核出一批异常的数据，经过对差异数据分析后，会过滤掉一些差异数据，剩下的数据需要进行修复，但是由于数据可能是前一天的数据采集过来的，所以在修复和采集之间有很长的一段时间，数据可能被人工修复或发生其他变化。

现有稽核比对存在如下缺陷：数据是采集过来的，实时性不强，比对出来的数据可能与生产系统当前数据已存在误差，误判率较高。当数据和生产实时数据存在误差时，以此份数据对生产系统进行数据修复时容易造成生产数据更不准确。

发明内容

鉴于上述问题，本发明实施例提供了一种异常数据分拣方法、装置、计算设备及计算机存储介质，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种异常数据分拣方法，所述方法包括：获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；根据所述历史主键数据获取实时参数模型；根据所述历史主键数据以及所述实时参数模型获取实时数据；对所述实时数据进行一致性分析，并获取异常数据。

在一种可选的方式中，所述获取历史稽核数据并根据所历史稽核数据进行离线对比获取历史主键数据，包括：获取所述历史稽核数据并建立包括多个稽核节点的稽核流程；根据所述稽核流程收集主键字段；根据所述主键字段对所述历史稽核数据进行离线对比获取所述历史主键数据。

在一种可选的方式中，所述根据所述历史主键数据获取实时参数模型，包括：根据所述历史主键数据对所述主键字段进行业务分析，获取属性字段以及关联字段信息；根据所述属性字段、所述关联字段信息以及预设的在线规则获取所述实时参数模型。

在一种可选的方式中，所述根据所述历史主键数据以及所述实时参数模型获取实时数据，包括：以所述实时参数模型作为输入参数根据所述历史主键数据应用http协议接口、webservice协议接口、跨数据库访问获取实时数据。

在一种可选的方式中，所述对所述实时数据进行一致性分析，并获取异常数据，包括：依次对进行一致性分析的第一方数据和第二方数据的主键、字符串以及属性字段判断是否一致；获取不一致的异常数据，其中，所述异常数据包括差异结果索引表和差异结果明细表。