[发明专利]数据处理方法、装置以及电子设备

说明书

本申请提供了一种数据处理方法、装置以及电子设备，涉及数据处理技术领域，缓解了人工分析数据导致数据质量较差的技术问题。该方法包括：根据预设数据标准模板生成数据标准规则；根据所述数据标准规则确定第一待检测数据中的第一源字段；当所述第一源字段缺失时，确定缺失的所述第一源字段对应的第一数据为第一风险数据。

技术领域

本申请涉及数据处理技术领域，尤其是涉及一种数据处理方法、装置以及电子设备。

背景技术

目前，无论是基于银行风险业务的基础内部数据还是第三方厂商提供的互联网上舆情司法等外部数据，都需要进行相关数据梳理分析及数据质量管理工作，所以，现有的分析方法主要是通过数据质量标准设计、数据差异分析、数据质量评估和数据质量提升等方面分析数据，发现风险数据。分析数据时，主要都是人工制定数据质量标准，进而对数据进行数据差异分析、数据质量评估和数据质量提升等操作。

但是，由于数据越来越多元化，例如，数据除了数字或字母等组成的结构化数据，还多了许多如图像、语音及视频等半结构化数据或非结构化数据，所以，针对多元化数据，当前人工制定的数据质量标准已经不能适用于对多元化数据进行分析，导致人工分析多元化数据的准确率较低。

发明内容

本申请的目的在于提供一种数据处理方法、装置以及电子设备，以缓解人工分析数据导致数据质量较差的技术问题。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

根据预设数据标准模板生成数据标准规则；

根据所述数据标准规则确定第一待检测数据中的第一源字段；

当所述第一源字段缺失时，确定缺失的所述第一源字段对应的第一数据为第一风险数据。

在一个可能的实现中，当确定所述第一待检测数据中无所述第一风险数据时，所述方法还包括：

基于所述数据标准规则，确定所述第一源字段对应的第二待检测数据中的第二源字段；

当所述第二源字段缺失时，确定缺失的所述第二源字段对应的第二数据为第二风险数据；

将所述第一源字段对应的所述第一数据确定为所述第二数据。

在一个可能的实现中，所述数据标准规则的类型包括：预设基本属性、预设业务属性、预设技术属性及预设管控属性；所述根据所述数据标准规则确定第一待检测数据中的第一源字段的步骤，包括：

依次根据所述预设基本属性、所述预设业务属性、所述预设技术属性及所述预设管控属性确定第一待检测数据中的第一源字段。

在一个可能的实现中，所述当所述第一源字段缺失时，确定缺失的所述第一源字段对应的第一数据为第一风险数据的步骤，包括：

当根据所述数据标准规则中的任一个类型确定第一待检测数据中的第一源字段，所述第一源字段缺失时，确定缺失的所述第一源字段对应的第一数据为第一风险数据。

在一个可能的实现中，所述方法还包括：

通过自动调度方法对所述第一待检测数据和/或所述第二待检测数据进行检测，并根据检测得到的所述第一风险数据和/或所述第二风险数据生成数据质量报告。

在一个可能的实现中，所述方法还包括：

如果所述第一待检测数据中存在所述数据标准规则之外的第三源字段，判断所述第三源字段是否符合所述数据标准规则的预设范围；

如果所述第三源字段符合所述预设范围，根据所述第三源字段更新所述数据标准规则。

在一个可能的实现中，所述方法还包括：