[发明专利]一种用于审计数据的质量评估方法和系统

权利要求书

1.一种用于审计数据的质量评估方法，其特征在于，包括：

S1：获取并分析业务系统数据，分析包括所述业务系统数据的数据结构验证和数据关联验证；

S2：对所述业务系统数据进行数据质量核定，所述数据质量核定包括完整性填充、完整性评估、数据规则清洗、精确性核定、精确性修订、一致性核定和可行性评估，并获取对应核定异常数据；

S3：进行数据质量积分评估，包括客观性、相关性、充分性和合法性评估，获取对应UDF规则记录数据；

S4：基于所述核定异常数据和UDF规则记录数据进行积分核算，并输出评分报告。

2.根据权利要求1所述的用于审计数据的质量评估方法，其特征在于，所述S1中的数据结构验证包括数据字段、数据类型和数据长度的验证，所述数据关联验证包括多个来源业务系统之间的数据关联关系验证以及必要数据不为空的验证。

3.根据权利要求1所述的用于审计数据的质量评估方法，其特征在于，所述S2中所述完整性填充包括直接剔除法、单一填补法和多重填补法：

所述直接剔除法将历史问题产生的脏数据或审批过程未完成形成的不全数据直接剔除；

所述单一填补法包括：

均值填补，利用所研究审计监察业务必要变量的均值代替对应缺失值；

演绎填补，依据审计监察业务逻辑和常规数据质量要求，对缺失数据进行推断，计算出可填补的值；

回归填补，使用已对接的业务层系统数据及其关联关系，通过回归建模预测缺失值，进而填补缺失值；

最近距离填补，根据所述业务层系统对接的数据，采用K-means，KNN算法进行最近距离填充；

热卡填补，从所述业务层系统对接数据中找一个最相似的数据进行填充；

所述多重填补为使用所述业务层系统对接数据相关的M个数据值的向量代替每一个缺失值的过程，其中，M大于等于20。

4.根据权利要求1所述的用于审计数据的质量评估方法，其特征在于，所述S2中数据规则清洗包括非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核、去重和记录数检核。

5.根据权利要求1所述的用于审计数据的质量评估方法，其特征在于，所述S2中的所述核定异常数据包括：所述完整性评估、所述精确性核定、所述精确性修订所获得的对应异常条数dbe，以及所述一致性核定和所述可行性评估所获得的表记录异常数据tr。

6.根据权利要求5所述的用于审计数据的质量评估方法，其特征在于，所述S3的所述数据质量积分评估中具体包括：

客观性评估，构建数据客观性指标，从数据集中提取特征并计算所述数据客观性指标，并将客观性受损记录到UDF规则r₁中；

相关性，通过映射算法构建并计算相关性指标，并将相关性受损记录到UDF规则r₂中；

充分性，通过对数据集的分布函数进行积分获取数据集的充分性指标，并将充分性受损记录到UDF规则r₃中；

合法性，定义数据合法性指标，并基于合法性证据及其权重计算所述数据合法性指标，并将合法性受损记录到UDF规则r₄中。

7.根据权利要求6所述的用于审计数据的质量评估方法，其特征在于，所述S4中针对单个数据集检查积分核算公式为SCORE_t＝其中，i表示所有校验规则，j表示已触发校验规则，指标包括：空值校验check₁，唯一性校验check₂，数据格式校验check₃，准确性校验check₄，波动性校验check₅，一致性校验check₆，记录数校验check₇，分区数校验check₈，UDF规则校验check_n，某个数据集或数据表某一次的检查结果中INSPECT_count表示检查条数，INSPECT_record表示检查次数。