[发明专利]一种自动发现审计规则和异常数据的方法

说明书

本发明公开了一种自动发现审计规则和异常数据的方法。该方法先将审计的数据集按照属性类型分成分类属性和数值属性，用户再分别给定分类属性的最小支持率和数值属性的偏移率，然后在分类属性中选出支持率高于最小支持率的候选分类属性和属性值；再根据属性类型生成候选属性集，从而获取审计规则；最后根据获取的审计规则，依次对收集的审计数据集进行筛选，选出符合审计规则中满足条件约束的，而派生属性的属性值不在正常值范围内的数据，即为异常数据。该自动发现审计规则和异常数据方法能够有效地提高审计效率，降低审计成本。

技术领域

本发明属于数据库系统技术领域，具体地涉及一种自动发现审计规则和异常数据的方法。

背景技术

完整性约束(Integrity Constraints,ICs)的提出，有助于发现数据库中已有的约束，帮助检测异常或冲突数据，并在数据清洗领域取得重要突破。现有的工作主要致力于发现对同类属性的约束。例如，函数功能依赖发现分类属性上的约束；模糊代数约束用于发现数值属性上的模糊约束；Spade则探索数据对之间有趣的关联。这些工作主要致力于发现单一属性类型约束，例如分类型属性或数值型属性，并且发现的简单完整性约束不能发现模糊的异常或冲突数据，同时所发现的完整性约束解释性和实用性不强。

发明内容

本发明针对现有技术的不足，提供了一种自动发现审计规则和异常数据的方法，该方法利用数值型属性通过代数运算产生派生属性来发现已有工作发现不了的异常或冲突数据。该方法中由于引入了分类型属性作为条件约束，对发现的复杂完整性约束解释性更强，更易于理解。

本发明的目的是通过如下技术方案实现的：一种自动发现审计规则和异常数据的方法，具体包括以下步骤：

(1)收集审计数据集，将审计数据集按属性值类型进行分组，得到分类属性集和数值属性集；所述分类属性集中的属性值是离散或字符串，所述数值属性集中的属性值是连续数值。

(2)用户设定2个参数，所述参数分别为分类属性集中的最小支持率和数值属性集中的偏移率。

(3)根据步骤(1)中分组的结果生成候选属性集，具体为：

(a)计算分类属性集中每一个分类属性的属性值的支持率，之后选出支持率高于步骤(2)中设定的最小支持率的属性和属性值，将属性和其对应的属性值集合称为候选分类属性集；

(b)将所述数值属性集进行两两分组，得到数值属性对，之后将每一个数值属性对通过加、减、乘、除运算得到四个派生属性，将所述派生属性的集合称为候选派生属性集。

(4)根据步骤(3)生成的分类属性集和候选派生属性集进行配对，发现审计规则，包括以下子步骤：

(4.1)条件约束选择：在所述候选分类属性集中，按顺序选出分类属性和对应的属性值；

(4.2)代数约束选择：在所述候选派生属性集中，按顺序选出派生属性；

(4.3)正常值范围计算：在收集的审计数据集中选择满足(4.1)中条件约束的子数据集，接着计算该子数据集在派生属性中的均值和方差，然后计算正常值的最小最大值作为正常值范围，其中正常值的最小值为均值减去方差和偏移率的乘积，正常值的最大值为均值加上方差和偏移率的乘积。

(4.4)当步骤(4.1)中条件约束选择和(4.2)中代数约束选择以及(4.3)中正常值范围计算并存时，即通过与运算组合成审计规则。

(5)根据步骤(4)中获取的审计规则，依次对收集的审计数据集进行筛选，选出符合审计规则中满足条件约束的，而派生属性的属性值不在正常值范围内的数据，即为异常数据。与现有技术相比，本发明具有的有益效果是：本发明提出了自动发现审计规则和异常数据方法，利用分类属性强解释型，数值属性强关联性，使得本发明具有以下优点：