[发明专利]一种对批量数据进行自动修复的方法及系统

说明书

技术领域

本发明涉及数据修复领域，尤其涉及一种对批量数据进行自动修复的方法及系统。

背景技术

大型的集团控股公司，拥有总公司和分散到各地的若干子公司或分公司。这些集团股份总公司的主数据系统都有统一、严格的数据管理机制；同时为了提高基础数据质量，降低业务数据分析处理难度，提高业务数据准确性，总公司会对主数据进行认真的清洗和维护，然而若干子公司或分公司则并没有如此完善的数据管理体系，每个子公司或分公司在录入待处理的业务数据时，常常都有自己的输入方式，使得不同子公司或分公司的数据形式无法保持一致。甚至于，因为不同的子公司或分公司最终都会把自己的业务数据汇总到主数据中，在数据的录入过程中，会引入错误到主数据库当中。特别是对批量数据进行处理的情况下，就会因为数据标准不一致或者人为因素会导致数据的错误，影响了公司整体数据的质量，因此需要一种对批量数据录入时就进行监控与修复的数据修复方法。

发明内容

为此，本发明为了解决上述缺陷之一。

因而本发明提供一种对批量数据进行自动修复的方法及系统，通过采用规则对批量数据进行过滤并与用户交互确定正确数据从而对其他不确定数据进行规则审核与修复，从而对批量数据进行了自动修复，确保了数据正确和数据质量。

所以，本发明一个实施例提供一种对批量数据进行自动修复的方法，该方法包括：检测当前批量待录入数据，并触发自动修复步骤；采用规则过滤并逐条遍历可能不正确的待录入数据步骤；通过与用户交互来确定正确的数据步骤；根据上述正确的数据和规则来审核其他不确定的数据，并对错误的数据进行标记步骤；子系统根据参考数据对上述错误的数据进行更新，并将更新后的数据录入到子系统的数据库步骤。

优选地，所述采用规则过滤得到正确的数据。

优选地，所述采用规则过滤得到正确的数据由规则间不冲突来确定。

优选地，所述可能不正确的待录入数据为根据规则过滤得到规则间相冲突的数据。

优选地，所述用户交互来确定正确的数据从可能不正确的待录入数据中指定。

进一步地，所述根据上述正确的数据和规则来审核其他不确定的数据具体包括以下步骤：防火墙系统获取已知规则列表和已确定的数据属性集合步骤；根据所述规则的逻辑顺序确定它们的依赖关系步骤；从上述规则中确定能直接应用的规则集合VSet步骤；遍历规则集合VSet，如果规则集合VSet为空，则输出确认的属性集合，否则，审核和修复规则集合VSet中规则对应的确定属性，并通过依赖关系找到所述规定推出的其他规则，将这些规则对应的确定属性放入到规则集合VSet中步骤。

优选地，所述依据所述规则的逻辑顺序确定它们的依赖关系依据所述规则的属性值进行。

优选地，所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。本发明通过采用规则对批量数据进行过滤并与用户交互确定正确数据从而对其他不确定数据进行规则审核与修复，从而对批量数据进行了自动修复，确保了数据正确和数据质量。

本发明另一个实施例提供一种对批量数据进行自动修复的系统，该系统包括：数据检测单元，用于检测当前批量待录入数据，并触发自动修复；数据过滤单元，用于采用规则过滤并逐条遍历可能不正确的待录入数据；数据交互单元，用于通过与用户交互来确定正确的数据；数据审核单元，用于根据上述正确的数据和规则来审核其他不确定的数据，并对错误的数据进行标记；数据更新单元，用于子系统根据参考数据对上述错误的数据进行更新，并将更新后的数据录入到子系统的数据库。

优选地，所述数据过滤单元采用规则过滤得到正确的数据。

进一步地，所述数据审核单元所述根据上述正确的数据和规则来审核其他不确定的数据具体包括以下步骤：防火墙系统获取已知规则列表和已确定的数据属性集合步骤；根据所述规则的逻辑顺序确定它们的依赖关系步骤；从上述规则中确定能直接应用的规则集合VSet步骤；遍历规则集合VSet，如果规则集合VSet为空，则输出确认的属性集合，否则，审核和修复规则集合VSet中规则对应的确定属性，并通过依赖关系找到所述规定推出的其他规则，将这些规则对应的确定属性放入到规则集合VSet中步骤。

优选地，所述依据所述规则的逻辑顺序确定它们的依赖关系依据所述规则的属性值进行。本发明通过采用规则对批量数据进行过滤并与用户交互确定正确数据从而对其他不确定数据进行规则审核与修复，从而对批量数据进行了自动修复，确保了数据正确和数据质量。

附图说明