[发明专利]数据合规检查方法及装置

说明书

本发明实施例提供了一种数据合规检查方法及装置，本发明实施例的方法首先自动筛满足预定条件选数据文件，读取数据文件中的字段，之后在读取到的所有字段中筛选出需要检查的待检查字段，并在对待检查字段进行预处理之后，将处理后的待检查字段存储到第一列表中，最后根据预定规则对第一列表中的每个待检查字段进行合规检查，得到检查结果。此技术方案能够对数据进行准确地、自动化地合规检查，节省了大量的人力和时间，提高了数据合规检查的效率。

技术领域

本发明实施例涉及技术数据管理领域，并且更具体地，涉及一种数据合规检查方法及装置。

背景技术

随着网络技术的发展及广泛应用，数据的数量越来越庞大，数据检查与管理的任务也越来越繁重。在数量庞大的数据中，除正常数据之外，还存在一写不符合既定规则的数据，即不合规数据，例如数据长度不在预定长度范围内的数据，又例如，数据格式不符合预定格式的数据等等。这些数据不仅造成内存的浪费，更会导致使用这些数据的应用程序在执行中产生错误，例如，导致某一系统无法进行生产、无法进行查询检索、无法进行数据定位、无法浏览准确数据等等。因此对这些不合规数据的检查变得非常重要。

目前，对着数据进行合规检查一般采用人工的方式，即需要人对数据的各个字段逐一核对，由于数据量巨大，这种人工核对的检查方式造成了时间以及人力的严重消耗。

发明内容

本发明实施例提供一种数据合规检查方法及装置，其能够自动对数据进行准确地合规检查，从而节省了大量的人力和时间，提高了数据合规检查的效率。

第一方面，本发明实施例提供了一种数据合规检查方法，所述方法包括如下步骤：

筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段，

从所述字段中筛选出需要检查的字段，并作为待检查字段；

对各个所述待检查字段进行预处理；

将预处理后的所述待检查字段存储在第一列表中；

检查所述第一列表中的每个所述待检查字段是否符合预定规则。

结合第一方面，在第一种可能的实现方式中，所述筛选出满足预定条件的数据文件之前，所述方法还包括如下步骤：

对于每个所述数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段，具体包括如下步骤：

根据所述第二列表中存储的目录的顺序，依次判断每个所述目录对应的数据文件是否满足预定条件；

如果当前目录对应的数据文件满足预定条件，则根据当前目录，读取与其对应的数据文件中的字段。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述筛选出满足预定条件的数据文件具体为：

筛选出具有预定文件扩展名的数据文件。

结合第一方面，在第四种可能的实现方式中，所述检查所述第一列表中的每个所述待检查字段是否符合预定规则之前，所述方法还包括如下步骤：

对于所述第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用所述位移偏移量形成当前待检查字段的地址；

所述检查所述第一列表中的每个所述待检查字段是否符合预定规则具体为：根据每个待检查字段的地址，检查每个所述待检查字段是否符合预定规则。

结合第一方面或第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述检查所述第一列表中的每个所述待检查字段是否符合预定规则具体为：