[发明专利]基于神经网络的数据规范性检查方法、装置、设备及介质

说明书

本申请公开了一种基于神经网络的数据规范性检查方法、装置、设备及介质，所述方法包括：获取待检查的数据；将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型；将每列数据以及对应的数据类型输入预训练的规范性检查模型，得到每列数据的规范性检查结果。根据本申请实施例提供的数据规范性检查方法，大大提高了数据规范性检查的效率，增加了数据类型的识别能力以及泛化能力，从而避免由于正则表达式的局限性和强匹配性导致的数据类型识别遗漏，还减少了人员对公共数据的接触，从而保障了数据共享和使用安全。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于神经网络的数据规范性检查方法、装置、设备及介质。

背景技术

随着政府数字化改革的不断推进，数据安全对于政府工作的重要性也越发明显。对于政府部门而言，针对公共数据开展数据安全防护便成为了工作重点。作为数据安全领域里的一个重要检查项，数据规范性检查对于公共数据的安全建设是必不可缺的一步，它是检查数据是否按照业务要求和规范性进行保存。

现有技术中的数据规范性检查方法，有的通过数据部门的员工进行人为检查，这种最基础的人为检查方式往往需要耗费大量的人力和时间，在效率上无法满足实际的业务需求。有的通过设定正则式进行数据匹配，通过正则方式进行的数据匹配，也会由于需要大量复杂的正则式导致检测规则的泛化性较差，从而出现遗漏，其庞大的数据量和众多的数据存储格式也影响检查的效率和准确性。

发明内容

本申请实施例提供了一种基于神经网络的数据规范性检查方法、装置、设备及介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种基于神经网络的数据规范性检查方法，包括：

获取待检查的数据；

将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型；

将每列数据以及对应的数据类型输入预训练的规范性检查模型，得到每列数据的规范性检查结果。

在一个可选地实施例中，将待检查的数据输入预训练的数据类型识别模型之前，还包括：

制定目标数据类别，目标数据类别为一级或多级目标数据类别；

获取每个最小级别的目标数据类别对应的数据并进行标注，得到第一数据集；

将第一数据集分为训练集和测试集，根据训练集和测试集训练数据类型识别模型。

在一个可选地实施例中，将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型，包括：

将待检查的数据输入预训练的数据类型识别模型，得到每列数据中每个数据的数据类型；

对每列数据中所有数据的数据类型进行投票，将比例较多的数据类型作为该列数据的数据类型，将数据类型比例相等的列定义为其他类型，将无法识别数据类型的列定义为其他类型；

统计其他类型的数据列中的数据类型，并进行标注，得到更新后的训练数据集；

根据更新后的训练数据集训练数据类型识别模型，得到更新后的数据类型识别模型；

根据更新后的数据类型识别模型再次识别其他类型的数据列的数据类型，直到得到所有数据列的数据类型。

在一个可选地实施例中，将每列数据以及对应的数据类型输入预训练的规范性检查模型之前，还包括：

根据待检查数据对应的部门业务，设定待检查数据类别，待检查数据类别为一级数据类别；