[发明专利]数据攻击的防御方法及其模型的训练方法、系统

说明书

本发明提供了一种数据攻击的防御方法及其模型的训练方法、系统，涉及信息安全技术领域，该防御方法将获取的待检测图像数据输入至已完成训练的防御模型后，得到图像数据的置信度检测结果，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御。该防御模型在训练过程中，利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。

技术领域

本发明涉及信息安全技术领域，尤其是涉及一种数据攻击的防御方法及其模型的训练方法、系统。

背景技术

机器学习已成为一项重要的技术，可实现各种应用，包括计算机视觉、机器翻译、健康分析和个性化推荐等。然而，一些应用场景下会涉及敏感个人数据的收集和处理，当机器学习应用于私人训练数据时，所产生的模型可能会通过其行为或其结构的细节来无意识地泄漏有关该数据的信息。

现有技术中通常使用差分隐私以及对抗正则化的方式来应对推理攻击，但上述方式会带来精度损耗，应对数据攻击的防御效果上还有待提升。

发明内容

有鉴于此，本发明的目的在于提供一种数据攻击的防御方法及其模型的训练方法、系统，该防御方法将获取的待检测图像数据输入至已完成训练的防御模型后，得到图像数据的置信度检测结果，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御。该防御模型在训练过程中，利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。

第一方面，本发明实施例提供了一种用于数据攻击防御的模型训练方法，该方法包括：

获取样本图像数据集；其中，样本图像数据集至少包括：MNIST数据集和ImageNet数据集；

将样本图像数据集输入至预设的深度学习模型中进行训练；其中，深度学习模型包括：第一目标模型和/或第二目标模型；MNIST数据集用于第一目标模型的训练；ImageNet数据集用于第二目标模型的训练；

通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算；当第一目标模型的损失值和/或第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型；

利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，并将已完成剪枝操作的初始模型确定为用于数据攻击防御的模型。

在一些实施方式中，利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，包括：

利用掩码矩阵对初始模型进行约束，并根据约束结果确定初始模型中的权重的重要性数据；

利用重要性判别函数，对已确定的权重的重要性数据进行判别，并根据判别结果对初始模型中的权重进行剪枝操作。

在一些实施方式中，利用掩码矩阵对初始模型进行约束，并根据约束结果确定初始模型中的权重的重要性数据，通过以下算式计算得到：

其中，W_k为初始模型，k为初始模型的第k层；T_k为二值的掩码矩阵，当T_k＝0时表示对应的权重已被剪枝，当T_k＝1时表示对应的权重未被剪枝；L为初始模型的损失函数；β为初始模型的学习率；

利用重要性判别函数，对已确定的权重的重要性数据进行判别，并根据判别结果对初始模型中的权重进行剪枝操作，通过以下算式计算得到：

其中，h_k为重要性判别函数，用于判断对应的权重是否重要；重要性判别函数，如下：