[发明专利]基于个体歧视实例对生成的深度学习模型去偏方法及其装置

说明书

本发明公开了一种基于个体实例对的深度学习模型去偏方法，通过定义深度学习模型偏见，选择原始数据集，进行数据预处理，生成个体歧视实例对，定义偏见指标函数，构建深度学习鲁棒性模型，将个体歧视实例对输入深度学习鲁棒性模型进行微调训练。本发明方法通过一种新的个体实例对生成的数据增强的方法解决了深度学习模型的公平性问题。本发明定义了一种新的偏见指标函数克服了现有评价指标对不同数据集具有功能不通用问题的缺陷，即单独使用某一偏见指标针对多个不同数据集的衡量结果可能不具有评判性。本发明提出了一种新的将对抗训练融入到微调训练中的方式，可以通过微小的再训练量达到较好的去偏效果。

技术领域

本发明涉及深度学习模型的偏见问题领域，尤其涉及一种基于个体实例对的深度学习模型去偏方法。

背景技术

深度学习模型拥有强大的学习样本数据集内在函数规律和分析抽象化特征的能力，在很多领域辅助人们做出决策并给很多复杂的识别以及分类问题提供了解决方案。深度学习技术已经被广泛应用在图像识别、语音识别和自然语言处理等诸多领域，其中以图像识别领域应用最早、最为成熟。Alex Krizhevsky等人在2012年设计了一个名为“AlexNet”的大型卷积神经网络，该神经网络以出色的性能赢得了当年举办的ILSVRC比赛。2013年，OverFeat的提出实现了识别、定位和检测可以共用一个网络结构，并获得了13年ILSVRC比赛的冠军。 2014年到2017年，随着GoogLeNet、ResNet、SENet等网络的提出，深度学习网络对于图像的分析理解能力已经可以跟人类相当甚至超越人类。

深度学习技术在许多领域以及取得了最先进的性能，但同时，模型的鲁棒性问题逐渐被学术界和业界所重视。2014年，Szegedy等人发现，深度学习模型存在天然的缺陷，容易受到被恶意设计的对抗样本的攻击。随后几年里，科研人员针对深度学习模型对抗攻防展开了研究，提出了一系列的攻击和防御方法。近来，科研人员发现，深度学习模型有放大属性偏见的风险，这主要是由于模型将预测任务与部分属性过度关联。例如，人脸识别算法对于肤色较深的女性预测结果不利。这些问题受到了学术界的普遍关注，研究人员提出了许多评估和改善模型公平性的方案。尽管如此，深度学习鲁棒性问题对于我们来说仍然是一个挑战，因为深度学习模型通常被认为是一个黑盒子，其中间结构表示是不透明、难以理解的。因此，深度学习模型存在的鲁棒性问题不仅会加剧社会不公平，还会引起不必要的安全事故。

发明内容

为了解决深度学习模型现有的偏见问题，本发明先提供了一种基于个体实例对的深度学习模型去偏方法，提出了一种可解释的、系统的、可扩展的公平性测试方法对深度模型进行偏见测试，并提出一种针对模型公平性的统一评价标准。

为实现上述发明目的，本发明提供以下技术方案：本发明提供了一种基于个体实例对的深度学习模型去偏方法，包括以下步骤：

(1)查找数据集中的个体歧视实例对，定义深度学习模型偏见；

(2)选择原始数据集，并利用one-hot编码进行数据预处理；

(3)通过偏见神经元查找、全局搜索和局部搜索生成个体歧视实例对；

(4)定义偏见指标函数；

(5)构建深度学习鲁棒性模型，通过微调训练法将步骤(3)得到的个体歧视实例对输入深度学习鲁棒性模型进行去偏训练，并利用步骤(4)设定的偏见指标函数衡量模型的偏见程度。

本发明的有益效果为：本发明方法通过一种新的个体实例对生成的数据增强的方法解决了深度学习模型的公平性问题。本发明定义了一种新的偏见指标函数克服了现有评价指标对不同数据集具有功能不通用问题的缺陷，即单独使用某一偏见指标针对多个不同数据集的衡量结果可能不具有评判性。本发明提出了一种新的将对抗训练融入到微调训练中的方式，可以通过微小的再训练量达到较好的去偏效果。

附图说明