[发明专利]一种基于迁移学习生成无偏见深度学习模型的方法

说明书

本发明公开了一种基于迁移学习生成无偏见深度学习模型的方法，包括以下步骤：(1)构建带有样本图像的任务标签和偏见标签的原始数据集；(2)利用原始数据集对有偏见深度学习模型进行训练；(3)构建并训练对抗攻击网络，利用训练好的对抗网络对原始数据集进行攻击，无偏见数据集；(4)利用无偏见数据集训练与有偏见深度学习模型结构相同的初始无偏见深度学习模型；(5)准备第三特征提取器，基于迁移学习策略对第三特征提取器参数，参数确定的第三特征提取器与训练好的初始无偏见深度学习模型包含的第二分类器组成无偏见深度学习模型，以保证深度学习模型在根据输入图像自动决策时的公平性，以提升图像识别的准确性。

技术领域

本发明属于深度学习领域，具体涉及一种基于迁移学习生成无偏见深度学习模型的方法。

背景技术

深度学习凭借其强大的学习样本数据集内在规律和高度抽象化特征的能力，帮助人们自动做出决策并解决了很多复杂的模式识别问题，因而被应用于医疗诊断、语音识别、图像识别、自然语言理解、广告、信贷、就业、教育和刑事司法等领域，并且发挥了很好的效果。随着研究人员的不断探索和创新，深度学习的性能不断提高，应用也越来越广泛，对人们的日常生活产生了深远的影响。

虽然深度学习可以帮助人们获得更准确的预测，然而最新的研究表明，深度学习模型在自动决策时也会带有偏见，这种偏见可能表现在：预测黑人被告再次犯罪的概率要远远高于白人，在预测照片中一个人的性别时，白人的准确率要远远高于黑人，在搜索软件工程师时，男性比例远远高于女性。在一些重要的场合中，例如企业，如果在使用深度学习模型来决策时，这种偏见可能会使得企业处于充满高风险的商业环境中，如果企业放弃深度学习模型，可能会在商业竞争中失去优势而被淘汰，因为深度学习的自动决策支持是时代发展的趋势。可见深度学习模型存在的偏见会对社会造成许多负面影响，并且这些偏见已经深入到各个领域，因此研究深度学习算法测量及其公平性显得尤为重要。

深度学习模型存在偏见的主要原因是样本数据集本身带有偏见、深度学习模型会放大这种偏见以及深度学习模型的评估带有偏见。因此，目前研究者对于消除深度学习模型存在偏见的工作主要包括对样本数据集进行预处理来消除偏见、对深度学习模型参数的小规模修改来消除模型中存在的偏见以及对深度学习模型进行具有公平性的评估。然而现有的对于消除深度学习模型偏见的方法中，往往只考虑模型产生偏见的其中一个因素。例如直接通过对样本数据集进行预处理来消除偏见，这种做法存在的问题是训练后的模型没有学习过含有偏见的数据集，那么在识别原始带有偏见的数据时可能会对一些偏见的或无关的特征很敏感，同时，由于没有考虑深度学习模型会放大这种偏见的影响，因此训练得到的模型仅能够消除一部分偏见。

鉴于深度学习模型存在上述偏见以及目前对于消除偏见方法的局限性，研究一种基于迁移学习生成无偏见深度学习模型的方法，生成无偏见深度学习模型来帮助人们自动决策具有极其重要的理论与实践意义。

发明内容

本发明的目的是提供一种基于迁移学习生成无偏见深度学习模型的方法。通过知识迁移让深度学习模型在学习样本数据时，自动过滤带有偏见的特征，从而保证深度学习模型在根据输入图像自动决策时的公平性，以提升图像识别的准确性。

为实现上述发明目的，本发明提供以下技术方案：

一种基于迁移学习生成无偏见深度学习模型的方法，包括以下步骤：

(1)获取样本图像，并标记样本图像的任务标签和偏见标签，构建原始数据集；

(2)利用原始数据集中图像数据和任务标签对由第一特征提取器和第一分类器组成的有偏见深度学习模型进行训练，得到训练好的有偏见深度学习模型；

(3)构建并训练对抗攻击网络，利用训练好的对抗网络对原始数据集进行攻击，得到与原始数据集对应的无偏见数据集，以使得无偏见数据集中的偏见标签不可以预测；

(4)利用无偏见数据集训练与有偏见深度学习模型结构相同的初始无偏见深度学习模型；