[发明专利]基于个体歧视实例对生成的深度学习模型去偏方法及其装置

权利要求书

1.一种基于个体实例对的深度学习模型去偏方法，其特征在于，具体包括以下步骤：

(1)首先查找数据集中的个体歧视实例对，并定义深度学习模型偏见；

(2)选择原始数据集，并利用one-hot编码对原始数据集进行数据预处理；

(3)通过偏见神经元查找、全局搜索和局部搜索生成个体歧视实例对；

(4)定义偏见指标函数；

(5)构建深度学习鲁棒性模型，通过微调训练法将步骤(3)得到的个体歧视实例对输入深度学习鲁棒性模型进行去偏训练，并利用步骤(4)设定的偏见指标函数衡量模型的偏见程度。

2.根据权利要求1所述的基于个体实例对的深度学习模型去偏方法，其特征在于，所述个体歧视实例对具体为：将X和Y表示为数据集及其值域，将A和x_A表示为数据集X的敏感属性及其数值；将NA和x_NA表示为数据集X的非敏感属性及其数值；对于给定的DNN模型θ和样本实例x，若存在另一个样本实例x′满足x_A≠x′_A，x_NA＝x′_NA，θ(x)≠θ(x′)，则称(x,x′)为DNN模型θ的个体歧视实例对，x和x′都是个体歧视实例。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体为：所述初始样本集优选为adult数据集；再对初始样本集的敏感属性进行one-hot编码扩充，获取对应的类别标签序列，并对其他属性进行保留。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体包括以下子步骤：

(3.1)查找偏见神经元：首先通过改变敏感属性获得原始数据集中每个样本的个体歧视实例对，再分别将个体歧视实例对输入到DNN模型中，并观察中间特征层上各个神经元的激活值差异，最后将激活差异值进行大到小排序，并取前50％的神经元作为偏见神经元；

(3.2)全局搜索：通过数据集聚类、偏见损失计算、扰动叠加得到个体歧视实例；

(3.3)局部搜索：将步骤(3.2)得到的个体歧视实例作为输入，并在其周围空间里搜索更多的个体歧视实例，得到最终的个体歧视实例对。

5.根据权利要求3所述的方法，其特征在于，所述步骤(3.2)具体包括以下子步骤：

(3.2.1)定义一个空的不重复集合g_id，用于存放全局搜索阶段找到的个体歧视实例；

(3.2.2)使用K-Means聚类算法对原始数据集聚类成c_num个簇；然后以循环的方式从每个簇中获取种子实例，并定义g_num是全局搜索过程中要搜索的种子实例的数量；

(3.2.3)定义max_iter是全局搜索过程中每个样本的最大迭代次数，首先根据个体歧视实例的定义，通过逐一改变敏感属性值来检查样本x是否是一个个体歧视实例；如果是，则将个体歧视实例对(x,x′)添加到步骤(3.2.1)定义的集合g_id中，并结束本次样本的全局搜索；如果不是，则依据偏见神经元在样本x上添加扰动以获得个体歧视实例。

6.根据权利要求5所述的方法，其特征在于，所述步骤(3.2.3)中样本x不是一个个体歧视实例具体为：

针对个体歧视实例对定义偏见损失函数：

其中S_k(x)表示θ中第k层所有神经元的激活值经过Tanh函数输出，tfw是步骤(3.1)定义的偏见神经元查找阶段中定义的特征层神经元权重向量，log是对数函数，mean是向量求均值函数；

并针对损失函数采用动量梯度的方式更新梯度：

对两个梯度求和并取符号作为梯度更新方向，令敏感属性维度的梯度值为零；对样本实例x添加扰动，从而使样本实例对(x,x′)最大可能成为个体歧视实例对；最后判断添加扰动后的样本是否与(p-2)次的样本重复，p为当前添加扰动的次数，如果是则在样本实例x上再添加一个随机扰动，计算公式如下：

x＝x+random_dir()·s_g

其中random_dir()函数产生一个形状与x相同，其中s_g表示扰动步长。