[发明专利]深度神经网络模型公平性测试方法、系统、设备及介质

权利要求书

1.一种深度神经网络模型公平性测试方法，其特征在于，包括以下步骤：

S1：获取若干样本，将各样本通过待测试神经网络模型预测，得到各样本的预测结果；

S2：将若干样本聚类为预设簇数量的样本簇；通过各样本簇训练预设的初始替代模型，得到各样本簇对应的替代模型；

S3：各样本簇分别进行S4；且当各样本簇均进行S4后，将预设簇数量加1并返回S2；

S4：根据当前样本簇生成种子样本集合，从种子样本集合中随机选取若干个种子样本，各种子样本分别进行S5；

S5：当达到待测试神经网络模型的预测上限时，进行S9；否则，基于待测试神经网络模型获取当前种子样本的预测结果，结合各样本的预测结果，确定当前种子样本是否违反公平性条件；当当前种子样本违反公平性条件，将当前种子样本添加至预设输出列表并进行预设次数的S7；否则，进行预设次数的S6；

S6：根据当前样本簇的替代模型，通过将当前种子样本施加预设步长的扰动更新当前种子样本，进行S5；

S7：根据当前样本簇的替代模型，通过将当前种子样本的非受保护属性施加扰动更新当前种子样本，进行S8；

S8：当达到待测试神经网络模型的预测上限时，进行S9；否则，基于待测试神经网络模型获取当前种子样本的预测结果，结合各样本的预测结果，确定当前种子样本是否违反公平性条件；当当前种子样本违反公平性条件，将当前种子样本添加至预设输出列表并进行S7；否则，进行S7；

S9：输出输出列表中的种子样本，以种子样本的数量表征待测试神经网络模型的公平性。

2.根据权利要求1所述的深度神经网络模型公平性测试方法，其特征在于，所述S1的具体方法为：

在待测试神经网络模型合法的输入空间内，随机获取若干样本，将各样本通过待测试神经网络模型预测，得到各样本的预测结果。

3.根据权利要求1所述的深度神经网络模型公平性测试方法，其特征在于，所述将若干样本聚类为预设簇数量的样本簇的具体方法为：

通过k均值聚类算法将若干样本聚类为预设簇数量的样本簇。

4.根据权利要求1所述的深度神经网络模型公平性测试方法，其特征在于，所述根据当前样本簇生成种子样本集合，从种子样本集合中随机选取若干个种子样本的具体方法为：

当第一次进行S2后，采用当前簇中样本的备份作为种子样本，得到种子样本集合；否则，将当前簇中的各样本的各维度属性值随机施加预设值的扰动，并以第一预设概率留校原样本和扰动后的样本作为种子样本，或者以第二预设概率留校扰动后的样本作为种子样本，或者保留原样本作为种子样本，得到种子样本集合；

将种子样本集合中的种子样本聚类为若干种子簇，循环访问每一个种子簇，每一次从当前种子簇里随机抽取1个种子样本。

5.根据权利要求4所述的深度神经网络模型公平性测试方法，其特征在于，所述确定当前种子样本是否违反公平性条件的具体方法为：

当当前种子样本的预测结果与当前种子样本对应的样本的预测结果不相同时，当前种子样本违反公平性条件；否则，当前种子样本不违反公平性条件。

6.根据权利要求1所述的深度神经网络模型公平性测试方法，其特征在于，所述S6的具体方法为：

根据当前样本簇的替代模型，得到与当前种子样本的受保护属性不同，且在当前样本簇的替代模型上的预测概率分布差异最大的样本，作为当前种子样本的伴随样本；

获取当前种子样本在当前样本簇的替代模型上的梯度向量，得到第一梯度向量；获取伴随样本在当前样本簇的替代模型上的梯度向量，得到第二梯度向量；

枚举第一梯度向量和第二梯度向量的每一维度，当二者符号相同时，将当前维度的方向分量值赋值为与当前符号相同方向的单位向量；

通过单位向量与预设的扰动步长向量，得到扰动向量；将扰动向量施加到当前种子样本上更新当前种子样本，进行S5。