[发明专利]深度神经网络模型公平性测试方法、系统、设备及介质

说明书

本发明属于机器学习领域，公开了一种深度神经网络模型公平性测试方法、系统、设备及介质，包括获取若干样本，并查询待测试神经网络模型得到各样本的预测结果，利用已知预测结果的样本进行聚类为样本簇，并分别训练替代模型，在每个样本簇上基于对应的替代模型，生成新的种子样本集合，并对取出的种子施加扰动，进而使其在很大概率上变成违反公平性条件的样本，并基于对当前发现的违反公平性的样本施加多次扰动，来发现更多的违反公平性条件的样本，用来充分验证深度神经网络模型公平性。该方法使用限制少，充分满足了现实应用中模型不可获取，访问次数受限，且只能获得输出的预测结果的实际限制，整体性能高效，很好的实现黑盒公平性测试的任务。

技术领域

本发明属于机器学习领域，涉及一种深度神经网络模型公平性测试方法、系统、设备及介质。

背景技术

目前，深度神经网络(DNN)逐渐被广泛应用与生活中的各个领域，如人脸识别、自动驾驶、医疗诊断和推荐系统等，并且表现出令人惊叹的性能和潜能。尽管如此，其可靠性和安全性仍然存在缺陷。在一些具有社会影响的应用背景下，如信用评估、犯罪预测等，DNN的一个理想属性是公平性，即不存在歧视性的预测行为，实际应用中DNN对公平性的违背，轻则对个别使用者产生真实的影响，重则会使整个社会更加偏离大众对公平的期待。对DNN的公平性检测已经成为一个逐渐受关注的研究方向。这是由于一方面，公平性具有至关重要的社会意义，是大众对于技术本身应当具有属性的期待，歧视行为会对社会发展产生负面作用；另一方面，当前还缺乏构建完全公平性DNN的途径，也缺少系统地检测DNN公平性的方法，如何更加高效、普适的测试DNN公平性和检测存在歧视行为的输入用例正吸引着研究者的关注。

现有的DNN公平性测试主要集中在基于输入空间搜索的歧视性用例生成技术，分为白盒方法和黑盒方法两个切入角度。白盒方法能够较好地利用DNN模型预测概率分布及梯度信息等，具有较好的性能，但是其要求目标模型本身或多种信息可获取，在现实场景下，除对于模型提供者本身外，这些需求往往是不可实现的。黑盒方法无须访问模型本身，仅需获取模型预测结果，但是现有的黑盒方法是低效的，为了生成歧视性实例需要大量查询目标模型，而受限于模型查询代价等制约，低效的黑盒方法很多情况下也无法满足需求。

因此，现有的DNN公平性测试方法无法很好地满足在模型受限访问，既包括模型访问次数有限，也包括查询到的信息有限的现实约束下的公平性测试。

发明内容

本发明的目的在于克服上述现有技术中现有的DNN公平性测试方法无法很好地满足在模型受限访问，既包括模型访问次数有限，也包括查询到的信息有限的现实约束下的公平性测试的缺点，提供一种深度神经网络模型公平性测试方法、系统、设备及介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种深度神经网络模型公平性测试方法，包括以下步骤：

S1：获取若干样本，将各样本通过待测试神经网络模型预测，得到各样本的预测结果；

S2：将若干样本聚类为预设簇数量的样本簇；通过各样本簇训练预设的初始替代模型，得到各样本簇对应的替代模型，各样本簇分别进行S4；

S3：将预设簇数量加1并进行S2；

S4：根据当前样本簇生成种子样本集合，从种子样本集合中随机选取若干个种子样本，各种子样本分别进行S5；

S5：当达到待测试神经网络模型的预测上限时，进行S9；否则，基于待测试神经网络模型获取当前种子样本的预测结果，结合各样本的预测结果，确定当前种子样本是否违反公平性条件；当当前种子样本违反公平性条件，将当前种子样本添加至预设输出列表并进行预设次数的S7；否则，进行预设次数的S6；

S6：根据当前样本簇的替代模型，通过将当前种子样本施加预设步长的扰动更新当前种子样本，进行S5；