[发明专利]一种模型测试方法、装置、电子设备和存储介质

说明书

本申请涉及人工智能技术领域，尤其涉及一种模型测试方法、装置、电子设备和存储介质，用以提高对于待测试模型的安全性测试的准确度。其中，方法包括：获得各原始图像，以及各自对应的识别结果标签；每张原始图像关联有用于生成攻击区域的形状参数集合，且各原始图像关联的形状参数集合不同；基于各形状参数集合，分别确定相应的原始图像对应的掩码结果，并基于各掩码结果，分别在相应的原始图像中，针对各个像素点设置扰动参数；基于各识别结果标签，分别更新相应的原始图像对应的扰动参数以及关联的形状参数集合，获得包含有攻击区域的攻击图像；采用各攻击图像，对待测试模型进行安全性测试。这样，能够提高对待测试模型测试的准确度。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型测试方法、装置、电子设备和存储介质。

背景技术

随着深度学习技术的发展，人工智能(Artificial Intelligence，AI)模型被广泛应用于各种领域中；如，智能支付领域。

然而，随着攻击技术的兴起，当AI模型的安全性较低时，若对输入至AI模型中的原始图像添加扰动，则会影响AI模型的输出结果。因此，在AI模型投入使用前，需要对AI模型进行安全性测试。

相关技术中，在对AI模型进行安全性测试时，分别将各张已添加扰动的攻击图像输入至AI模型，进行多轮测试，能够获得AI模型的安全性测试结果。

然而，由于在进行多轮测试时，AI模型能够学习到攻击图像中攻击区域的形状特征，在后续识别过程中，基于已学习到的形状特征进行识别，依然会影响AI模型的输出结果。

因此，相关技术中的模型安全性测试的准确性不高。

发明内容

本申请实施例提供一种模型测试方法、装置、电子设备和存储介质，以提高对模型安全性测试的准确性。

本申请实施例提供的一种模型测试方法，包括：

获得各原始图像，以及各自对应的识别结果标签；每张原始图像关联有用于生成攻击区域的形状参数集合，且所述各原始图像关联的形状参数集合不同；

基于各形状参数集合，分别确定相应的原始图像对应的掩码结果，并基于各掩码结果，分别在相应的原始图像中，针对各个像素点设置扰动参数；其中，每个掩码结果表征相应的原始图像中，各个像素点各自的扰动参数设置方式；

基于各识别结果标签，分别更新相应的原始图像对应的扰动参数以及关联的形状参数集合，获得包含有攻击区域的攻击图像；

采用各攻击图像，对待测试模型进行安全性测试。

本申请实施例提供的一种模型测试装置，包括：

获得单元，用于获得各原始图像，以及各自对应的识别结果标签；每张原始图像关联有用于生成攻击区域的形状参数集合，且所述各原始图像关联的形状参数集合不同；

第一处理单元，用于基于各形状参数集合，分别确定相应的原始图像对应的掩码结果，并基于各掩码结果，分别在相应的原始图像中，针对各个像素点设置扰动参数；其中，每个掩码结果表征相应的原始图像中，各个像素点各自的扰动参数设置方式；

第二处理单元，用于基于各识别结果标签，分别更新相应的原始图像对应的扰动参数以及关联的形状参数集合，获得包含有攻击区域的攻击图像；

测试单元，用于采用各攻击图像，对待测试模型进行安全性测试。

可选的，所述基于各形状参数集合，分别确定相应的原始图像对应的掩码结果时，所述第一处理单元还用于：

针对所述各原始图像，分别执行以下操作：