[发明专利]面向目标检测模型的蜕变测试方法、装置及设备

说明书

本发明公开了一种面向目标检测模型的蜕变测试方法、装置及设备，涉及模型测试领域。所述方法包括：生成仿真测试用例文件；通过目标检测模型对视觉图像进行处理得到预测结果，并基于预测结果和标签判断目标检测模型是否通过仿真测试用例文件的测试；在目标检测模型通过仿真测试用例文件的测试的情况下，基于仿真测试用例文件生成衍生测试用例文件，衍生测试用例文件包括标签和新视觉图像，新视觉图像由视觉图像经蜕变处理得到；通过目标检测模型对新视觉图像进行处理得到新预测结果，并基于新预测结果和标签判断目标检测模型是否通过衍生测试用例文件的测试。本发明能够帮助用户测试目标检测模型在不同程度的噪声、模糊等蜕变处理后的性能。

技术领域

本发明涉及模型测试技术领域，具体涉及一种面向目标检测模型的蜕变测试方法、装置及设备。

背景技术

蜕变测试是一种构造新的测试用例的方法，它的基本原理是利用程序由输入变化引起的输出变化之间的关系，将现存的测试用例转化为新的测试用例用以测试程序。其中，输入变化带来的输出变化之间的关系即为蜕变关系，生成的新的测试用例即为衍生测试用例。如果原始测试用例和衍生测试用例分别执行程序得到的相应输出不满足上述蜕变关系就说明程序存在故障。

然而，现有的蜕变测试大多使用蜕变关系作为测试语言，仅仅验证原始测试用例的测试结果和衍生测试用例的测试结果是否满足蜕变关系，测试方式单一、不够全面。

发明内容

为克服现有蜕变测试存在的局限性，本发明公开了一种面向目标检测模型的蜕变测试方法、装置及设备。

本发明的技术方案包括：

一种面向目标检测模型的蜕变测试方法，所述方法包括：

生成仿真测试用例文件，所述仿真测试用例文件包括：视觉图像、标签和语义图；

通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试；

在所述目标检测模型通过所述仿真测试用例文件的测试的情况下，基于所述仿真测试用例文件生成衍生测试用例文件，所述衍生测试用例文件包括所述标签和新视觉图像，所述新视觉图像由所述视觉图像经蜕变处理得到；

通过所述目标检测模型对所述新视觉图像进行处理得到新预测结果，并基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试。

可选地，所述通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试，包括：

设置目标类别数、交并比阈值、置信度阈值，并创建长度为所述目标类别数的目标类别数组；

将所述视觉图像输入所述目标检测模型，得到所述目标检测模型针对所述视觉图像的预测置信度高于所述置信度阈值的预测结果；

初始化长度为所述目标类别数的真实结果数组与预测结果数组，并根据所述标签中的目标类别与所述预测结果中的目标类别在所述目标类别数组中的位置，将目标类别的位置信息分别加入至所述真实结果数组与所述预测结果数组中的对应位置；

对于目标类别i，基于所述真实结果数组与所述预测结果数组中的位置信息，分别计算每个标签中目标类别i与预测结果中目标类别i的交并比，并组成一交并比矩阵，其中i为目标类别在所述目标类别数组中的编号；

根据所述交并比矩阵与所述交并比阈值，计算所述目标类别i的预测结果和标签相互匹配的目标数tp；

基于所述目标数tp计算所述目标类别i的精确率与召回率，并基于所述精确率与所述召回率计算所述目标类别i的F1值；

统计所有目标类别的F1值，得到所述仿真测试用例文件的宏平均F1值；