[发明专利]一种基于搜索的可扩展的最优测试图像集生成方法

说明书

本发明公开了一种基于搜索的可扩展的最优测试图像集生成方法，在测试池中随机选取多个测试图像组成测试图像集，再由多个测试图像集组成初始的当前种群；对当前种群中的每个测试图像集，计算其覆盖率和规模，选择最优测试图像集作为下一轮迭代的种群；以筛选出来的下一轮迭代的种群作为父代，利用交叉算子进行运算，得到新种群；对得到的新种群进行图像层和图像集层的变异，得到变异后的后代个体；选取得到的后代个体中覆盖率高于父代个体或覆盖率相同但规模更小的作为下一轮迭代的当前种群，然后重复以上步骤。本发明能够生成规模小、覆盖率高、可扩展性强的最优测试图像集。

技术领域

本发明属于深度学习测试领域，具体涉及一种基于搜索的可扩展的最优测试图像集生成方法。

背景技术

随着深度学习越来越多地被部署到具体应用中，研究者们开始逐渐重视深度学习应用的正确性和可靠性，针对深度学习的测试系统也应运而生。该系统通过产生测试数据并利用测试集进行验证来检测深度学习系统可能的错误行为。例如，对于图像分类深度学习卷积神经网络模型进行测试来说，目前大多数测试系统的测试图像集需要人工标注或输入，这无疑是耗时且耗费精力的。因此，迫切需要可以生成最优覆盖测试图像集的自动化方法。

一种传统的测试图像集生成方法是基于差分测试，通过观察具有相同功能的多个深度学习系统的不同表现，可以自动化获得交叉引用的测试预言，但由于要求具有相同功能，该方法有较大局限性。

另一种方法是蜕变突变，该方法通过设置严格的约束条件，保证突变前后语义不变。然而，在没有完整的正式规范的情况下，需要手动检查突变体以消除假阳性，这一步骤仍需要较多的人工参与。因此，需要方法来自动化生成标注成本小且测试覆盖率高的测试图像集。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于搜索的可扩展的最优测试图像集生成方法，能够生成规模小、覆盖率高、可扩展性强的最优测试图像集。

本发明是通过以下技术方案实现的：

一种基于搜索的可扩展的最优测试图像集生成方法，包括以下步骤：

步骤S1，在测试池中随机选取多个测试图像组成测试图像集，再由多个测试图像集组成初始的当前种群；

步骤S2，对当前种群中的每个测试图像集个体，计算每个测试图像集在待测试图像分类深度神经网络系统下对应的覆盖率以及每个测试图像集的规模，按照步骤S21- S26利用锦标赛选择法在当前种群中选择M个最佳测试图像集作为下一轮迭代的种群；

步骤S21，将下一轮迭代的种群初始化为空集；

步骤S22，从当前种群中随机选取个测试图像集，作为锦标赛选择法的竞选者；

步骤S23，将选取的竞争者按照测试图像集规模大小由小至大排序，得到排序后的竞选者列表；

步骤S24，对于排序后的竞选者列表，按照覆盖率大小由大到小排序，得到二次排序后的竞选者列表；

步骤S25，根据步骤S24得到的二次排序后的竞选者列表，选取列表中排名第一的测试图像集作为优胜者进入下一轮迭代的种群；

步骤S26，重复步骤S22-步骤S25进行M次，得到M个最佳测试图像集作为下一轮迭代的种群；

步骤S3，以步骤S2筛选出来的下一轮迭代的种群作为父代，利用交叉算子进行运算，得到新种群；

步骤S4，对步骤S3得到的新种群进行测试图像层面和测试图像集层面的变异运算，得到变异后的后代个体；其中，测试图像集层面的变异运算是指：对每个测试图像集，以第一设定概率随机减少一个测试图像或者从测试池中随机增加一个测试图像；测试图像层面的变异运算是指：对每个测试图像集，以第二设定概率从测试图像集中选取一个测试图像进行仿射变换和/或像素变换；