[发明专利]基于多目标神经网络搜索的嵌入式目标检测模型生成方法

说明书

本发明公开一种基于多目标神经网络搜索的嵌入式目标检测模型生成方法，选择嵌入式目标检测模型的基础检测结构并设定搜索空间；构建包含搜索空间中所有子网络的超网络；将训练好的超网络联合设定好的检测头在目标检测数据集上进行微调；在搜索前通过批量枚举搜索空间中的子网络，自动构建可推理的模型，并将模型部署到嵌入式设备上进行运行时间的测试，建立搜索空间中子网络结构编码与运行时延之间的速查表；使用强化学习的方法展开搜索；搜索过程使得网络结构朝着多个目标的方向优化；维护一个帕累托最优解集来获得符合多目标要求的目标检测模型；选择帕累托最优解集中的元素，将其对应的检测网络在嵌入式平台上进行编译部署。

技术领域

本发明涉及一种基于多目标神经网络搜索的嵌入式目标检测模型生成方法，属于嵌入式目标检测和网络搜索技术领域。

背景技术

目标检测作为计算机视觉领域的重要任务之一，主要是指在图像中定位出特定类别的实例对象。目标检测广泛应用在人们的生产生活中，如自动驾驶、智能监控等。目标检测的解决方案可以分为传统的目标检测算法和基于深度学习的目标检测算法，传统的目标检测通过手工设计特征对图像中的目标进行检测，难以应对图像内容多样的变化，基于深度学习的目标检测则依赖于神经网络结构的设计和目标场景下数据集的构造。基于深度学习的目标检测按照原理又可以分为一阶段算法和二阶段算法，二阶段将检测任务分为区域建议和检测两个步骤，具有较高的精度和较长的运行时间，一阶段则直接进行检测，损失一部分精度却提升了运行速度。

在一些嵌入式场景下，可以选择速度较快的一阶段算法(如SSD等)进行部署，但往往精度和速度的需求仍未得到满足。此外，部署在嵌入式场景下的目标检测算法常常会在运行内存的占用上受到限制，因而对模型的参数量也提出了要求。现有的嵌入式目标检测方法通常会将检测模型通过手工的方式进行一定的优化，以使模型变得更加轻量化、更适合部署在嵌入式设备上。然而这种手工对检测模型做出调整的方式，往往较难在多个目标之间做出最佳平衡，而且会带来较大的实验成本。

发明内容

发明目的：针对嵌入式目标检测场景下精度、速度、参数量等多个指标需要同时考虑的情况，本发明提供一种基于多目标神经网络搜索的嵌入式目标检测模型生成方法，使用多目标神经网络结构搜索的方法得到运行在嵌入式平台上的检测模型，在搜索过程中考虑检测精度、网络时延和参数量等信息，筛选出较为鲁棒的轻量化网络。

技术方案：一种基于多目标神经网络搜索的嵌入式目标检测模型生成方法，包括：(1)根据嵌入式硬件对网络结构的要求，选择嵌入式目标检测模型的基础检测结构并在其骨干网络部分设定搜索空间；(2)根据搜索空间的设定，构建包含搜索空间中所有子网络的超网络，并将超网络在imagenet分类数据集上进行预训练；(3)将训练好的超网络联合设定好的检测头在目标检测数据集上进行微调，使得超网络中预训练获得的参数更加适用于目标检测场景；(4)在搜索前通过批量枚举搜索空间中的子网络，自动构建可推理的模型，并将模型部署到嵌入式设备上进行运行时间的测试，然后建立搜索空间中子网络结构编码与对应运行时延之间的速查表，以备搜索过程中的查询；(5)使用强化学习的方法作为搜索策略对搜索空间中的子网络展开搜索；(6)搜索过程中通过一个关于多目标的奖赏来使得网络结构朝着多个目标的方向优化；(7)搜索过程中维护一个帕累托最优解集来获得符合多目标要求的目标检测模型；(8)按照嵌入式场景下的需求设定选择帕累托最优解集中的元素，将其对应的检测网络在嵌入式平台上进行编译部署。

所述(1)中，选择一阶段目标检测算法SSD-lite中的特征融合及检测头部分作为基础检测结构；待搜索的骨干网络部分按照cell堆叠的形式组织，每个cell中的内部结构由网络搜索得到，这种按照cell划分网络结构的方式大大减少了搜索空间，提高了搜索效率；cell内部中，节点之间的连接关系可以通过one-not编码来表示，而操作算子则在嵌入式硬件支持的前提下选择分组卷积、可分离卷积等参数量与计算量较小的操作类型作为可选项，使得搜索空间中的网络均具备轻量化的特点。