[发明专利]一种神经网络架构的关键点提取网络构建方法和系统

说明书

本发明公开了一种基于神经网络架构搜索的深度关键点提取方法和系统，利用神经网络架构搜索技术进行深度关键点提取的模型的自动设计，模型能够同时检测和描述关键点，最终搜索到更加轻量、性能更好的关键点提取网络模型。

技术领域

本发明属于计算机视觉领域，特别是一种神经网络架构的关键点提取网络构建方法和系统。

背景技术

关键点检测作为计算机视觉任务中的基础步骤，是很多应用的重要组成部分。在过去几十年，手工关键点提取已经发展的非常成熟，其包括关键点检测和根据特征点的局部信息计算描述子。但是手工关键点过于依赖人的经验，具有一定的局限性。越来越多研究者将目光放到深度学习领域。基于深度学习的关键点提取方法很少采用有监督的方式，因为关键点没有明确定义，很难标定真实值。因此，现有大多数基于深度学习的关键点提取模型都是自监督的方式，这种方式可行性更强。

然而，现有的关键点提取的网络模型大多没有同时考虑性能、模型参数量和计算量，在实际使用时，较为庞大的网络模型对于后续视觉任务，例如SLAM系统，负载过大。

发明内容

本发明要解决的是现有方法无法很好地平衡模型大小、模型计算量和模型性能的问题。

本发明所采用的技术方案是：一种基于神经网络架构搜索的关键点提取网络构建方法，包括以下步骤：

S1，预备图像数据I和图像数据V，图像数据V包括源图像、目标图像以及两者之间真实的单应性变换关系，将图像数据I中的源图像S经单应性变换得到目标图像T，由源图像S和目标图像T组成训练数据；

S2，通过对超网络模型的每个block操作进行均匀采样得到子网络模型A，将训练数据输入到子网络模型A，得到训练数据的关键点得分、关键点位置坐标和关键点对应的描述子并利用上述三者构建损失函数，通过损失函数计算误差，进行反向传播更新超网络模型的网络参数，进行迭代更新直至损失函数不再下降；

S3,利用控制器模型输出超网络模型中每个block里选择的操作数，根据该操作数和S2中迭代更新后的超网络模型的网络参数生成子网络模型B，从图像数据V中抽取一对源图像和目标图像输入子网络模型B，得到该图像对的关键点得分、关键点位置坐标和关键点对应的描述子，再结合图像数据V中单应性变换关系的真实值计算该图像对的评价指标，然后将图像数据V中剩余的图像对一一输入子网络模型B并计算其评价指标，将所有图像对的评价指标作为子网络模型B的评价指标，将子网络模型B的评价指标作为奖励值对控制器模型的参数进行更新；

S4，重复S3，直至达到预设的迭代次数或者子网络模型B的性能不再提高；

S5，利用迭代后控制器模型输出N个子网络模型C，从中挑选出性能最好的作为输出结果。

作为优选，所述S2中，损失函数为：

其中α,β,γ,λ是用来平衡不同误差项之间的权重，每一项误差的定义如下。

L_pos是用于学习关键点位置的误差，表示源图像的关键点warp到目标图像的对应位置，表示目标图像中离最近的关键点，i表示的关键点序号。

为了辅助关键点位置学习，加入了图像梯度误差L_grad进行监督，I(i,j)表示灰度值，表示图像(i,j)位置在水平方向，垂直方向和对角方向的梯度之和。

L_score是用于学习关键点得分的误差，s_i和分别表示源图像和目标图像中对应关键点的得分，d表示匹配点之间的欧氏距离，L表示匹配的总点数。