[发明专利]一种基于元学习的辅助机场无人车的视觉定位方法

权利要求书

1.一种基于元学习的辅助机场无人车的视觉定位方法，其特征在于，具体步骤如下：

S11机场无人车携带的相机采集单元采集RGB图像，通过基于元学习优化的随机抽样一致方法对获取的RGB图像进行场景坐标回归，得到该RGB图像中心点位姿预测，从而得到装载相机的无人车的位姿，

上述基于元学习优化的随机抽样一致方法包括：

S11-1场景坐标回归，通过基础卷积神经网络ConvNeXt预测二维RGB图像的每个像素i对应的3维停车场的场景坐标y_i(ω)，其中ω为神经网络ConvNeXt模型的参数，通过该模型实现图像2维像素点(x_i,y_i)到3维场景坐标的：p为2维像素点(x_i,y_i)在像素坐标系下的坐标，P^C为点在相机坐标系下的坐标，P^W为点在世界坐标系下的坐标，ω为点的深度，K为相机的内参矩阵，R_CW和为从世界坐标系到相机坐标系的位姿转换；

用f(I；ω)表示2维图像相机坐标系到场景坐标系的映射，其中I表示给定的一张图像，ω为ConvNeXt神经网络需要学习的参数，优化可学习的参数ω通过最小化训练集上最终估计的期望姿势损失

式中f^*表示图像I的位姿的真值，为了对神经网络通过梯度下降法不断循环训练优化参数ω，对参数ω求导，上述公式的偏导数为：

通过第一步使用神经网络实现场景坐标的预测，即二维图像坐标点到3维场景坐标系下的映射，为下一步的鲁棒性位姿优化做准备；

S11-2首先获得大量的假设h，所述每个假设h依赖于相应场景坐标的参数，图像I和场景坐标预测Y在所有图像像素i上定义了一个密集的对应集合C，作为鲁棒位姿优化的第一步，随机选择M个对应的最小子集每个C_j对应一个摄像机姿态假设h_j，使用姿态求解器来恢复它，即：

之后对所采集的大量假设进行选择，对每一个假设所所评判的原则为：

式中的s(·)函数为评价函数，表示每一个假设模型的性能好坏；

通过不断地迭代选择最优的假设模型之后需要优化最优的模型，优化最优的模型使用所有的场景坐标进行优化：

h＝R(h,Y)

不断的迭代上述的鲁棒性位姿优化过程，最终得到精度很高的相机位姿矩阵；

S11-3元学习优化训练，通过元学习使得两个训练过程进行融合，在既保证了神经网络预测场景坐标精度的基础上实现快速的位姿模型估计过程；

S21通过对机场无人车的车载相机拍摄获得的图像进行视觉定位获得当前相机的位姿，其中基于元学习的可微分随机抽样一致算法的坐标回归方法精度非常高，位姿精度误差在5cm和5°之内，作为辅助无人车行驶过程有效辅助手段。

2.根据权利要求1所述的一种基于元学习的辅助机场无人车的视觉定位方法，其特征在于，

步骤S11-2中的随机假设模型选取中，使用的输入为RGB图像，所以位姿求解恢复器为：

p_i＝Kh^-1y_i

式中K为摄像机校准矩阵，或摄像机内部校准参数，使用这个关系，透视PnP求解器中的光束法平差从至少4个2D-3D对应中恢复相机姿态，得到唯一解:C_j≥4，在实践中，随机选择4对的图像到场景坐标进行预测。

3.根据权利要求1所述的一种基于元学习的辅助机场无人车的视觉定位方法，其特征在于，

步骤S11-2中的假设选择中的评价函数s(·)根据所应用的场景及输入确定为：

式中函数r(·)测量姿态参数h和场景坐标之间的残差，如果残差小于内层阈值τ，则I[·]计算为1。其中残差函数r(·)具体表述为：

r(y_i,h)＝||p_i-Kh^-1y_i||。

4.根据权利要求1所述的一种基于元学习的辅助机场无人车的视觉定位方法，其特征在于，

步骤S11-3中实现步骤S11-1和S11-2进行融合训练的具体方法为采用MAML方法把训练过程分为内循环和外循环，具体如下：

对于模型初始化引入MAML初始化模型参数并且使模型有一个较好的初始性能，把神经网络的训练过程分为内循环和外循环，内循环实现基本的模型功能的训练，外循环提高模型泛化性的训练，同样也把训练集分为两部分用于两个循环的训练；

其中内循环为步骤S11-1实现场景坐标的映射，实现从相机2维坐标到3维场景坐标的映射，内循环的优化为：

内循环的具体参数迭代过程表示为：

式中，ω'为内循环迭代的最优参数，ω是初始化参数，μ为内循环训练过程的学习率，表示内循环实现场景坐标回归函数的梯度。

对于外循环，主要是步骤S11-2的鲁棒性位姿优化过程，因此,内循环的优化过程为：

关于内循环和外循环参数的传递，具体参数传递方法为在采样下一批任务之前，执行元更新或元优化，通过对内循环的训练找到了最优参数ω'，之后计算对每个内循环的ω'的梯度，并通过梯度更新的方法来更新随机初始化参数ω，这使得随机初始化参数ω找到一个和目标任务更加近似的初始参数，当训练下一批任务时不需要采取许多梯度步骤；

整个过程表述如下：

式中，ω是初始化参数，η是外循环的学习率超参数，是对于外循环的鲁棒性位姿优化假设模型优化函数的数ω'的梯度。