[发明专利]一种实现图像帧之间配准的方法、装置和存储介质

权利要求书

1.一种实现图像帧之间配准的方法，其特征在于，包括：

获取样本图像帧，并在所述样本图像帧中选取参考帧以及需要与所述参考帧进行配准的目标帧；

将所述参考帧中的第一像素点投影至所述目标帧中得到投影点，并将所述投影点与所述第一像素点对应在所述目标帧中的第二像素点之间的距离的平方作为标签数值；

将所述参考帧和所述目标帧作为输入数据，并将与所述参考帧和所述目标帧对应的所述标签数值作为输出数据，将所述输入数据和所述输出数据作为数据集分别对第一相关性度量模型和第二相关性度量模型进行训练；

将至少两个待配准图像帧输入预先训练的所述第一相关性度量模型和所述第二相关性度量模型，分别得到两个所述待配准图像帧之间的第一相关性度量值和第二相关性度量值；

基于所述第一相关性度量值和所述第二相关性度量值，生成在所述待配准图像帧之间的最优相关性度量值，并在所述待配准图像帧之间进行配准。

2.根据权利要求1所述的方法，其特征在于，所述将所述参考帧中的第一像素点投影至所述目标帧中得到投影点的步骤包括：

对所述参考帧和所述目标帧中进行划分，分别得到所述参考帧对应的至少一个第一像素块，以及所述目标帧对应的至少一个第二像素块；

获取至少一个所述第一像素块的几何中心的所述第一像素点的像素深度；

基于所述第一像素点的像素深度和随机位姿参数，计算所述第一像素点投影至所述目标帧中对应的所述第二像素块上的所述投影点的坐标，其中，所述随机位姿参数为在实际位姿参数上添加随机变量生成的位姿参数。

3.根据权利要求2所述的方法，其特征在于，在所述获取样本图像帧的步骤和所述并将所述投影点与所述第一像素点对应在所述目标帧中的第二像素点之间的距离的平方作为标签数值的步骤之间，所述方法进一步包括：

基于所述第一像素块与对应的所述第二像素块之间的所述实际位姿参数，计算所述第二像素点的坐标。

4.根据权利要求2所述的方法，其特征在于，对所述第一相关性度量模型的训练过程为：

将所述输入数据中的所述参考帧中的所述第一像素块输入所述第一相关性度量模型中的第一回归网络结构，以及将所述目标帧中与所述第一像素块对应的所述第二像素块输入所述第一相关性度量模型中的第二回归网络结构，其中，所述第一回归网络结构和所述第二回归网络结构之间共享参数；

计算所述第一回归网络结构输出的第一向量与所述第二回归网络结构输出的第二向量之间的欧几里得范数，将所述欧几里得范数与所述标签数值之间差值的绝对值作为所述第一相关性度量模型的损失函数，对所述第一相关性度量模型进行训练。

5.根据权利要求2所述的方法，其特征在于，对所述第二相关性度量模型的训练过程为：

将所述输入数据中的所述参考帧中的所述第一像素块和所述目标帧中的所述第二像素块组成的至少一个像素块对输入所述第二相关性度量模型，输出所述像素块对所在的相关性度量值类别的类别权重；

基于所述类别权重计算对应的所述像素块的所述第二相关性度量值，并将所述第二相关性度量值与所述标签数值之间交叉熵作为所述第二相关性度量模型的损失函数，对所述第二相关性度量模型进行训练。

6.根据权利要求1所述的方法，其特征在于，所述生成所述待配准图像帧之间的最优相关性度量值的步骤包括：

计算所述第一相关性度量值和所述第二相关性度量值的平均值，并将所述平均值作为所述待配准图像帧之间的所述最优相关性度量值。