[发明专利]多视角图像的视角转换方法、装置、设备和介质

权利要求书

1.一种多视角图像的视角转换方法，包括：

提取多视角图像的图像特征，得到各视角图像的特征图，并将所述特征图作为值，其中，所述多视角图像是由不同视角的相机获取；

根据所述特征图，构建所述各视角图像在对应的相机视角的局部3D坐标系下的局部键；

根据全局坐标系到各视角的相机坐标系的转换关系，构建所述各视角图像在所述局部3D坐标系下的局部查询；

将所述值、局部键和局部查询，以及所述全局坐标系下的全局键和全局查询，输入transformer网络的解码器，通过所述解码器得到所述多视角图像在所述全局坐标系下的图像特征。

2.根据权利要求1所述的方法，其中，所述根据所述特征图，构建所述各视角图像在对应的相机视角的局部3D坐标系下的局部键，包括：

针对所述各视角图像的特征图上的像素点，基于各视角相机的内参和设定的图像深度范围，获取各像素点在与之对应的局部3D坐标系中的3D坐标集合；

对所述各视角图像对应的所述3D坐标集合进行第一位置编码，得到所述各视角图像在对应的相机视角的局部3D坐标系下的局部键。

3.根据权利要求2所述的方法，其中，所述基于各视角相机的内参和设定的图像深度范围，获取各像素点在与之对应的局部3D坐标系中的3D坐标集合，包括：

将所述图像深度范围划分为多个深度区间；

根据所述各像素点的位置信息、所述各视角相机的内参以及所述各像素点对应的多个深度区间，计算所述各像素点在每个深度区间的局部3D坐标；

根据所述各像素点的局部3D坐标，获取所述各像素点在与之对应的局部3D坐标系中的3D坐标集合。

4.根据权利要求3所述的方法，其中，所述将所述图像深度范围划分为多个深度区间，包括：

按照均匀划分的方式，将所述图像深度范围划分为多个深度区间。

5.根据权利要求3所述的方法，其中，所述将所述图像深度范围划分为多个深度区间，包括：

按照近密远疏的方式，将所述图像深度范围划分为多个深度区间，其中，所述近密远疏是指，以所述相机为原点，距离所述原点远的深度区间的数量少于距离所述原点近的深度区间的数量。

6.根据权利要求1所述的方法，其中，所述根据全局坐标系到各视角的相机坐标系的转换关系，构建所述各视角图像在所述局部3D坐标系下的局部查询，包括：

根据全局坐标系到各视角的相机坐标系的转换关系，获取所述全局坐标系下的预定义参考点在各相机视角的局部3D坐标系下的局部参考点；

对所述局部3D坐标系下的局部参考点的坐标进行第二位置编码，得到所述各视角图像在所述局部3D坐标系下的局部查询。

7.根据权利要求6所述的方法，其中，所述根据全局坐标系到各视角的相机坐标系的转换关系，获取所述全局坐标系下的预定义参考点在各相机视角的局部3D坐标系下的局部参考点，包括：

获取所述各视角图像在所述全局坐标系下对应的预定义参考点；

将所述预定义参考点的坐标与所述不同视角的相机外参的逆相乘，得到所述各相机视角的局部3D坐标系下的局部参考点。

8.根据权利要求1所述的方法，其中，所述解码器包括交叉注意力网络；

所述将所述值、局部键和局部查询，以及所述全局坐标系下的全局键和全局查询，输入transformer网络的解码器，通过所述解码器得到所述多视角图像在所述全局坐标系下的图像特征，包括：

将所述值、局部键和局部查询，以及所述全局坐标系下的全局键和全局查询，作为所述交叉注意力网络的输入，通过所述交叉注意力网络的计算得到所述多视角图像在所述全局坐标系下的图像特征。

9.根据权利要求8所述的方法，其中，在所述交叉注意力网络中，局部键和局部查询之间进行计算，全局键和全局查询之间进行计算。