[发明专利]多视角图像的视角转换方法、装置、设备和介质

说明书

本公开提供了一种多视角图像的视角转换方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习等技术领域，可应用于自动驾驶、无人驾驶等场景。具体实现方案为：提取多视角图像的图像特征得到各视角图像的特征图，将特征图作为值；根据特征图构建各视角图像在对应的相机视角的局部3D坐标系下的局部键；根据全局坐标系到各视角的相机坐标系的转换关系，构建各视角图像在局部3D坐标系下的局部查询；将值、局部键和局部查询，以及全局坐标系下的全局键和全局查询，输入transformer网络的解码器，通过解码器得到多视角图像在全局坐标系下的图像特征。本公开可以降低transformer网络的学习难度，从而提高视角转换精度。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习等技术领域，可应用于自动驾驶、无人驾驶等场景，具体涉及一种多视角图像的视角转换方法、装置、设备和介质。

背景技术

自动驾驶汽车，即可以根据乘客计划自主完成出行任务的汽车，在整个出行过程中，完全不需要驾驶员的参与和控制。自动驾驶汽车想要完成出行安排，离不开感知、决策、控制这三大要素，其中感知作为让汽车“认得路”的重要环节，可以让自动驾驶汽车和驾驶员一样，读懂周围的交通要素。

在自动驾驶的视觉感知领域，通常需要融合来自不同视角相机以及雷达等传感器采集的跨模态信息，从而能够更好地基于融合特征进行感知。而使用一种统一的特征空间进行特征融合，如鸟瞰图空间（BEV，Bird’s Eye View），借助该统一的空间实现端到端的融合感知，是目前较为热门的研究方向。因此，这就会涉及如何实现多视角2D图像到统一3D空间的视角变换的问题。

发明内容

本公开提供了一种多视角图像的视角转换方法、装置、设备和介质。

根据本公开的一方面，提供了一种多视角图像的视角转换方法，包括：

提取多视角图像的图像特征，得到各视角图像的特征图，并将所述特征图作为值，其中，所述多视角图像是由不同视角的相机获取；

根据所述特征图，构建所述各视角图像在对应的相机视角的局部3D坐标系下的局部键；

根据全局坐标系到各视角的相机坐标系的转换关系，构建所述各视角图像在所述局部3D坐标系下的局部查询；

将所述值、局部键和局部查询，以及所述全局坐标系下的全局键和全局查询，输入transformer网络的解码器，通过所述解码器得到所述多视角图像在所述全局坐标系下的图像特征。

根据本公开的另一方面，提供了一种多视角图像的视角转换装置，包括：

特征提取模块，用于提取多视角图像的图像特征，得到各视角图像的特征图，并将所述特征图作为值，其中，所述多视角图像是由不同视角的相机获取；

局部键构建模块，用于根据所述特征图，构建所述各视角图像在对应的相机视角的局部3D坐标系下的局部键；

局部查询构建模块，用于根据全局坐标系到各视角的相机坐标系的转换关系，构建所述各视角图像在所述局部3D坐标系下的局部查询；

视角转换计算模块，用于将所述值、局部键和局部查询，以及所述全局坐标系下的全局键和全局查询，输入transformer网络的解码器，通过所述解码器得到所述多视角图像在所述全局坐标系下的图像特征。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所述的多视角图像的视角转换方法。