[发明专利]基于车辆视觉传感器的环视拼接方法及相关设备

权利要求书

1.一种基于车辆视觉传感器的环视拼接方法，其特征在于，包括：

获取多个视角为水平方向的视觉传感器采集的水平图像；

将所获取的多个水平图像依次输入至第一特征提取模型以及第二特征提取模型，所述第二特征提取模型输出对应多个水平图像的多个俯视特征图；

基于多个所述俯视特征图生成对应多个水平图像的多个俯视图像；

根据各所述视觉传感器的视角，将多个所述俯视图像拼接为环视图像。

2.如权利要求1所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述将所获取的多个水平图像依次输入至第一特征提取模型以及第二特征提取模型包括：

将所获取的多个水平图像输入至所述第一特征提取模型，所述第一特征提取模型对应各所述水平图像输出多个不同尺寸的水平图像特征；

将多个所述水平图像的不同尺寸的水平图像特征输入至所述第二特征提取模型中，获得所述第二特征提取模型输出的对应多个水平图像的多个俯视特征图。

3.如权利要求2所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述第一特征提取模型包括依次相连的多个卷积模块，各所述卷积模块输出不同维度的水平图像特征，所述水平图像特征由至少部分所述卷积模块的输出。

4.如权利要求3所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述第一特征提取模型为Resnet-50。

5.如权利要求2所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述第二特征提取模型用于：

根据多个不同尺寸的水平图像特征，确定所述水平图像特征中的特征对象的尺寸；

根据所述水平图像特征中的特征对象的尺寸，确定所述特征对象与所述视觉传感器之间的距离；

根据所述特征对象与所述视觉传感器之间的距离将多个不同尺寸的水平图像特征转换为俯视图像。

6.如权利要求5所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述第二特征提取模型为Transformer模型。

7.如权利要求1所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述基于多个所述俯视特征图生成对应多个水平图像的多个俯视图像包括：

将多个所述俯视特征图分别输入至对应的上采样模块，获得所述上采样模块输出的俯视图像。

8.如权利要求7所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述上采样模块还用以执行所述俯视图像的分割，以获得各俯视图像的分割结果。

9.如权利要求1所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所获取的多个水平图像共享所述第一特征提取模型以及第二特征提取模型的模型参数。

10.如权利要求1所述的基于车辆视觉传感器的环视拼接方法，其特征在于，所述根据各所述视觉传感器的视角，将多个所述俯视图像拼接为环视图像包括：

根据各所述视觉传感器的视角，确定相邻的俯视图像的重叠区域；

基于相邻的俯视图像的置信度，合成获得相邻的俯视图像的重叠区域的重叠图像；

根据各所述俯视图像的非重叠图像以及相邻的俯视图像的重叠区域的重叠图像，拼接获得所述环视图像。

11.一种基于车辆视觉传感器的环视拼接装置，其特征在于，包括：

水平图像获取模块，用于获取多个视角为水平方向的视觉传感器采集的水平图像；

俯视特征图获取模块，用于将所获取的多个水平图像依次输入至第一特征提取模型以及第二特征提取模型，所述第二特征提取模型输出对应多个水平图像的多个俯视特征图；

俯视图像获取模块，用于基于多个所述俯视特征图生成对应多个水平图像的多个俯视图像；

环视拼接模块，用于根据各所述视觉传感器的视角，将多个所述俯视图像拼接为环视图像。