[发明专利]基于车辆视觉传感器的环视拼接方法及相关设备

说明书

本发明提供一种基于车辆视觉传感器的环视拼接方法及相关设备。方法包括：获取多个视角为水平方向的视觉传感器采集的水平图像；将所获取的多个水平图像依次输入至第一特征提取模型以及第二特征提取模型，所述第二特征提取模型输出对应多个水平图像的多个俯视特征图；基于多个所述俯视特征图生成对应多个水平图像的多个俯视图像；根据各所述视觉传感器的视角，将多个所述俯视图像拼接为环视图像。本发明基于车辆上配置的视觉传感器将采集的水平图像转换为环视俯视图像，改善拼接难度，并提高俯视图像转换和环视图像拼接的实时性。

技术领域

本发明涉及机器视觉与图像处理领域，尤其涉及一种基于车辆视觉传感器的环视拼接方法及相关设备。

背景技术

目前，在自动驾驶领域，存在将摄像头采集的水平图像转换为环视俯视图像的需求，以自平面图像中获得多维信息，从而便于自动驾驶时，进行车辆定位和/或地图构建。

由此，如何将采集的水平图像转换为环视俯视图像，并提高俯视图像转换和环视图像拼接的实时性，是本领域技术人员亟待解决的技术问题。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种基于车辆视觉传感器的环视拼接方法、装置、电子设备、存储介质，以基于车辆上配置的视觉传感器将采集的水平图像转换为环视俯视图像，改善拼接难度，并提高俯视图像转换和环视图像拼接的实时性。

根据本发明的一个方面，提供一种基于车辆视觉传感器的环视拼接方法，包括：

获取多个视角为水平方向的视觉传感器采集的水平图像；

将所获取的多个水平图像依次输入至第一特征提取模型以及第二特征提取模型，所述第二特征提取模型输出对应多个水平图像的多个俯视特征图；

基于多个所述俯视特征图生成对应多个水平图像的多个俯视图像；

根据各所述视觉传感器的视角，将多个所述俯视图像拼接为环视图像。

在本申请的一些实施例中，所述将所获取的多个水平图像依次输入至第一特征提取模型以及第二特征提取模型包括：

将所获取的多个水平图像输入至所述第一特征提取模型，所述第一特征提取模型对应各所述水平图像输出多个不同尺寸的水平图像特征；

将多个所述水平图像的不同尺寸的水平图像特征输入至所述第二特征提取模型中，获得所述第二特征提取模型输出的对应多个水平图像的多个俯视特征图。

在本申请的一些实施例中，所述第一特征提取模型包括依次相连的多个卷积模块，各所述卷积模块输出不同维度的水平图像特征，所述水平图像特征由至少部分所述卷积模块的输出。

在本申请的一些实施例中，所述第一特征提取模型为Resnet-50。

在本申请的一些实施例中，所述第二特征提取模型用于：

根据多个不同尺寸的水平图像特征，确定所述水平图像特征中的特征对象的尺寸；

根据所述水平图像特征中的特征对象的尺寸，确定所述特征对象与所述视觉传感器之间的距离；

根据所述特征对象与所述视觉传感器之间的距离将多个不同尺寸的水平图像特征转换为俯视图像。

在本申请的一些实施例中，所述第二特征提取模型为Transformer模型。

在本申请的一些实施例中，所述基于多个所述俯视特征图生成对应多个水平图像的多个俯视图像包括：

将多个所述俯视特征图分别输入至对应的上采样模块，获得所述上采样模块输出的俯视图像。

在本申请的一些实施例中，所述上采样模块还用以执行所述俯视图像的分割，以获得各俯视图像的分割结果。