[发明专利]基于三维的行车环境成像方法及装置

说明书

本公开涉及基于三维的行车环境成像方法及装置。该方法包括：检测鱼眼相机获取的畸变图中的特征点，并根据特征点对应的坐标对鱼眼相机进行标定，得到畸变图对应的校正图；根据鱼眼相机的相关参数确定第一矩阵；根据第一矩阵以及特征点在校正图中的坐标确定第二矩阵；根据第二矩阵对校正图进行透视投影变换，得到校正图在虚拟成像面上对应的虚拟成像图，并确定特征点在虚拟成像面上的坐标；建立三维行车环境模型；获取虚拟成像图的纹理；根据第一矩阵将虚拟成像图的纹理贴在三维行车环境模型上。本公开能够使车身周围立面场景显示真实，立体感强，且平面贴图与立面贴图过渡自然。

技术领域

本公开涉及全景成像技术领域，尤其涉及一种基于三维的行车环境成像方法及装置。

背景技术

随着人们生活水平的不断提高，汽车已成为最重要的出行工具之一。汽车保有量的飞速增长，使行车安全问题越来越受到人们的关注。道路上事故频发，严重影响人们的日常生活，甚至危害人们的生命安全。因此，汽车安全辅助驾驶系统应运而生，其中，视觉辅助驾驶系统的应用最广。全景辅助驾驶系统是视觉辅助驾驶系统中能够有效地提高行车安全的车载辅助设备之一。

目前汽车市场上流行的全景环视系统是利用二维重投影技术，将摄像头获取的图像向二维平面上投射。该类系统只能将从车上方拍摄得到的俯视图显示出来，当车辆周围存在三维物体时，其投影视角在俯视图中会出现变形，给驾驶员造成视觉上的疑惑。例如，当车辆周围存在行人时，在二维俯视画面中会呈现为点状以及影子的平面图像。

上述的二维重投影技术，是两个平面之间的透视投影变换，实现了畸变校正图到俯视投影图变换，但无法保留场景中视平线以上(立面物体)的信息。三维图像技术能够很好地解决上述问题。基于三维图像技术，利用安装在车辆周围的多个摄像头，通过摄像头获取车辆周围的图像，将这些图像在三维模型上重新成像，能使车辆周围的三维物体显示出来。例如，可以通过建立3D(3dimensions，三维)模型，将矫正图像投影到3D模型的不同区域，再显示全景3D画面。该方法虽然改善了2D(2dimensions，二维)投影的拉伸问题，但在全景图像中，平面与立面的结合区域有较明显的折痕感，过渡较不自然。

发明内容

有鉴于此，本公开提出了一种基于三维的行车环境成像方法及装置，以解决三维全景图像的平面与里面的结合区域过渡不自然的问题。

根据本公开的一方面，提供了一种基于三维的行车环境成像方法，包括：

检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图；

根据所述鱼眼相机的相关参数确定第一矩阵；

根据所述第一矩阵以及所述特征点在校正图中的坐标确定第二矩阵；

根据所述第二矩阵对所述校正图进行透视投影变换，得到所述校正图在虚拟成像面上对应的虚拟成像图，并确定所述特征点在所述虚拟成像面上的坐标；

建立三维行车环境模型；

获取所述虚拟成像图的纹理；

根据所述第一矩阵将所述虚拟成像图的纹理贴在所述三维行车环境模型上。

在一种可能的实现方式中，检测鱼眼相机获取的畸变图中的特征点，并根据所述特征点对应的坐标对所述鱼眼相机进行标定，得到所述畸变图对应的校正图，包括：

检测所述鱼眼相机获取的畸变图中的第一组特征点；

对所述畸变图进行投影处理，得到所述畸变图对应的投影图；

检测所述投影图中的第二组特征点；

对所述投影图进行反投影处理，得到所述畸变图，并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标；