[发明专利]一种行车环视系统中全景图生成方法、系统及存储介质

说明书

本发明公开了一种行车环视系统中全景图生成方法、系统及存储介质，其中方法包括：获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型；基于原始鱼眼图像、车辆模型、第一像素位置映射表生成全景图，其中第一像素位置映射表为预先获得的原始鱼眼图像到拼接后图像的像素位置映射表。通过预先生成第一像素位置映射表，该过程中繁杂的矩阵运算交给PC机来完成，只将得到的第一像素位置映射表存储至硬件中进行应用，然后由硬件将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，再结合车辆模型直接生成全景图，该硬件本身无需再计算生成第一像素位置映射表的中间过程，降低硬件处理计算能力的要求，有效降低行车环视系统的实现成本。

技术领域

本发明涉及辅助驾驶技术领域，尤其涉及一种行车环视系统中全景图生成方法、系统及存储介质。

背景技术

在当下的汽车电子领域，行车环视系统被广泛的应用到各式各样的车型中来辅助司机安全行驶。行车环视系统主要是利用安装在车身的多路相机所拍摄的图像，拼接成一幅360°全景图像来消除车辆的视野盲区以辅助道路行驶。

但现在市面上大部分行车环视系统的显示效果存在拼接缝隙明显(拼接质量不高)以及视频画面不够流畅(拼接实时性不足)等问题。主要原因在于目前对图像拼接的研究大多是针对普通相机且在特征层面进行图像配准及拼接。但在行车环视系统的应用场合下，前面的方法不能解决鱼眼图像桶形畸变严重、拍摄图片需透视变换以及由于硬件运算处理限制而带来的实时性不足等问题。去除桶形畸变、透视变换、拼接等图像处理步骤包含了大量的矩阵运算，极大增加了硬件运算处理的时间消耗，严重影响了拼接的实时性。且常用的基于特征点的拼接方法在行车环视系统下存在局限性：1.行车环视全景图像的硬件采用的是鱼眼相机，鱼眼相机所拍摄的图像是带有很多桶形畸变的，由于边缘部分的鱼眼图像在矫正之后质量下降严重，这对于特征点的提取会造成很大的障碍。2.一般基于特征点的拼接都是采用水平平移拍摄的，所以提取特征点计算变换模型之后，拼接在一起的图像是很自然的，但在行车环视系统的场景下，鱼眼镜头安装在车身四周其夹角至少为90°，所以利用拼接形成的图像会有很严重的拉伸变形。同时在行车环视系统场景下，选择与PC机相媲美的高性能硬件将额外增加产品的成本。于是就需要一种有效的行车环视系统中全景图生成方法能在性能不出众的硬件上完成较好质量的环视全景拼接图。

发明内容

本发明提供了一种行车环视系统中全景图生成方法、系统及存储介质，以解决现有技术中行车环视系统中全景图的生成对硬件要求高的问题。

本发明第一方面，提供了一种行车环视系统中全景图生成方法，包括：

获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型；

基于原始鱼眼图像、车辆模型、第一像素位置映射表生成全景图；其中第一像素位置映射表通过如下方法获得：

获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；

基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；

获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；

建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；

基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。