[发明专利]一种基于鱼眼相机的全景感知方法、装置、设备及介质

说明书

本发明公开了一种基于鱼眼相机的全景感知方法、装置、设备及介质，可广泛应用于实时环视深度估计领域，方法包括：通过四个鱼眼相机获取四张鱼眼图像；四个鱼眼相机分别放置在同一个正方形的四个顶点上，镜头朝向正方形的对角线外侧；每个鱼眼相机生成两个虚拟针孔相机，每个虚拟针孔相机与相邻鱼眼相机生成的虚拟针孔相机构成双目相机；根据预先由鱼眼相机的成像原理与虚拟针孔相机的参数生成的映射表，将每张鱼眼图像转换为对应双目相机的左图像和右图像；利用二值神经网络提取每个双目相机左图像的左图像特征和右图像的右图像特征；对每个双目相机对应的左图像特征和右图像特征进行视差计算，得到覆盖四个鱼眼相机所处位置全景的四张深度图。

技术领域

本发明涉及实时环视深度估计领域，尤其是一种基于鱼眼相机的全景感知方法、装置、设备及介质。

背景技术

鱼眼相机存在严重的非线性畸变，同一物体在不同视角下图像变形不一致，不存在传统立体匹配中的极线约束，给立体匹配带来了重大挑战，因此通常鱼眼环视立体匹配算法较为复杂，对算力要求较高；使用多视角鱼眼相机进行环视立体匹配同时有多张图像需要计算，由于处理单张图像算法计算复杂度高，处理多张图像对算力的要求更高，因此难以实时运行；目前绝大多数方法利用深度神经网络处理多视角鱼眼立体匹配问题，当实际使用环境与训练神经网络使用的数据集场景差异较大时，网络性能下降较多，存在泛化性较差的问题。

因此，上述问题亟待解决。

发明内容

有鉴于此，本发明实施例提供一种基于鱼眼相机的全景感知方法、装置、设备及介质，用于提高鱼眼相机环视立体匹配的实时运行效率及泛化性。

本发明实施例的一方面提供了一种基于鱼眼相机的全景感知方法，包括：

通过四个鱼眼相机获取对应的四张鱼眼图像；其中，四个鱼眼相机分别放置在同一个正方形的四个顶点上，且镜头朝向正方形的对角线外侧；每个鱼眼相机生成两个虚拟针孔相机，每个虚拟针孔相机与相邻鱼眼相机生成的虚拟针孔相机构成双目相机；

根据预先由鱼眼相机的成像原理与虚拟针孔相机的参数生成的映射表，将每张所述鱼眼图像转换为对应所述双目相机的左图像和右图像；

利用二值神经网络提取每个所述双目相机左图像对应的左图像特征和右图像对应的右图像特征；

对每个所述双目相机对应的左图像特征和右图像特征进行视差计算，得到覆盖四个所述鱼眼相机所处位置全景的四张深度图。

可选地，所述映射表的生成过程，包括：

确定预先设定的虚拟针孔相机的参数；

根据所述虚拟针孔相机的参数将所述虚拟针孔相机拍摄得到的虚拟针孔图像中的图像点投影到三维空间；

根据鱼眼相机的成像原理将所述三维空间中的图像点投影到鱼眼相机成像平面；

生成所述图像点与所述鱼眼相机成像平面的所述映射表。

可选地，所述根据鱼眼相机的成像原理将所述三维空间中的图像点投影到鱼眼相机成像平面，包括：

将所述图像点转换为单位球面上的单位向量；

根据所述鱼眼相机成像原理计算光线入射角与所述鱼眼相机成像平面的中心点到所述鱼眼相机成像平面的投影点的径向距离关系；

根据所述单位向量与所述径向距离关系计算所述图像点在所述鱼眼相机成像平面的投影坐标。

可选地，所述方法还包括：

利用最小二程优化并根据所述投影坐标的多项式参数、所述鱼眼相机的仿射变换矩阵、光线入射角为0时所述鱼眼相机成像平面的中心点的位置坐标以及所述鱼眼相机与标定板之间的旋转矩阵和平移矩阵，标定所述鱼眼相机的内参。