[发明专利]一种基于鱼眼相机的全景感知方法、装置、设备及介质

权利要求书

1.一种基于鱼眼相机的全景感知方法，其特征在于，包括：

通过四个鱼眼相机获取对应的四张鱼眼图像；其中，四个鱼眼相机分别放置在同一个正方形的四个顶点上，且镜头朝向正方形的对角线外侧；每个鱼眼相机生成两个虚拟针孔相机，每个虚拟针孔相机与相邻鱼眼相机生成的虚拟针孔相机构成双目相机；

根据预先由鱼眼相机的成像原理与虚拟针孔相机的参数生成的映射表，将每张所述鱼眼图像转换为对应所述双目相机的左图像和右图像；

利用二值神经网络提取每个所述双目相机左图像对应的左图像特征和右图像对应的右图像特征；

对每个所述双目相机对应的左图像特征和右图像特征进行视差计算，得到覆盖四个所述鱼眼相机所处位置全景的四张深度图。

2.根据权利要求1所述的一种基于鱼眼相机的全景感知方法，其特征在于，所述映射表的生成过程，包括：

确定预先设定的虚拟针孔相机的参数；

根据所述虚拟针孔相机的参数将所述虚拟针孔相机拍摄得到的虚拟针孔图像中的图像点投影到三维空间；

根据鱼眼相机的成像原理将所述三维空间中的图像点投影到鱼眼相机成像平面；

生成所述图像点与所述鱼眼相机成像平面的所述映射表。

3.根据权利要求2所述的一种基于鱼眼相机的全景感知方法，其特征在于，所述根据鱼眼相机的成像原理将所述三维空间中的图像点投影到鱼眼相机成像平面，包括：

将所述图像点转换为单位球面上的单位向量；

根据所述鱼眼相机成像原理计算光线入射角与所述鱼眼相机成像平面的中心点到所述鱼眼相机成像平面的投影点的径向距离关系；

根据所述单位向量与所述径向距离关系计算所述图像点在所述鱼眼相机成像平面的投影坐标。

4.根据权利要求3所述的一种基于鱼眼相机的全景感知方法，其特征在于，所述方法还包括：

利用最小二程优化并根据所述投影坐标的多项式参数、所述鱼眼相机的仿射变换矩阵、光线入射角为0时所述鱼眼相机成像平面的中心点的位置坐标以及所述鱼眼相机与标定板之间的旋转矩阵和平移矩阵，标定所述鱼眼相机的内参。

5.根据权利要求1所述的一种基于鱼眼相机的全景感知方法，其特征在于，所述对每个所述双目相机对应的左图像特征和右图像特征进行视差计算，得到覆盖四个所述鱼眼相机所处位置全景的四张深度图，包括：

对每个所述双目相机对应的左图像特征和右图像特征进行匹配代价计算，以在所述右图像特征中确定所述左图像特征的左图像素对应的右图像素；

将每个所述左图像素对应的所有右图像素进行平滑处理，以聚合得到全局匹配代价；

利用半全局匹配算法计算所述全局匹配代价中每个左图像素对应的右图像素的像素位移，得到视差值，并根据所述视差值确定对应的视差图；

根据所述视差图及所述虚拟针孔相机的参数确定覆盖四个所述鱼眼相机所处位置全景的四张深度图。

6.根据权利要求5所述的一种基于鱼眼相机的全景感知方法，其特征在于，所述对每个所述双目相机对应的左图像特征和右图像特征进行匹配代价计算，包括：

对每个所述双目相机对应的左图像特征和右图像特征计算汉明距离，作为匹配代价计算。

7.根据权利要求5所述的一种基于鱼眼相机的全景感知方法，其特征在于，在所述根据所述视差图及所述虚拟针孔相机的参数确定覆盖四个所述鱼眼相机所处位置全景的四张深度图之前，还包括：

对所述视差图进行视差平滑、视差插值、视差一致性检查或边缘保留中的至少之一，得到视差优化后的视差图；

所述根据所述视差图及所述虚拟针孔相机的参数确定覆盖四个所述鱼眼相机所处位置全景的四张深度图，包括：

根据所述视差优化后的视差图确定覆盖四个所述鱼眼相机所处位置全景的四张深度图。