[发明专利]一种全景相机及其图像生成方法、系统、设备、存储介质

说明书

技术领域

本发明涉及全景相机技术领域，特别涉及一种全景相机及其图像生成方法、系统、设备、存储介质。

背景技术

VR(即Virtual Reality)技术能够让使用者进入一个三维空间的沉浸虚拟世界，如同身历其境一般。随着技术的进步，三维立体全景影像技术的应用范围越来越广。全景拍摄技术指的是利用科学技术、专业设备将整个真实的场景映射成全景图像，从而将二维的平面图模拟为三维立体空间，实现虚拟现实浏览。同时，浏览者可以在全景空间里进行切换，自由的观看“天地万物”。全景摄影成为新兴增长领域，而全景相机是全景摄影的核心设备。

全景相机，就是能够进行全景拍摄的摄影器材。除拍照外，还可以应用于动态影像的拍摄，也被称为全景摄像机。由于单个相机镜头的视角范围小于360°，所以全景相机至少配备两个镜头。与传统相机/智能手机的水平旋转拍摄不同，全景相机能够在水平和垂直方向同一时刻拍摄，再通过全景拼接软件处理，生成360°×180°的全景画面。

目前典型的全景相机是利用鱼眼光学镜头来进行全景图像拍摄的设备，一次摄取足够大的视场角的图像，其原理是依据仿生学(鱼眼构造)，经过物理光学的球面镜透射以及折射，一次性地对水平360度，垂直180度的信息进行成像。

然而，当前全景相机全景图生成算法在某些情况下无法保证拍摄得到的全景图像的质量，特别是在夜间拍摄时，很难满足光照充足的条件，拍摄的低亮度全景图像普遍具有很低的对比度，夹杂着大量的噪声，人眼视觉感受较差，尽管相机传感器硬件已经有了飞速的发展和进步，但是由于硬件尺寸以及成本的限制，目前大部分全景相机设备的夜间拍照质量依然很难满足用户的需求和期望。

综上所述可以看出，如何提升夜间拍摄的全景图像的图像质量是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种全景相机及其图像生成方法、系统、设备、存储介质，能够有效地提升夜间拍摄的全景图像的图像质量。其具体方案如下：

第一方面，本发明公开了一种VR全景图像生成方法，应用于包括N个鱼眼镜头的全景相机，N为不小于2的整数；其中，所述方法包括：

采集当前外界环境的实时光照强度；

判断实时光照强度是否小于预设光照强度阈值，如果是，则分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的N组原始鱼眼图像；其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像；

分别对每组原始鱼眼图像进行融合处理，相应地得到N张融合图像；

对所述N张融合图像进行拼接处理，得到拼接后的全景图像。

可选的，所述分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的N组原始鱼眼图像的步骤，包括：

确定实时光照强度的强度等级，得到目标强度等级；

利用预设的强度等级与每组原始鱼眼图像的采集数量之间的映射关系，确定出与所述目标强度等级对应的采集数量，得到目标采集数量；

根据所述目标采集数量，分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的N组原始鱼眼图像；其中，每组原始鱼眼图像的图像帧数与所述目标采集数量相等。

可选的，对每组原始鱼眼图像进行融合处理的过程，包括：

从该组原始鱼眼图像筛选出一帧原始鱼眼图像作为参考帧图像；

将该组原始鱼眼图像中的其他原始鱼眼图像均与所述参考帧图像进行坐标对齐，得到相应的对齐后图像序列；

对所述对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像。

可选的，所述从该组原始鱼眼图像筛选出一帧原始鱼眼图像作为参考帧图像的步骤，包括：

分别计算该组原始鱼眼图像中每帧原始鱼眼图像的平均梯度，然后将平均梯度最大的一帧原始鱼眼图像作为参考帧图像。

可选的，所述对所述对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像的步骤，包括：

分别根据所述对齐后图像序列中每一帧图像与所述参考帧图像所对应的图像坐标之间的像素灰度差值的绝对值，确定所述对齐后图像序列中每一帧图像的加权系数；

根据所述对齐后图像序列中每一帧图像的加权系数，对所述对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像。

可选的，所述对所述N张融合图像进行拼接处理，得到拼接后的全景图像的步骤，包括：

分别对每张融合图像进行平面展开，得到N张展开后图像；

对所述N张展开后图像进行重合区域的配准处理，得到相应的配准结果；