[发明专利]一种基于球幕相机的全景拼接融合方法、系统及存储介质

说明书

本发明涉及一种基于球幕相机的全景拼接融合方法、系统及存储介质，其方法具体步骤为：S1通过球幕相机获取静态图像及视频流；S2对球幕相机进行标定及对静态图像进行预处理；S3将经预处理后的静态图像拼接成为静态三维全景图；S4将视频流进行预处理后与静态三维全景图进行配准融合，形成动态三维全景图；S5将动态三维全景图输出至显示终端进行动态展示。其系统具体包括有：采集模块、拼接融合模块、显示模块及通信模块。还涉及了可执行本发明方法及系统的计算机存储介质。本发明可实现将视频流融入到静态三维全景图中，极大程度的还原场景中的真实状态，有效克服传统技术存在的拼接后面画面断裂及出现“鬼影”的问题，增强用户沉浸式视觉体验。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于球幕相机的全景拼接融合方法、系统及存储介质。

背景技术

21世纪是一个充满信息的时代，图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。数字图像处理，即用计算机对图像进行处理，其发展历史并不长。数字图像处理技术源于20世纪20年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，采用了数字压缩技术。首先数字图像处理技术可以帮助人们更客观、准确地认识世界，人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像、图形又是所有视觉信息的载体，尽管人眼的鉴别力很高，可以识别上千种颜色，但很多情况下，图像对于人眼来说是模糊的甚至是不可见的，通过图象增强技术，可以使模糊甚至不可见的图像变得清晰明亮。

现有技术中已经公开有很多有关图像处理的技术，例如：申请号为CN201610715322.3的一种全景拼接方法，其基本步骤主要包括：摄像机的标定；图像坐标变换；传感器图像畸变校正；图像的投影变换；匹配点选取；全景图像融合；亮度与颜色的均衡处理。本发明的有益效果是：本发明实现将两幅以上的分区图合成全景图，可形成360度无视角死区，高清晰度的全景图，令细节表现更完美，增强了真实感和现场感，全景图的数据量较小，分区图合成全景图显示对硬件要求低，有助于满足监控摄像头在长期作业过程中产生的巨大数据量。但该全景拼接方法合成的全景图多为静态图像，无法充分完整的还原出原始场景的真实状态。

申请号为CN108510445A的一种全景图像拼接方法，包括步骤：获取全景相机每路摄像头所拍摄的原始图像，并对各原始图像进行图像畸变矫正；对畸变矫正后的图像进行缩放处理得到待融合图像；计算全景相机各摄像头的待融合图像在融合区内的最优缝合中心线，融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的顶部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；基于最优缝合中心线计算第一融合区与第二融合区的权重表；根据第一融合区和第二融合区的权重表对所有待融合图像进行融合；对融合后的图像进行图像拉伸。

由上述可知，在现有技术中，通常利用全景相机对真实场景进行360度拍摄得到多组图像，并利用全景拼接技术自动拼接得到真实场景的一张完整的全景图像，但该全景图多为静态图像，无法充分完整的还原出原始场景的真实状态。此外全景相机自动拼接的全景图像，在图像拼接边缘处会出现拼接缝，进而造成全景画面断裂不连续，具有一定的局限性，用户体实时预览体验感较差。

上述公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

为解决背景技术中的技术问题，本发明提供一种基于球幕相机的全景拼接融合方法、系统及存储介质。

根据本发明提供的一种基于球幕相机的全景拼接融合方法，包括下列步骤：

S1通过球幕相机获取真实场景中的静态图像及视频流；

S2对球幕相机进行标定及对静态图像进行预处理；

S3将经预处理后的静态图像拼接成为静态三维全景图；