[发明专利]一种基于端侧深度学习的手机全景拍摄与合成方法

说明书

本发明公开了一种基于端侧深度学习的手机全景拍摄与合成方法，主要利用基于端侧推理框架与深度神经网络模型对手机前、后摄拍摄内容进行图像拼接、图像增强去模糊以及图像内容补全，还原最真实的拍摄与合成场景，不仅能够扩大拍摄的视野范围，观察视角也能改变，给用户一种临场感，并且无需任何专业的全景拍摄设备，随时随地打开手机就可以进行拍摄。降低了VR拍摄与合成的门槛，每个用户使用手机即可进行VR全景拍摄。

技术领域

本发明涉及虚拟现实技术领域，更确切地说，涉及一种基于端侧深度学习的手机全景拍摄与合成方法。

背景技术

虚拟现实(VR)发展到今天，其主要是指360°视频，也称为全景视频。VR相结合，是未来VR的发展趋势。其应用很广泛，比如体育赛事、综艺节目、新闻现场、教育医疗、游戏电竞等。与此同时，端测推理引擎的出现能够让深度学习模型直接部署在手机上，使得通过手机来进行实时全景拍摄与合成成为可能，那么将VR带来的沉浸式体验与手机拍摄的低成本、低门槛相结合则成为目前研究的重点。

《一种用于VR全景直播的动态图像融合方法及系统》中提到，就目前而言，全景视频采集所用的都是专业的全景摄像机。不仅需要固定的架设位置且专业全景摄像机价格昂贵，导致全景拍摄的门槛较高。手机作为一种普及的电子产品，可以随时随地进行拍摄。然而手机前后摄像头参数不同，因此采集的图像数据会存在亮度不同，分辨率不同，色彩饱和度不同等问题导致拍摄的两幅图像具有一定的差异性,从而在拼接过程中将会引起伪影现象，而伪影的存在将极大的破坏用户视觉上的体验感。并且手机端镜头虽然有超广角模式，但目前手机前后摄拼接后拍摄范围仍然不足以覆盖360°全景，拼接画面中存在内容缺失。因此如何降低用户对拍摄设备的要求，又能获得完美的视觉感受和体验，也就成为了本领域内技术人员亟待解决的问题。

发明内容

本发明正是为了解决上述技术问题而设计的一种基于端侧深度学习的手机全景拍摄与合成方法，利用端侧神经网络模型，对手机的前、后摄像头拍摄的图像进行拼接并对缺失的全景内容进行补全，实现了VR实时拍摄与合成的自由化和简单化。

本发明解决其技术问题所采用的技术方案是：

一种基于端侧深度学习的手机全景拍摄与合成方法，基于手机前后摄像头同时实时拍摄的视频图像，将各时间点下手机前、后摄像头同时拍摄的两原始图像按如下步骤执行，实现手机拍摄全景视频的获得：

步骤1：读取手机前、后摄像头同时拍摄的两原始图像，进入步骤2；

步骤2：使用深度单应性网络对手机前、后摄像头同时拍摄的两原始图像以两幅图像之间对应全景场景所缺失的部分作为孔洞区域，实现两原始图像彼此尺寸对应的拼接处理，得到带有孔洞的全景拼接图像，进入步骤3；

步骤3：使用深度图像增强网络对带有孔洞的全景拼接图像进行去模糊处理，得到带有孔洞的去模糊全景拼接图像，进入步骤4；

步骤4：使用深度生成对抗网络将带有孔洞的去模糊全景拼接图像中孔洞部分进行补全，获得该时间点下手机拍摄的全景图像，进入步骤5；

步骤5：将获得的各时间点下手机拍摄的全景图像进行图像拼接，实现手机拍摄全景视频的获得。

作为本发明的一种优选技术方案，所述步骤2中得到带有孔洞的全景拼接图像，执行的步骤如下：

步骤2.1：训练深度单应性网络；

步骤2.2：以手机前、后摄像头同时拍摄的两原始图像分别对应的两灰度图像作为输入，经训练好的深度单应性网络，输出表示两原始图像拼接前后映射关系的单应性矩阵；

步骤2.3：根据单应性矩阵提供的映射关系对手机前、后摄像头同时拍摄的两原始图像以两幅图像之间对应全景场景所缺失的部分作为孔洞区域，实现两原始图像彼此尺寸对应的拼接处理，得到带有孔洞的全景拼接图像。