[发明专利]一种基于端侧深度学习的手机全景拍摄与合成方法

权利要求书

1.一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：基于手机前后摄像头同时实时拍摄的视频图像，将各时间点下手机前、后摄像头同时拍摄的两原始图像按如下步骤执行，实现手机拍摄全景视频的获得：

步骤1：读取手机前、后摄像头同时拍摄的两原始图像，进入步骤2；

步骤2：使用深度单应性网络对手机前、后摄像头同时拍摄的两原始图像以两幅图像之间对应全景场景所缺失的部分作为孔洞区域，实现两原始图像彼此尺寸对应的拼接处理，得到带有孔洞的全景拼接图像，进入步骤3；

步骤3：使用深度图像增强网络对带有孔洞的全景拼接图像进行去模糊处理，得到带有孔洞的去模糊全景拼接图像，进入步骤4；

步骤4：使用深度生成对抗网络将带有孔洞的去模糊全景拼接图像中孔洞部分进行补全，获得该时间点下手机拍摄的全景图像，进入步骤5；

所述步骤4中获得该时间点下手机拍摄的全景图像，执行步骤如下：

步骤4.1：训练深度生成对抗网络；

所述深度生成对抗网络包括生成对抗网络、判别器网络，所述生成对抗网络为通过4个卷积层进行连接，第一个卷积层由1024个4x4大小的卷积核构成，第二个卷积层由512个8x8大小的卷积核构成，第三个卷积层由256个16x16大小的卷积核构成，第四个卷积层由3个64x64大小的卷积核构成，卷积填充方式为按0填充，激活函数采用ReLU函数；

判别器网络为通过4个卷积层和1个完全连接层连接，每个卷积层卷积核的个数依次为8、8、36、36，卷积核的大小为3x3，步长为2，填充方式为按0填充，激活函数采用ReLU函数；

训练深度生成对抗网络的损失函数L_loss有两部分构成，即对抗网络损失函数L_adv和感知损失函数L_C，

对抗网络损失函数L_adv为：

式中，λ固定取值为10，z为输入的噪声，x为专业全景相机拍摄出的图像，为在z和x之间随机插值取样，G()为生成器、D()为判别器、Pz(z)表示噪声z的数据分布，Pdata(x)表示图像x的数据分布；

感知损失函数L_C为：

式中，使用ImageNet进行预训练VGG19，是在VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图，W_i,j是在VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图的宽，H_i,j是在VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图的高，I_B是有孔洞的全景拼接图像，I_S是由专业的全景相机获取的清晰图像，a指代VGG19网络中第i个最大池化层之前的第j个卷积获得的各个特征图对应的各个宽，b指代VGG19网络中第i个最大池化层之前的第j个卷积获得的各个特征图对应的各个高；

深度生成对抗网络的损失函数L_loss为：

L_loss＝L_adv+βL_c

式中，β为超参数，取1*10^-3；

步骤4.2：以带有孔洞的去模糊全景拼接图像作为输入，经训练好的深度单应性网络，将带有孔洞的去模糊全景拼接图像中孔洞部分进行补全，获得该时间点下手机拍摄的全景图像；

步骤5：将获得的各时间点下手机拍摄的全景图像进行图像拼接，实现手机拍摄全景视频的获得。

2.根据权利要求1所述的一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：所述步骤2中得到带有孔洞的全景拼接图像，执行的步骤如下：

步骤2.1：训练深度单应性网络；

步骤2.2：以手机前、后摄像头同时拍摄的两原始图像分别对应的两灰度图像作为输入，经训练好的深度单应性网络，输出表示两原始图像拼接前后映射关系的单应性矩阵；

步骤2.3：根据单应性矩阵提供的映射关系对手机前、后摄像头同时拍摄的两原始图像以两幅图像之间对应全景场景所缺失的部分作为孔洞区域，实现两原始图像彼此尺寸对应的拼接处理，得到带有孔洞的全景拼接图像。