[发明专利]一种视差图预测方法、装置及电子设备

权利要求书

1.一种视差图预测的方法，其特征在于，所述方法包括：

获得待预测视差图的第一单目视图；

将所述第一单目视图，输入到预先训练好的视差图预测网络模型；所述视差图预测网络模型为：基于多个3D片源样本对初始视差图预测网络模型和初始边缘识别网络模型进行训练获得；所述第一单目视图为左视图或右视图；

获得视差图预测网络模型输出的第一预测视差图。

2.根据权利要求1所述的方法，其特征在于，

所述视差图预测网络模型的训练过程，包括：

利用所述多个3D片源样本的右视图对初始边缘识别网络进行训练，获得过渡边缘识别网络；

利用所述多个3D片源样本的左视图，对所述初始视差图预测网络进行第一预设次数的预训练，获得过渡视差图预测网络；

利用所述多个3D片源样本的左视图和右视图，对所述过渡视差图预测网络和过渡边缘识别网络进行训练，获得最终的视差图预测网络。

3.根据权利要求2所述的方法，其特征在于，

所述多个3D片源样本为多个3D视频；

所述利用所述多个3D片源样本的左视图，对所述初始视差图预测网络进行第一预设次数的预训练，获得过渡视差图预测网络的步骤，包括：

按如下预训练步骤，对所述初始视差图预测网络进行第一预设次数的预训练，获得过渡视差图预测网络：

从所述多个3D片源样本中获取预设数量的连续视频帧，作为第一样本；

将各个第一样本的左视图输入初始视差图预测网络，获得各个第一样本的第一预测视差图；

将各个第一样本的右视图输入所述过渡边缘识别网络，获得各个第一样本的过渡第一边缘图；

基于各个第一样本的第一预测视差图、所述过渡第一边缘图和预设的损失函数，计算第一损失值；

基于所述第一损失值，对所述初始视差图预测网络的网络参数进行调整，在达到第一预设训练次数，获得过渡视差图预测网络。

4.根据权利要求3所述的方法，其特征在于，

所述视差图预测网络，包括：编码部分和解码部分；

所述将各个第一样本的左视图输入初始视差图预测网络，获得各个第一样本的第一预测视差图的步骤，包括：

针对各个第一样本中的当前帧图像；

获得上一帧图像与当前帧图像之间的第一光流信息图；所述的第一光流信息图为预先采用光流信息提取算法对各个第一样本进行计算获得的；

将当前帧图像的左视图和所述第一光流信息图合并，将合并图输入所述过渡视差预测网络的编码部分，获得下采样图像；

将所述下采样图像，输入所述初始视差预测网络的解码部分，利用上一帧图像的时序信息图对所述上采样图像进行处理，输出第一预测视差图。

5.根据权利要求4所述的方法，其特征在于，

所述基于各个第一样本的第一预测视差图、所述过渡第一边缘图和预设的损失函数，计算第一损失值的步骤，包括：

所述第一预测视差图，包括：第一预测左视差图和第一预测右视差图；

所述预设的损失函数为：SSIM+L1损失函数和二阶梯度损失函数；

所述基于各个第一样本的第一预测视差图、所述过渡第一边缘图和预设的损失函数，计算第一损失值的步骤，包括：

基于所述第一预测左视差图和第一预测右视差图，获得第一预测左视图和第一预测右视图；

根据预测右视图和实际右视图计算出SSIM+L1损失函数值

根据预测左视图和实际左视图计算出SSIM+L1损失函数值

根据预测右视差图和实际右视差，计算出二阶梯度损失函数

获得二阶梯度损失函数值图，基于公式一对二阶梯度损失函数值进行调整，获得调整后的二阶梯度损失函数值；

对二阶梯度损失函数值进行调整，获得调整后的二阶梯度损失函数值；

按公式二计算最终的第一损失值；

所述公式一为：调整后二阶梯度损失函数值图＝二阶梯度损失函数值图*(1-过渡第一边缘图)

所述公式二为：