[发明专利]一种视差确定方法、装置、设备、介质

权利要求书

1.一种利用视差优化网络来实现的视差确定方法，所述视差优化网络包括多个级联的层结构，并且所述方法包括：

获取目标视图相应的多个图像，所述多个图像中的每一个图像为通过对所述目标视图进行尺寸调整来获得的，并且所述多个图像中的每一个图像与所述视差优化网络中相应的层结构所输出的特征图的尺寸相同；

至少基于所述目标视图生成初始视差图；以及

至少将所述初始视差图输入到所述视差优化网络，并且将所述多个图像中的每一个图像与相应的层结构所输出的特征图进行融合并将融合所得到的图像输入到所述视差优化网络，获取所述视差优化网络输出的优化视差图。

2.如权利要求1所述的方法，其中，所述视差优化网络中的各层结构均包括特征提取层和池化层。

3.如权利要求1所述的方法，其中，所述获取所述视差优化网络输出的优化视差图包括：

将所述目标视图与所述初始视差图进行融合，得到初始融合图像；以及

将所述初始融合图像输入到所述视差优化网络。

4.如权利要求2所述的方法，其中，所述获取所述视差优化网络输出的优化视差图包括：

将所述多个图像中的每一个图像与相应的层结构所输出的特征图进行融合，以得到相应的融合图像；

将所述相应的融合图像输入到所述相应的层结构的下一层；以及

基于所述视差优化网络的最后一层结构，确定所述优化视差图。

5.如权利要求4所述的方法，其中，所述将所述多个图像中的每一个图像与相应的层结构所输出的特征图进行融合包括：

利用该层结构的特征提取层提取输入到该层结构的融合图像的特征图，其中，输入到该层结构的融合图像和该层结构的特征提取层所提取的特征图均具有第一尺寸；

利用该层结构的池化层对所提取的特征图进行降维，以输出具有第二尺寸的特征图；以及

将所述具有第二尺寸的特征图与所述多个图像中相应的另一个图像进行融合。

6.如权利要求4所述的方法，其中，所述基于所述视差优化网络的最后一层结构，确定所述优化视差图包括：

利用所述最后一层结构，提取输入到所述最后一层结构的融合图像的特征图；以及

对所述最后一层结构所提取的特征图进行上采样，以获得所述优化视差图，其中，所述优化视差图具有与所述目标视图相同的尺寸。

7.如权利要求1所述的方法，其中，对所述每一个图像与相应的层结构所输出的特征图所进行的融合包括通道堆叠、矩阵相乘或矩阵相加。

8.一种视差优化网络的训练方法，所述视差优化网络包括多个级联的层结构，并且所述方法包括：

获取样本视图相应的真实视差图和多个样本图像，所述多个样本图像中的每一个样本图像为通过对所述样本视图进行尺寸调整来获得的，并且所述多个样本图像中的每一个样本图像与所述视差优化网络中相应的层结构所输出的特征图的尺寸相同；

至少基于所述样本视图生成初始样本视差图；

至少将所述初始样本视差图输入到视差优化网络，并且将所述多个样本图像中的每一个样本图像与相应的层结构所输出的特征图进行融合并将融合所得到的图像输入到所述视差优化网络，获取视差优化网络输出的优化样本视差图；

将所述优化样本视差图和真实视差图输入到判别网络，以确定判别概率，所述判别概率能够表征所述优化样本视差图与所述真实视差图之间的差异，其中，所述真实视差图具有与所述优化样本视差图相同的尺寸；

响应于所述判别概率不符合预设的判别条件，更新所述视差优化网络和所述判别网络的参数；以及

迭代上述过程直到所述判别概率符合所述预设的判别条件。