[发明专利]双循环对抗网络架构的优化方法、系统、电子设备及装置

权利要求书

1.一种双循环对抗网络架构的优化方法，其特征在于，所述方法包括以下步骤：

构建双循环对抗网络架构；所述双循环对抗网络架构包括：第一生成器、第二生成器、第一判别器以及第二判别器；

藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构；

其中，所述藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤包括：

藉由所述第一生成器对所述右图像序列和所述左图像序列进行处理，以生成所述右图像序列对应的右视差图像；

对所述右视差图像和所述左图像序列进行一次合成处理，以得到所述右图像序列的一次合成图像；

藉由所述第二生成器对所述右图像序列的一次合成图像和所述左图像序列进行处理，以生成所述左图像序列对应的左视差图像；

对所述左视差图像进行一次合成处理，以得到所述左图像序列的一次合成图像；

藉由所述第一判别器判别所述右图像序列的一次合成图像以得到第一评分结果，藉由所述第二判别器判别所述左图像序列的一次合成图像以得到第二评分结果；

对所述右图像序列的一次合成图像和所述左视差图像进行二次合成处理，以得到所述右图像序列的二次合成图像；

对所述左图像序列的一次合成图像和所述右视差图像进行二次合成处理，以得到所述左图像序列的二次合成图像；

藉由所述第一判别器判别所述右图像序列的二次合成图像以得到第三评分结果，藉由所述第二判别器判别所述左图像序列的二次合成图像以得到第四评分结果；

将所述第一评分结果和所述第三评分结果反馈到所述第一生成器，将所述第二评分结果和所述第四评分结果反馈到所述第二生成器，进行下一轮迭代，直至生成评分结果不再提高。

2.根据权利要求1所述的方法，其特征在于，所述第一生成器、所述第二生成器、第一判别器以及第二判别器均采用编码器-解码器架构；

其中，所述编码器与所述解码器的对应层之间采用跳跃链接；

所述编码器为ResNet-50卷积神经网络；

所述解码器为包括5层反卷积层的神经网络，每间隔2层所述反卷积层对特征图像进行双线性采样。

3.根据权利要求2所述的方法，其特征在于，

每个所述反卷积层的配置均为卷积核大小为3×3，步长为1，填充为1；

每个所述反卷积层均使用ReLU激活函数，所述ReLU激活函数定义为ReLU(x)＝max(0,x)。

4.根据权利要求1所述的方法，其特征在于，所述藉由右图像序列和左图像序列对所述双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤之前，所述方法还包括：

根据相机标定参数对所述右图像序列和所述左图像序列进行极线校正，以使所述右图像序列和所述左图像序列中对应的匹配像素点均处于同一水平线上；所述右图像序列和所述左图像序列中对应的匹配像素点在相机坐标空间下的深度值表述为：；

其中，Z表示所述匹配像素点在相机坐标空间下的深度值；f表示相机的焦距，通过相机标定可以获取该值；X_L和X_R分别表示所述右图像序列和所述左图像序列中对应的匹配像素点在成像平面上的投影点；d表示X_L和X_R之间的差值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

基于整体优化目标函数对所述第一生成器和所述第二生成器进行优化，所述整体优化目标函数表述为：

其中，表示整体优化目标函数，表示第一损失函数值，表示第二损失函数值，表示对抗目标损失函数值，表示左右一致性损失函数值，其中=1，i=1,2,3,4；

其中，第一损失函数值表述为：

；

第二损失函数值表述为：

；

式中：表示所述右图像序列；表示所述左图像序列；表示所述右视差图像；表示所述左视差图像；表示所述右图像序列的一次合成图像；表示所述左图像序列的一次合成图像；函数表示对图像进行双线性采样的扭曲操作。