[发明专利]双循环对抗网络架构的优化方法、系统、电子设备及装置

说明书

本申请公开一种双循环对抗网络架构的优化方法、系统、电子设备及装置，该方法包括以下步骤：构建双循环对抗网络架构；藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。通过上述方式，旨在解决现有技术中腹腔镜器官表面三维重建难以满足手术实际需求的技术问题。

技术领域

本申请涉及医学图像处理技术领域，特别是涉及双循环对抗网络架构的优化方法、系统、电子设备及装置。

背景技术

在腹部微创手术中，腹腔镜手术导航系统可以起到重要作用，通过重建术中器官表面，实现术前三维模型和术中3D腹腔镜手术视频融合显示，通过在3D腹腔镜上实时显示术前重建的肿瘤、血管等模型，使手术视野透明化，有助于提高手术成功率和降低手术风险。

本申请的发明人在长期的研发过程中，发现常规的三维重建方法对于低纹理、高光反射等和有烟雾的手术场景中肝脏表面重建效果不理想。而大多数基于深度学习的深度估计方法都需要高标准视差图像进行训练，这些数据很难在腹腔镜手术中获得。

发明内容

本申请在于提供一种双循环对抗网络架构的优化方法、系统、电子设备及装置，旨在解决现有技术中腹腔镜器官表面三维重建难以满足手术实际需求的技术问题。

一方面，本申请提供一种双循环对抗网络架构的优化方法，方法包括以下步骤：构建双循环对抗网络架构；藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构。

其中，双循环对抗网络架构包括：第一生成器、第二生成器、第一判别器以及第二判别器；藉由右图像序列和左图像序列对双循环对抗网络架构进行对抗优化训练以得到优化后的双循环对抗网络架构的步骤包括：藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像；藉由第一判别器判别右图像序列的一次合成图像以得到第一评分结果，藉由第二判别器判别左图像序列的一次合成图像以得到第二评分结果；根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像；藉由第一判别器判别右图像序列的二次合成图像以得到第三评分结果，藉由第二判别器判别左图像序列的二次合成图像以得到第四评分结果；将第一评分结果和第三评分结果反馈到第一生成器，将第二评分结果和第四评分结果反馈到第二生成器，进行下一轮迭代，直至生成评分结果不再提高。

其中，藉由第一生成器生成右图像序列的一次合成图像，藉由第二生成器生成左图像序列的一次合成图像的步骤包括：藉由第一生成器对右图像序列和左图像序列进行处理，以生成右图像序列对应的右视差图像；对右视差图像和左图像序列进行一次合成处理，以得到右图像序列的一次合成图像；藉由第二生成器对右图像序列的一次合成图像和左图像序列进行处理，以生成左图像序列对应的左视差图像；对左视差图像进行一次合成处理，以得到左图像序列的一次合成图像。

其中，根据右图像序列的一次合成图像生成右图像序列的二次合成图像，根据左图像序列的一次合成图像生成左图像序列的二次合成图像的步骤包括：对右图像序列的一次合成图像和左视差图像进行二次合成处理，以得到右图像序列的二次合成图像；对左图像序列的一次合成图像和右视差图像进行二次合成处理，以得到左图像序列的二次合成图像。

其中，第一生成器、第二生成器、第一判别器以及第二判别器均采用编码器-解码器架构；编码器与解码器的对应层之间采用跳跃链接，其中，编码器为ResNet-50卷积神经网络；解码器为包括5层反卷积层的神经网络，每间隔2层反卷积层对特征图像进行双线性采样。

其中，每个反卷积层的配置均为卷积核大小为3×3，步长为1，填充为1；每个反卷积层均使用ReLU激活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。