[发明专利]一种面向养老机器人的糖尿病性视网膜眼底图像合成方法

权利要求书

1.一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：包括有以下步骤，

S1、将输入向量潜代码z、随机噪音N和DR等级类c输入styleGAN生成器得到生成图像；

S2、生成图像、真实图像输入到鉴别器中，由鉴别器来判别图像的真假，以提高styleGAN生成器的生成质量；

S3、生成图像、真实图像输入到血管分割网络中，将真实图像和生成图像进行血管分割，比较分割后图像以改进生成效果。

2.根据权利要求1所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：S1中styleGAN生成器读取输入向量潜代码z、随机噪音N和DR等级类c，通过映射网络将其转化成中间向量w，w经过仿射变换后进入合成网络得到生成图像。

3.根据权利要求2所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：映射网络是由八个全连接层组成的，映射网络的输出与输入层的大小相同；DR等级类c通过嵌入层获得长度为512的表示向量，将该表示向量添加到映射网络的每个线性层输出中，映射网络将输入向量潜代码z和DR等级类c转化成中间向量w，使得w＝f(embedding(c),z)。

4.根据权利要求2所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：合成网络是由九个生成阶段组成的渐进式生成架构，从4*4变换到8*8，最终变换到1024*1024；采用混合正则化手段，在训练过程中使用两个随机潜码w，生成图像时在合成网络中随机选择一个交叉点，w1在某个交叉点之前应用，w2在交叉点之后应用；合成网络通过控制AdaIN操作的风格接收输入，并通过随机噪音N的输入改善结果。

5.根据权利要求4所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：AdaIN操作是由中间向量通过可学习的仿射变换转换为放缩因子y_s,i和偏差因子y_b,i，这两个因子会与标准化之后的卷积输出进行加权求和的一个操作，具体如下：

6.根据权利要求4所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：随机噪音N是由高斯噪声组成的单通道图像，在AdaIN模块之前向每个通道添加一个缩放过的噪声，并稍微改变其操作的分辨率级别特征的视觉表达方式。

7.根据权利要求1所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：S2中鉴别器是一个二分类模型，包含五个卷积层和一个全连接层，除了输入层不经过BN操作外，每层后面都有卷积、BN和激活操作，鉴别器的最后一层是全连接层，使用Sigmoid激活函数获得D的最终输出。

8.根据权利要求1所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：S3中血管分割网络是一个U-Net网络，包括有编码器、跳连接和解码器，编码器路径的第一层卷积块中的步骤，即预处理图像被用作输入，然后使用3×3卷积，卷积运算和ReLU激活函数同时进行，之后使用Batch Normalization进行标准化，此外使用步幅为2的最大池化来减小特征图的维度，在第二至第五层卷积块中，执行与第一层卷积块相同的步骤；在解码器路径中，上采样块使用3×3、步幅为2执行转置卷积，转置卷积的输出被代入ReLU激活函数，使用串联操作来执行编码和解码路径的特征图合并操作，下一步使用3×3矩阵再次执行卷积操作，使用Batch Normalization对卷积运算结果进行归一化，在第二至第五转置卷积层中，执行与第一层相同的步骤，解码路径中的最后一步是使用1×1矩阵进行卷积运算并使用Sigmoid激活函数。

9.根据权利要求1所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：还包括有在对抗性学习体系结构中训练styleGAN生成器和鉴别器。

10.根据权利要求9所述的一种面向养老机器人的糖尿病性视网膜眼底图像合成方法，其特征在于：在对抗性学习体系结构中，采用标准的对抗性损失L_adv，最大限度地提高鉴别器对生成数据的输出，

其中G和D分别是生成器网络和鉴别器网络，x是真实图像，z是输入向量潜代码；

还采用分割损失L_seg来优化styleGAN生成器，将真实图像x和生成图像x′送入血管分割网络中，得到相应的分割特征，再通过损失最小化两个分割特征之间的差异，损失函数定义为：

L_seg＝||UNet(x)-UNet(x′)||₁

还将平滑损失添加到合成方法中，以使生成的图像更加平滑，这通过最小化每个像素与其周围像素之间的差异来提高生成图像的整体平滑度，平滑损失函数表示为：

相应地，总的目标函数为：

其中α、β分别是分割损失和平滑损失的权重。