[发明专利]一种柑橘颜色转变预测网络训练方法及应用方法

权利要求书

1.一种柑橘颜色转变预测网络训练方法，其特征在于，包括：

获取图像预测训练集，所述图像预测训练集包括柑橘图像集和柑橘语义集，所述柑橘图像集包括输入图像、真实图像以及所述输入图像和真实图像之间时间间隔映射，所述柑橘语义集包括全部柑橘图像和对应的语义标签；

构建包括语义分割模块、图像生成模块和损失优化模块组成的初始柑橘颜色转变预测网络；

将柑橘语义集作为初始语义分割模块的输入，迭代训练所述语义分割模块得到训练完备的语义分割模块；

将所述输入图像作为语义分割模块的输入得到分割掩码，将所述输入图像、时间间隔映射和分割掩码作为初始图像生成模块的输入得到生成图像，将所述输入图像、生成图像和真实图像作为所述损失优化模块的输入，并结合输入图像的分割掩码和真实图像的语义标签计算得到局部感知损失，根据所述局部感知损失迭代优化更新初始图像生成模块直至损失函数收敛，得到训练完备的图像生成模块；

根据所述训练完备的语义分割模块和所述训练完备的图像生成模块得到训练完备的柑橘颜色转变预测网络。

2.根据权利要求1所述的柑橘颜色转变预测网络训练方法，其特征在于，所述获取图像预测训练集，包括：

采集柑橘转变期的柑橘图像样本，并标注序号和采集时间，对柑橘图像样本进行语义标注得到语义标签；

根据所述序号和采集时间对同一柑橘的图像样本中任意两张图像之间构建时间间隔映射，并将时间间隔之前拍摄的图像样本作为输入图像、时间间隔之后的图像样本作为真实图像；

以所述输入图像、真实图像和对应时间间隔映射组成柑橘图像集；

以所述时间间隔映射对应图像及语义标签组成柑橘语义集。

3.根据权利要求1所述的柑橘颜色转变预测网络训练方法，其特征在于，所述语义分割模块用于对输入图像进行语义分割后得到分割掩码以区分柑橘图像和背景图像位置；

所述语义分割模块包括由语义卷积层和最大池化层组成的语义分割编码器、由转置卷积层和上采样层组成的语义分割解码器；

其中，所述语义分割编码器用于提取输入图像的图像分割特征；所述语义分割解码器用于根据所述图像分割特征解码得到分割掩码。

4.根据权利要求1所述的柑橘颜色转变预测网络训练方法，其特征在于，所述图像生成模块用于预测柑橘颜色转变图像；

所述图像生成模块包括：由第一生成卷积层和残差卷积块层组成的图像生成编码器、由第二生成卷积层组成的图像生成解码器、两个嵌入层以及输出层；

其中，所述图像生成编码器用于提取输入图像的柑橘颜色转变特征得到转变特征图；所述图像生成解码器用于根据所述柑橘颜色转变特征并结合所述分割掩码实现背景再融合得到输出特征图；所述两个嵌入层用于将输入的时间间隔编码为多维向量并分别与图像生成编码器和图像生成解码器得到的转变特征图和输出特征图相乘；所述输出层以缩放的双曲正切函数为激活函数，用于输出生成图像并通过所述缩放的双曲正切函数保证输出像素范围。

5.根据权利要求1所述的柑橘颜色转变预测网络训练方法，其特征在于，所述损失优化模块用于提取输入图像、预测图像和真实图像的特征，计算局部感知损失函数，并以所述局部感知损失更新图像生成模块的网络参数；

所述损失优化模块包括：由五个卷积模块和五个最大池化层组成的特征提取层，每个卷积模块与所述每个最大池化层一一对应连接，前两个卷积模块各包含两个滤波器数量相同的卷积层，后三个卷积模块各包含四个滤波器数量相同的卷积层；以及由自适应矩估计优化器组成的模型优化层；

其中，所述特征提取层用于对输入图像、预测图像和真实图像进行特征提取得到局部感知损失；模型优化层用于更新图像生成模块的网络参数，降低局部感知损失。

6.根据权利要求1所述的柑橘颜色转变预测网络训练方法，其特征在于，所述局部感知损失包括内容损失和局部风格损失，所述内容损失用于衡量生成图像与输入图像的内容相似度，所述局部风格损失用于衡量生成图像与真实图像中柑橘的颜色及其分布的相似性。