[发明专利]一种基于深度学习模型的逐级交互式轮廓识别方法

权利要求书

1.一种基于深度学习模型的逐级交互式轮廓识别方法，其特征在于包括以下步骤：

A、构建深度神经网络结构，深度神经网络结构具体如下：

编码网络、解码网络；

其中，编码网络为VGG16网络，池化层为分界线分为S1、S2、S3、S4、S5五个阶段；

所述的解码网络分为四级，每一级中均分别设有子解码网络M和子解码网络N；

第一级的子解码网络M和子解码网络N中均设有4个融合模块R，第二级的子解码网络M和子解码网络N中均设有3个融合模块R，第三级的子解码网络M和子解码网络N中均设有2个融合模块R，第四级的子解码网络M和子解码网络N中均设有1个融合模块R；

B、原始图像输入VGG16网络中，依次经五个阶段卷积处理；

C、VGG16网络的S1、S2、S3、S4、S5五个阶段中的第一卷积层的卷积结果分别输入子解码网络M中，依次经过四级融合处理，获得融合结果4^thI₁；

VGG16网络的S1、S2、S3、S4、S5五个阶段中的第二卷积层的卷积结果分别输入子解码网络N中，依次经过四级融合处理，获得融合结果4^thI₂；

D、将融合结果4^thI₁和融合结果4^thI₂通过加法层融合得到最终输出轮廓；

所述的融合模块R包括1×1卷积层、上采样层、3×3卷积层、加法层；

上层的输入信息经1×1卷积层处理后，获得相应的上层卷积结果；其中1×1卷积层的通道数与上层的输入信息的通道数一致；

下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；其中3×3卷积层的通道数与上层的输入信息的通道数一致；

上层卷积结果与下层卷积结果相加融合后输出；

VGG16网络的五个阶段中的第一卷积层的卷积结果分别输入第一级的子解码网络M中；在第一级的子解码网络M中：

S1阶段的第一卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第一卷积层的卷积结果I2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stI₁，输出至第二级的子解码网络M中；

S2阶段的第一卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第一卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stⅡ₁，输出至第二级的子解码网络N中；

S3阶段的第一卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stⅢ₁，输出至第二级的子解码网络M中；

S4阶段的第一卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第一卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果S11与下层卷积结果S21相加融合后，得到融合结果1^stⅣ₁，输出至第二级的子解码网络N中；

VGG16网络的五个阶段中的第二卷积层的卷积结果分别输入第一级的子解码网络N中；在第一级的子解码网络N中：

S1阶段的第二卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第二卷积层的卷积结果输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stI₂，输出至第二级的子解码网络N中；

S2阶段的第二卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第二卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stⅡ₂，输出至第二级的子解码网络M中；

S3阶段的第二卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stⅢ₂，输出至第二级的子解码网络N中；

S4阶段的第二卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第二卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1^stⅣ₂，输出至第二级的子解码网络M中；

在第二级的子解码网络M中：

融合结果1^stI₁输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1^stⅡ₂输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2^ndI₁，输出至第三级的子解码网络M中；

融合结果1^stⅡ₂输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1^stⅢ₁输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2^ndⅡ₁，输出至第二级的子解码网络N中；

融合结果1^stⅢ₁输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1^stⅣ₂输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2^ndⅢ₁，输出至第二级的子解码网络M中；

在第二级的子解码网络N中：

融合结果1^stI₂输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1^stⅡ₁输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2^ndI₂，输出至第二级的子解码网络N中；

融合结果1^stⅡ₁输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1^stⅢ₂输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2^ndⅡ₂，输出至第二级的子解码网络M中；

融合结果1^stⅢ₂输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1^stⅣ₁输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2^ndⅢ₂，输出至第二级的子解码网络N中；

在第三级的子解码网络M中：

融合结果2^ndI₁输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2^ndⅡ₂输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3^rdI₁，输出至第三级的子解码网络M中；

融合结果2^ndⅡ₂输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2^ndⅢ₁输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3^rdⅡ₁，输出至第二级的子解码网络N中；

在第三级的子解码网络N中：

融合结果2^ndI₂输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2^ndⅡ₁输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3^rdI₂，输出至第二级的子解码网络N中；

融合结果2^ndⅡ₁输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2^ndⅢ₂输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3^rdⅡ₂，输出至第二级的子解码网络M中；

在第四级的子解码网络M中：

融合结果3^rdI₁输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3^rdⅡ₂输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4^thI₁，输出至第三级的子解码网络M中；

在第三级的子解码网络N中：

融合结果3^rdI₂输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3^rdⅡ₁输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4^thI₂，输出至第二级的子解码网络N中；

融合结果4^thI₁与融合结果4^thI₂通过加法层融合得到最终输出轮廓。

2.如权利要求1所述的基于深度学习模型的逐级交互式轮廓识别方法，其特征在于：

所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得。