[发明专利]一种双特征提取与融合的全卷积网络语义分割方法

权利要求书

1.一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，该全卷积网络采用编码器-解码器结构，包括编码器部分与解码器部分，其中，所述编码器部分包括两个特征提取分支，分别为RGB分支与深度分支，RGB分支与深度分支均包括依次顺序连接的第一特征提取模块、池化层、第二特征提取模块、池化层、第三特征提取模块、池化层、第四特征提取模块、池化层和第五特征提取模块；所述解码器部分包括依次顺序连接的第一上采样模块、第二上采样模块、第三上采样模块与第四上采样模块和Sigmoid预测层；所述图像语义分割方法包括如下步骤：

S1、使用RGB-D传感器采集目标分割物体的RGB图像与深度图像，并对所述目标分割物体的RGB图像与深度图像进行标定与增强；

S2、将目标分割物体的RGB图像与深度图像分别输入到编码器部分的RGB分支与深度分支中进行由浅至深的特征提取，RGB图像与深度图像在各自分支中均依次通过第一特征提取模块、池化层、第二特征提取模块、池化层、第三特征提取模块、池化层、第四特征提取模块、池化层和第五特征提取模块，分别得到由RGB分支中第一、第二、第三、第四、第五特征提取模块提取到的特征图谱F_R1、F_R2、F_R3、F_R4、F_R5和由深度分支中第一、第二、第三、第四、第五特征提取模块提取到的特征图谱F_D1、F_D2、F_D3、F_D4、F_D5，在特征提取的过程中，深度分支中每一个特征提取模块提取的不同尺度的特征图谱均传输至RGB分支中对应的特征提取模块进行融合操作，经过四个池化层的下采样进行尺寸缩小，最后提取特征图谱F_R5；

S3、将编码器部分中RGB分支的第五特征提取模块提取的特征图谱F_R5传输至解码器部分，逐步通过第一、第二、第三与第四上采样模块将特征图谱的尺寸恢复至原图大小，其中，每一个上采样模块中均进行一次特征拼接操作；

S4、将第四上采样模块输出的特征图谱传输至Sigmoid预测层，该Sigmoid预测层在特征图谱上以1为步长对各个像素进行遍历，同时结合Sigmoid函数将每一个像素的输出置信度范围限制在0到1之间，输出初步分割结果；

S5、对输出的初步分割结果进行置信度判断，对于置信度大于0.5的像素点，认为其属于目标分割物体并将其值置为1；对于置信度小于0.5的像素点，认为其属于背景并将其值置为0；

S6、经过步骤S5之后，各个像素点的置信度取值为1或0，此时将置信度乘以255并作为各个点的像素值；经过前述操作，各个像素点的取值变为255或0，其中，0代表背景信息，255则代表目标分割物体；最终输出的分割结果即为一幅只保留目标分割物体和背景的黑白图像。

2.根据权利要求1所述的一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，所述步骤S1中在采集到的RGB图像上采用点标注的形式进行数据标定形成标签图像，接着对采集到的RGB图像、深度图像以及对应的标签图像进行包括旋转、平移、改变亮度在内的数据增强方式实现对原始数据集的扩充，增强网络对特定变化的鲁棒性。

3.根据权利要求1所述的一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，所述RGB分支与深度分支中第一特征提取模块、第二特征提取模块、第三特征提取模块结构相同，其中，第一特征提取模块、第二特征提取模块、第三特征提取模块均包括两个串联的卷积层Conv，每个卷积层Conv的卷积核尺寸为3*3，采用的非线性激活函数为ReLU；所述RGB分支与深度分支中第四特征提取模块和第五特征提取模块结构相同，其中，第四特征提取模块和第五特征提取模块包括上述的两个串联的卷积层Conv以及连接在两个卷积层Conv之后一层Dropout层。

4.根据权利要求1所述的一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，所述池化层均采用步长为2、尺寸为2*2的最大池化层Max pool，每经过一次池化层，特征图谱的尺寸缩小为原来的1/2。