[发明专利]基于无人驾驶技术对实例分割的改进方法

权利要求书

1.基于无人驾驶技术对实例分割的改进方法，其特征在于：提出在基于MASK R-CNN的Faster R-CNN上对目标进行检测以及分类，之后通过FCN特征粗提取以及CRF优化输出实例分割的结果；具体实现步骤如下：

步骤1、使用偏监督的方法对目标进行分类；

步骤2、卷积过程采用深度可分离卷积，获取特征；

步骤3、对卷积层得到的特征进行特征融合优化，在低层引入语义信息，在高层引入高分辨率细节。

2.根据权利要求1所述的基于无人驾驶技术对实例分割的改进方法，其特征在于步骤1使用偏监督的方法对目标进行分类，具体实现如下：

1-1.给定一个感兴趣类别集合，其中一个小的类别集合有实例掩码标注，而剩余类别集合仅仅有边框标注；

1-2.利用步骤1-1的数据去拟合模型实现目标检测，该拟合模型能够在所有感兴趣类别上对目标进行分类，因为训练数据是掩码数据和边框数据的混合，所以称该任务为偏监督学习；

1-2-1.在MASK R-CNN上建立一个全新的迁移学习方法，MASK R-CNN将实例分割问题分解为边框检测和掩码预测两个子任务；两个子任务使用专用共同的头部网络训练；训练时，首先用边框头部的参数给每一个类别进行编码，使得视觉信息能够传递到偏监督掩码的头部；

1-2-2.设计一个参数化的权值转移函数来实现偏监督，通过训练该权值转移函数作为边框检测函数的参数来预测实例分割的参数；该权值转移函数使用带有掩码标签的类作为监督在Mask R-CNN上训练；在推理的时候，该权值转移函数用于预测每个类别的参数，因此使得模型能够识别所有的目标类别，并且包括那些训练时候没有掩码标注的类别；

设C是想要进行目标分类以及检测的目标类别集合，在偏监督中设C＝A∪B，其中A所有类别的样本都有实例掩码标注，而B中的所有样本仅有边框标注；因为B中的样本关于目标任务都被弱标签化，所以称在强标签和弱标签结合上的训练为偏监督学习问题；

1-2-3.在Mask R-CNN中，边框分支的最后一层和掩码分支的最后一层都包含具体类别参数，该参数分别用于每个类别的边框分类和实例掩码预测；因此能够构造出与类别无关的，能够把边框参数和掩码参数联合训练的权重转移函数，函数能够实现从边框参数来预测一个类的掩码参数；

对于一个给定的类别C，假设是边框头部最后一层特定类的目标检测权值，并且是掩码分支特定类掩码权值；替代将视为模型参数，使用一个通用权值预测函数Τ(·)将参数化：

这的θ是类无关的学习参数；

同样的迁移函数Τ(·)能够应用任何类别C，因此θ应该被设置为恰当的值从而使Τ(·)能够泛化到在训练没有掩码的类；期望泛化是可行的，因为特定类的检测权值可以视为一个基于外观的类的视觉嵌入；

在训练的时候，假设对于两种类别A和B，仅仅A的实例掩码标注可用，B的不可用，然而两者边框标注都可用，使用标准的边框检测损失在所有类别上A∪B上训练边框头部，但是仅仅使用A类上的掩码损失来训练掩码头部和权值迁移函数Τ(·)；使用A∪B类别的边框标注进行训练，从而得到经过部分监督处理过的结果：图片中每一类都得到了不同像素点的标记。

3.根据权利要求2所述的基于无人驾驶技术对实例分割的改进方法，其特征在于步骤2所述的卷积过程采用深度可分离卷积，具体实现如下：

深度可分离卷积包括深度卷积和逐点卷积，其中每个通道的独立空间卷积被应用为深度卷积；然后使用与所有通道的1×1卷积来合并表示为逐点卷积的输出：

假设二维特征图进行标准卷积操作，输入特征图经过卷积操作后进行输出，用M和N分别表示输入通道数以及输出通道数，Dk是卷积核大小；

深度卷积则是在每个输入通道上分别映射一个卷积，因此其输出通道数与输入通道数相同；

最后的操作是逐点卷积；逐点卷积是1×1内核大小的卷积，由深度卷积创建的特征拼接而来。

4.根据权利要求3所述的基于无人驾驶技术对实例分割的改进方法，其特征在于步骤3所述具体实现如下：

为增加低层特征的语义信息，具体操作如下：

3-1.进行网络结构重排，即构建更适合于分割的预训练模型；

3-2.实现深度语义监督；

3-3.将语义信息嵌入支路，将高层特征融入低层特征，具体：将高层特征上采样后，与低层特征逐像素相乘；

3-4.将更多的空间特征融入到高层特征通道，空间的特征主要包括通道分辨率嵌入、稠密邻域预测两方面；具体是在上采样支路中使用子像素上采样模块，从而让和空间信息相关的监督信息回传到各个高层特征通道中，让不同通道包含不同空间信息。