[发明专利]基于克罗内克卷积的场景分割方法和系统

说明书

本发明涉及一种基于克罗内克卷积的场景分割方法，包括：构建具有残差结构的克罗内克卷积层；以该克罗内克卷积层和标准卷积层构建特征提取子网络，以原始图像为输入，通过该特征提取子网络输出抽象特征图；以该克罗内克卷积层构建树形特征聚合模块，以该抽象特征图为输入，通过该树形特征聚合模块输出聚合特征图；以该聚合特征图为输入，通过该场景分割子网络输出该原始图像的场景分割结果。

技术领域

本方法属于机器学习和计算机视觉领域，特别是涉及一种基于克罗内克卷积和树形结构特征聚合模块的场景分割方法和系统。

背景技术

场景分割是计算机视觉领域非常重要并且极具挑战的任务，并且在生产和生活中具有广泛的应用价值，如无人驾驶、机器人导航、视频编辑等。场景分割的目标是对场景图像中的每个像素点分配其所属类别。最近，基于全卷积网络的场景分割方法取得显著的进步。然而，现在的主流方法都是通过迁移分类网络过来，通过去除最大池化层和全连接层，以及增加反卷积层以生成分割结果。但是分类与分割之间还是有很大区别，比如经典的分类网络会对原始输入下采样32倍，这样有助于提取到更适合用来分类的特征，但这种网络模型忽视了位置信息，恰恰相反的是，分割则需要很精准的位置信息，具体到像素级的位置信息。当前有研究者提出膨胀卷积在一定程度上解决了这个问题，它可以增加滤波器的感受野同时保持特征图的分辨率，并且取得了比较好的分割性能。但膨胀卷积有个缺点，其膨胀系数比较大的情况下，它会损失了许多局部细节信息。特别地，并且当膨胀因子接近特征图的尺寸时，一个3×3卷积退化成1×1卷积。

此外，对于场景分割网络，场景当中的物体经常是有多个尺度呈现，还有个特点是场景的层次化结构，比如对于Cityscapes数据集，一般来说，在图像中心位置通常是远处的车子，其尺度较小；而在图像两侧区域通常是近处的车子，其尺度较大。为了解决上述两个问题，很多现有的方法都是通过在基本特征提取子网络使用膨胀卷积，然后利用跨层特征融合去分割多尺度物体。但膨胀卷积忽视的局部细节信息和简单的跨层融合分割多尺度物体在一定程度上阻碍了分割性能。

发明内容

针对上述问题，本发明提出一种基于克罗内克卷积的场景分割方法，包括：构建具有残差结构的克罗内克卷积层；以该克罗内克卷积层和标准卷积层构建特征提取子网络；以原始图像为输入，通过该特征提取子网络输出抽象特征图；以该克罗内克卷积层构建树形特征聚合模块；以该抽象特征图为输入，通过该树形特征聚合模块输出聚合特征图；以该克罗内克卷积层构建场景分割子网络；以该聚合特征图为输入，通过该场景分割子网络输出该原始图像的场景分割结果。

进一步地，该克罗内克卷积层的形式化表示为其中K(c₁，c₂)为标准卷积核，c₁、c₂为该克罗内克卷积层的通道索引，c₁∈[1，C_A]，c₁∈[1，C_B]，C_A为输入K(c₁，c₂)的特征图的通道数，C_B为K(c₁，c₂)输出的特征图的通道数，F为二维的扩展矩阵，满足当K(c₁，c₂)为k×k时，使K¹(c₁，c₂)被扩展为(2k+1)r₁×(2k+1)r₁；k为标准卷积的核大小，r₁为该克罗内克卷积层的扩张因子，r₂为该克罗内克卷积层的共享因子，c₁、c₂、C_A、C_B、k、r₁、r₂为正整数。