[发明专利]一种基于深度学习的语义边缘检测方法

说明书

本发明公开了一种基于深度学习语义边缘检测方法，核心为一个基于多层次特征融合的语义边缘检测深度神经网络模型。包括多层次特征学习、多层次特征抽取和多层次特征融合。训练分为三个步骤：模型参数的初始化、目标数据集准备和整体模型的训练。本发明具有以下优点：1)自底向上把低层次特征逐渐融合到高层次特征中，融合之后的高层次特征不仅语义判别能力得到加强，而且其所缺失的底层细节信息也得到补充，有利于提高语义边缘的检测效果；2)预先在大数据集上训练多层次特征学习模块，使它在目标数据集上能够学习到更丰富的多层次特征；3)采用数据增强技术扩充数据集，并对真值标签做预处理，加强了整体模型的学习能力。

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于深度学习的语义边缘检测方法。

背景技术

图像语义边缘提取即检测图像中物体轮廓，并确定轮廓所属的物体类型，是计算机视觉研究中的一个重要课题。图像语义边缘提取也可为其它视觉任务提供有利帮助，例如图像分割、深度推理、遮挡推理、物体检测、三维重建等。但是由于受光照、噪声等问题影响，图像语义边缘检测极具挑战性。

近年来随着卷积神经网络的出现，其强大的多层次特征表达能力有力地促进了众多计算机视觉任务的发展，如图像语义分割、人体姿态估计、物体检测、立体匹配等。同样也促进了语义边缘检测任务的发展。卷积神经网络中的低层次特征如梯度、亮度、纹理等特征有利于边缘定位，其高层次语义特征有利于边缘分类。如何融合卷积神经网络中的多层次特征，实现准确的边缘提取和分类是语义边缘检测的核心问题。Yu等人在2017年的CVPR上发表的“CASENet:Deep Category-Aware Semantic Edge Detection”中，提取三个低层次的单通道特征，把它们直接融合到高层次语义边缘结果中，相比传统方法，语义边缘效果得以提升。但是，该方法的不同层次特征融合不充分，特征表达能力有限，所提取的边缘存在不连续、不光滑现象，且边缘分类准确度有限。

发明内容

本发明针对现有语义边缘检测方法的不足加以改进，提出一种基于深度学习的语义边缘检测方法，该方法自底向上逐渐融合卷积神经网络中的多层次特征，加强了模型整体的特征表达能力，语义边缘的位置和分类准确率均得到有效提高，证明了本方法具有更好的鲁棒性。

为实现这个目标，本发明的技术方案是：构建一种基于深度学习的语义边缘检测卷积神经网络模型，在目标数据集上对该模型训练，再利用已训练完成的模型处理待测图片，模型输出的K个通道激活值作为对应K种分类边缘的概率值。

本方法中的网络模型由以下三大模块构成：

一、多层次特征学习模块。使用常见的图片分类网络作为该模块的主要结构，输入一幅图像，可由该模块学习到从底到高不同层次的特征。

二、多层次特征抽取模块。该模块从多层次特征学习模块中抽取出M种不同层次的特征，用于后续特征融合，这里的M及各层次特征中所包含的具体通道数由用户自己指定。

三、多层次特征融合模块。该模块利用自底向上逐渐融合策略，把低层次特征逐渐融合到高层次特征中，融合之后的最高层次特征用于检测语义边缘。

本方法中的模型训练过程包含以下三个阶段：

一、模型参数的初始化。从语义分割数据集MS COCO中挑选出包含目标数据集分类的图片，用来预训练多层次特征学习模块。

二、目标数据集的准备。选择SBD作为目标数据集，并进行数据增强和真值标签预处理。

三、整体模型的训练。利用预训练好的参数和正太分布函数对网络参数初始化，并对多分类叉熵损失函数的权重做调整，用来更好地监督整体网络参数的更新过程。

有益效果