[发明专利]一种像素级分类方法、装置、设备及存储介质

说明书

本发明公开了一种像素级分类方法、装置、设备及存储介质。该方法包括：将原始图片输入编码器，得到下采样特征图，下采样特征图尺寸为原始图片尺寸的1/2supgt;N/supgt;，1≤N≤3；将下采样特征图输入解码器，得到上采样特征图，上采样特征图尺寸与原始图片尺寸相同；将上采样特征图输入分类器得到原始图片中每个像素的分类。本发明实施例中编码器将原始图片缩小，得到下采样特征图，解码器将下采样特征图尺寸恢复至原始图片尺寸，使得后续可根据上采样特征图确定原始图片中每个像素的分类，减小了计算量。同时，全卷积神经网络中不存在参数量占比较大的全连接层，进一步降低了计算量，也降低了结构复杂度，上述实现了在移动端实时运行像素级分类任务。

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种像素级分类方法、装置、设备及存储介质。

背景技术

近年来，随着计算机硬件性能的提升和大规模图像数据的出现，深度学习在计算机视觉领域得到广泛应用。其中，卷积神经网络是在计算机视觉领域具有突出成就的一个深度学习的神经网络结构。

像素级分类技术是计算机视觉领域中最具挑战性的研究方法，针对像素级分类技术来说，卷积神经网络也在像素级分类方面得到广泛应用。卷积神经网络通常包括卷积层、池化层、非线性激活层和全连接层，网络结构比较复杂且计算量较大。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于卷积神经网络的结构比较复杂且计算量较大，使得其只适合在服务器端运行，并且对于像素级分类任务来说，基本上都需要依赖GPU(Graphics Processing Unit，图形处理器)的加速才能实现实时运行。而对于需要在移动端并且只能依赖CPU(Central Processing Unit，中央处理器)运行的任务，尤其对于像素级分类任务，使用服务器端的网络结构是不实际的。

发明内容

本发明实施例提供一种像素级分类方法、装置、设备及存储介质，以在简化网络的结构复杂度以及降低计算量的基础上实现像素级分类任务。

第一方面，本发明实施例提供了一种像素级分类方法，该方法包括：

将原始图片输入编码器，得到下采样特征图，下采样特征图尺寸为原始图片尺寸的1/2^N，1≤N≤3；

将所述下采样特征图输入解码器，得到上采样特征图，上采样特征图尺寸与原始图片尺寸相同；

将所述上采样特征图输入分类器得到所述原始图片中每个像素的分类。

进一步的，所述编码器包括M个下采样模块和U个残差模块，第M-1下采样模块和第M下采样模块之间连接T个所述残差模块，第M下采样模块之后连接U-T个所述残差模块，M＝N；

所述将所述原始图片输入编码器，得到下采样特征图，包括：

所述原始图片依次经过M-2个下采样模块，得到第一中间特征图，第一中间特征图尺寸为原始图片尺寸的1/2^M-2；

所述第一中间特征图依次经过第M-1下采样模块、T个残差模块、第M下采样模块和U-T个残差模块，得到所述下采样特征图。

进一步的，所述解码器包括M个上采样模块和V个残差模块，第一上采样模块和第二上采样模块之间连接V个所述残差模块；

所述将所述下采样特征图输入解码器，得到上采样特征图，包括：

所述下采样特征图依次经过第一上采样模块和V个残差模块，得到第二中间特征图，第二中间特征图尺寸为原始图片尺寸的1/2^M-1；

所述第二中间特征图依次经过M-1个上采样模块，得到所述上采样特征图。