[发明专利]一种基于深度学习的高精度快速人体分割方法

说明书

一种基于深度学习的高精度快速人体分割方法，根据人体的统计比例确定输入图像尺寸，采用了定制化的对称神经网络结构‑‑‑‑卷积网络和反卷积网络，并且将尺寸一致的卷积网络层添加至反卷积网络中，以此来极大丰富网络对细节的学习能力。最后，使用大量包含人体的图像进行训练，训练完毕后，即可使用该网络对人体图像进行分割。该方法具有精度高，速度快的优点。

技术领域

本发明涉及人工神经网络、计算机视觉等技术领域，具体涉及一种基于深度学习的高精度快速人体分割方法。

背景技术

人体分割是计算机视觉应用中一个经典的问题，其需要完成的任务是在静态图像中区分属于人体的像素和非人体的像素。从另外一个方面来看，可视为像素级的分类问题。

高精度的人体分割需要分辨很多人形细节，例如手指的缝隙、双腿的间隙、手臂与身体的间隙等。由于穿着、光照、配饰和姿态的多种变化，使得像素级的人体分割变得极具挑战。

在非深度学习的方法范畴中，解决人体分割问题的经典框架是人工像素特征配合图割算法。人工的像素特征可以有颜色特征、SIFT（Scale-invariant Feature Transform）特征、LBP（Local Binary Pattern）特征以及HOG（Histogram of Oriented Gradient）特征等。在图割算法中，图像中的每一个像素被视为图的顶点，相邻两个像素的连接视为图的边。使用像素的人工特征定义像素间的相似度，然后求解图的最小割问题得到分割结果。这类方案的缺陷在于像素的人工特征仅能描述该像素附近有限范围内的区域特征，并且图的最小割算法也只是考虑邻域像素之间的关系。然而，人体分割的语义关联性很强，因此这类方法难以完成高精度的人体分割，甚至在有些情况下会丢失部分肢体。从运行速度上来看，为每个像素提取各种人工特征耗时严重，并且求解最小割问题同样时间开销很大，因此要做到实时分割极为困难。

深度学习极大改善了人体分割的精度。具体来说，全卷积神经网络（FCN，FullyConvolutional Neural Networks）首先实现了使用深度神经网络的端到端分割算法。FCN将经典分类网络中的全连接层进行等价改造，使用卷积操作替代矩阵乘法。这样的改进使得传统的卷积网络能够接受任意大小的图像输入，为分割网络做铺垫。FCN选取分类网络中抽象程度比较高的若干层作为输出，并且使用反卷积操作将这些输出恢复至输入大小，从而可以进行逐像素分类训练。FCN可以为每个像素关联更大范围内的语义信息，同时提供了端到端的学习方式，比传统的分割方法精度更高，速度更快。然而，它利用了高层的语义信息，但是忽略了局部的细节信息，致使上文提到的细节分割效果不理想。后续基于FCN的若干改进方法在一定程度上弥补了局部信息使用的不足，采用了对称的网络结构，同时使用了Pooling和Unpooling操作来丰富局部信息。然而，这些方法使用的对称型网络过于庞大，虽然分割精度进一步提升，但是速度上并不能达到实时。

发明内容

为了进一步提升现有人体分割算法的精度和速度，本发明提出了一种基于深度学习的高精度人体分割方法。

本发明是通过如下技术方案实现的：

一种基于深度学习的高精度快速人体分割方法，包括如下步骤：

步骤一）设计神经网络：根据人体的平均高宽比，确定输入图像的尺寸；神经网络采用对称漏斗结构，漏斗前半段使用卷积层，每个卷积层的步长均为2，后半段使用反卷积层，每个反卷积层的步长均为2；将漏斗前半段的特征图串联到后半段与其分辨率一样的特征图上，反卷积操作将作用于串联后的特征图，神经网络最后输出通道数为一的特征图；

步骤二）训练神经网络：搜集足够多的含有人体的图像，人工标注每个图像的每个像素，标为“人体”或“非人体”两类，将一些和人体紧密连接的附属物一同标注为“人体”，标注后的图像为分割图；使用搜集到的含有人体的图像的原图和分割图，通过随机梯度下降的算法训练神经网络；训练期间周期性地使用验证集对神经网络的性能进行测试，测试满足要求，即可停止训练；