[发明专利]基于深度学习的混合语法人体解析方法及装置

说明书

本发明公开了一种基于深度学习的混合语法人体解析方法及装置，其中，该方法包括：存储模块提供人体解析数据集；将人体解析数据集输入至一特征提取网络解析得到关于其的各个部件的特征图；该特征图依次输入至一混合语法子网络和一感受野自适应子网络进行解析，得到该人体解析数据集的预测图；其中，特征提取网络、混合语法子网络和感受野自适应子网络均结合对应的监督信息联合优化网络实现解析工作。本发明提供的该基于深度学习的混合语法人体解析方法及装置，可以从背景中提取相对完整的前景，有效提升网络解析的精度。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度学习的混合语法人体解析方法及装置。

背景技术

人体解析又称人体分割是计算机视觉中的热门研究课题之一，也是基于视觉的模式识别应用的一个重要研究方向。它需要将图像中人的各个部件(头，胳膊，腿等)分割出来，从而为一些应用提供更加详细的内容，比如：行人重识别，行为分析以及衣物推荐。由于自然场景中人体部件大小的多样化，图片模糊以及光照灰暗等问题，解析方法需要具有良好的提取人体前景以及分割出各种大小部件的能力。而传统的手工设计，基于全局或者局部的特征在人体解析这个问题上很难做到较好的效果。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉，自然语言处理等领域取得了巨大的成功。尤其是深度卷积神经网络，凭借稀疏连接、权重共享和空间或时间上的下采样这三大结构特点，能够从二维图像或三维视频中提取出语义信息丰富和判别力强的特征，在大规模图像/视频分类和细粒度任务中均表现出优越的性能。这两年，已经出现了一些将深度学习应用于人体解析的技术，如CN 108564012A提出了使用人体自身关节点和像素级别标签进行联合监督，其中人体关节点监督是一种自监督的方法，它的敏感学习方法使得生产的解析结果在语义上和人体结构上具有一致性，符合人体的结构特征；CN 109215036 A先进行人体检测，然后利用网络对检测的结果进一步进行解析。

现有基于深度学习的人体解析技术尚有以下不足：首先，这些方法没有考虑人的视觉机制，仅从数据驱动的角度。在观察一个人时，人们习惯上优先关注比较重要的部位，比如头，躯干然后其他。其中有一个信息传递的过程，大部分网络忽略了这个过程。其次，有些方法利用检测的技术，促进网络的前景提取。但是检测技术本身就有一定的局限性，会出现一些错误的检测情况。后续的分割网络使用检测的结果会有产生累积误差，造成解析结果的错误。最后，在人体解析任务中，由于图像中存在不同体格的人或者人体的远近不同，会在图像中呈现出不同大小的部件。部件的正确解析一定程度上会依赖于感受野的大小，如何针对于不同大小的部件产生合适的感受野，这个问题很少被考虑到。

发明内容

有鉴于此，本发明提供了一种基于深度学习的混合语法人体解析方法及装置，以至少部分解决上述问题。

其一方面，本发明提供的基于深度学习的混合语法人体解析方法包括：

存储模块提供人体解析数据集，一些实施例中，该人体解析数据集包括人体图片和该人体图片的像素标签；

将该人体解析数据集输入至一特征提取网络解析得到关于该人体解析数据集的各个部件的特征图；

该特征图依次输入至一混合语法子网络和一感受野自适应子网络进行解析，得到关于该人体解析数据集的预测图，一些实施例中，该混合语法子网络和感受野自适应子网络为端到端连接，且混合语法子网络的输出端和感受野自适应子网络的输入端连接；

其中，特征提取网络、混合语法子网络和感受野自适应子网络均结合对应的监督信息联合优化网络实现解析工作。

进一步的，其中：

一些实施例中，混合语法子网络包括多个串联或并联连接的进化卷积循环神经子网络，且各个进化卷积循环神经子网络对应一个语法规则，一些实施例中，该语法规则为：