[发明专利]一种基于人体特征分布的行人解析方法

说明书

本发明涉及一种基于人体特征分布的行人解析方法，从人体特征分布的角度出发，提出了一种智能的融合人体特征分布模型和自监督结构敏感学习策略的行人解析方法。以自监督结构敏感学习方法为底层框架，首先，通过超像素分割的方法产生候选区域，对每个区域提取颜色和纹理特征建立表象模型，然后再利用高斯函数建立面积比例模型，最后通过将两个模型叠加得到总的人体特征分布模型。并将解析损失函数、关节结构损失函数和人体特征分布模型的特征分布损失函数相叠加的得到最终的损失函数。本发明利用自监督结构敏感学习方法使得生成的解析结果在语义上与人体的结构具有很强的一致性，更符合人体特征分布的特性，并且对遮挡，视角，复杂背景具有不变性。

技术领域

本发明属于图像行人解析技术领域，以自监督结构敏感学习方法(Self-supervised Structure-sensitive Learning approach)为底层框架，融合符合人体特征分布的人体特征分布模型进行人体解析。该模型首先利用超像素分割方法产生候选区域，然后计算候选区域与数据集中人体特征分布模型的相似得分，从而得到人体各部件关节点的语义标签。本发明不仅利用自监督结构敏感学习方法使得生成的解析结果在语义上与人体的结构具有很强的一致性，而且由于引入人体特征分布模型，具有更符合人体特征分布的特性，对遮挡、视角变化和复杂背景具有不变性。

背景技术

随着科技的发展和人类生活智能化的提高，智能服务机器人逐渐进入到人类生产生活中，并且被广泛地应用到了各个行业。机器人服务人类时，需要建立对服务本体的认知与理解。行人解析是服务机器人对人类最重要的认知方式之一，直接影响机器人智能化水平的发挥，也是完善人机交互的基础。为了使机器人能够准确的完成诸如送餐、握手等交互操作，服务机器人的视觉感知系统不仅需要识别出行人的位置和类别属性，还有需要提供更具体的行人语义部件(如头、躯干、手臂、腿、脚等)信息，因此，需要研究行人解析方法，进而使机器人能够理解人类的行为。实际应用场景中，由于存在如光照变化、局部遮挡、姿态变化、视角变化等复杂因素，因此，行人解析任务具有很高的难度。

近年来，行人解析获得了越来越多学者的关注。现有的行人解析大多基于分割、姿态估计和自下而上的区域产生式的方法。例如，2012年，Yamaguchi^[1]等人提出将姿态估计和行人解析相结合的方法进行解析，同时采用基于检索的方法对结果进行微调，取得了较好的性能。与大多数把人体姿态估计问题作为行人解析的前提所不同的是，2013年Dong^[2]等人提出了一种解析部件表达方法(Parselet representation)，将人体划分为不同的语义区域，然后建立一个可变形的混合解析模型(DMPM，Deformable Mixture ParsingModel)。该模型有两个特点：(1)被划分的语义区域可以组合成与或(And-Or)形式的树形结构；(2)对树形结构的叶节点的可见属性(visibility property)进行建模，可以解决Parselet存在的遮挡问题。然而，上述传统的方法通常需要手动设计复杂预处理步骤(如姿态估计、模板字典学习等)，导致行人解析运行效率和准确率的降低。随着目前深度学习的发展，尤其是卷积神经网络在图像识别领域中取得的优异性能，卷积神经网络被广泛应用到机器视觉领域中。2015年，Liang^[3]等人提出一种上下文卷积神经网络结构(Co-CNN,Contextualized Convolutional Neural Network)，将交叉层上下文信息(cross-layercontext)、全局图像级上下文信息(global image-level context)、以及相邻超像素上下文信息(cross-super-pixel neighborhood context)加入到网络中，实现了端到端的像素级分类。该方法能有效提高分割精度，但其设计也容易导致局部最优。2017年，Gong^[4]等人提出一种自监督结构敏感学习的行人解析方法，利用丰富的关节结构信息来监督行人解析。针对姿态估计中关节点的定义和行人解析中关节定义的不一致性，作者定义了9种关节结构并提出直接从标注的解析数据集中产生近似的关节标签，最后利用结构敏感损失函数评估预测的关节结构和标签关节结构的一致性。这种自监督的框架具有一定的普适性，可以应用在任何的网络结构中，但没有充分考虑相同对象不同语义部件之间的分布关系。