[发明专利]一种基于人体特征分布的行人解析方法

摘要

本发明涉及一种基于人体特征分布的行人解析方法，从人体特征分布的角度出发，提出了一种智能的融合人体特征分布模型和自监督结构敏感学习策略的行人解析方法。以自监督结构敏感学习方法为底层框架，首先，通过超像素分割的方法产生候选区域，对每个区域提取颜色和纹理特征建立表象模型，然后再利用高斯函数建立面积比例模型，最后通过将两个模型叠加得到总的人体特征分布模型。并将解析损失函数、关节结构损失函数和人体特征分布模型的特征分布损失函数相叠加的得到最终的损失函数。本发明利用自监督结构敏感学习方法使得生成的解析结果在语义上与人体的结构具有很强的一致性，更符合人体特征分布的特性，并且对遮挡，视角，复杂背景具有不变性。

主权项

1.一种基于人体特征分布的行人解析方法，其特征在于，包括如下步骤：步骤1：数据预处理将训练集中图像作为输入图像，对输入图像进行预处理，即对输入图像进行多尺度变换、水平翻转和随机裁剪，得到预处理过的训练集；步骤2：训练基础人体解析网络步骤2.1：使用深度残差网络ResNet‑101作为基础人体解析网络，其中包括卷积层，池化层和全连接层，共101层；将由步骤1得到的预处理过的训练集作为卷积神经网络的输入，训练卷积神经网络，进而对卷积神经网络的网络结构文件和网络参数配置文件进行修改，并产生初始的行人解析结果；步骤2.2：使用softmax计算解析损失函数：其中，L_parse为解析损失函数,为深度残差网络模型参数，x为深度特征，K为关节点类别数；此处，K＝9；步骤3：计算关节结构损失函数步骤3.1：定义9个关节点，分别为头部、上身、左臂、右臂、下身、左腿、右腿、左脚和右脚，并定义如下关节点列表：其中，为步骤2的初始解析结果所对应的第i个关节点，是步骤1中训练数集的标签图像对应的第i个关节点，I为输入图像；步骤3.2：计算关节结构损失函数为表示预测的解析结果对应关节点和训练集中标签图像对应的9个关节点的差值的均值；差值越大，预测越不准确；差值越小，预测越准确，此处K＝9；步骤4：构建人体特征分布模型首先利用超像素分割方法将人体分割成大小不同的候选区域，然后分别对每个区域建立表象模型和面积比例模型；步骤4.1：基于超像素分割方法产生人体候选区域步骤4.1.1：按照设定的超像素个数，在图像内均匀分配种子点；假设图像中共有M个像素点，预分割为N个相同尺寸的超像素，则每个超像素的大小为M/N，则相邻种子点的距离近似为S＝sqrt(M/N)；步骤4.1.2：在种子点的S*S邻域内，计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方；对该种子点所在邻域内的每个像素点，分别计算它与各种子点的颜色距离和空间距离，并取距离最小的为该像素点的聚类中心；步骤4.1.3：对步骤4.1.2进行15次以上的迭代，得到最终的聚类中心和候选区域；步骤4.2：建立表象概率模型步骤4.2.1：对每个候选区域j，利用L*a*b*颜色空间模型，提取11维颜色特征向量，每一维向量描述了像素或某一图像区域中的颜色属于11种颜色的概率；步骤4.2.2：对每个候选区域j，计算LBP纹理特征；并与步骤4.2.1提取的颜色特征串联得到候选区域的表象特征Hj，最后利用逻辑斯蒂回归函数建立表象概率模型：其中，e为指数函数，||·||2表示L2范数；Gk是标签图像中第k类关节点对应的表象特征，Yj＝k表示区域j所属的关节点类别为k，k取值为0～9；区域j所属关节点类别，即为表象特征差值最小时对应的标签图像对应的关节点类别；步骤4.3：建立面积比例模型步骤4.3.1：对给定的输入图像I，分别计算每种关节区域的面积Ak和图像中人体所占的总面积SI，面积比例概率模型计算如下：其中面积大小用像素总数来表示，ψk(Ak)表示第k种关节点的面积高斯分布，ψI(SI)表示人体总面积SI的高斯分布；μk表示第k种关节点面积分布的均匀程度，σk表示第k种关节点面积分布的平滑程度；μI表示人体总面积分布的均匀程度，σI人体总面积分布平滑程度；对每个候选区域计算属于不同类别关节点的概率，并认为概率最大对应的就是所属类别；步骤4.4：根据朴素贝叶斯法则得到最终的损失函数：Ldistribution(Yj＝k|Hj,Ak,SI)＝P(Yj＝k|Hj)P(Yj＝k|Ak,SI)步骤5：构建总体分布函数将步骤2的解析损失函数、步骤3的关节结构损失函数和步骤4.4的人体分布损失函数组合即可得到最终的损失函数：L＝Lparse·Ljoint+Ldistribution步骤6：模型训练训练平台采用NVIDIA GeForce GTX TITAN X GPU，网络搭建采用Caffe框架，batch‑size设置为20，初始学习率为0.001，动量设置为0.9，权重衰减设置为0.0005，优化方法采用梯度下降法；步骤7：测试对于给定的输入图像，首先根据解析网络计算初始解析结构，并根据解析结果计算关节结构热图；然后采用超像素分割的方法分割输入图像，并对分割产生的候选区域进行人体分布建模，得到总的损失函数，通过损失函数最小化得到最终的解析结果。