[发明专利]人类行为识别的标签和交互关系联合学习方法

权利要求书

1.一种用于人类行为识别的联合标签交互学习的方法，其特征在于：所述方法包括以下步骤：

1)构造能量函数

令G＝(V，E)表示图，其中节点集V表示所有人的个人行为，边集E表示他们的交互信息，e_ij∈E表示人i和人j之间有交互，而边e_st的缺失则表示人s与人t之间没有交互，I表示一张图像，是人i的个人行为标签，a＝[a_i]_{i＝1，...，n}是包含n个人的个人行为标签的向量；

给定一个新的输入I，目标是通过解决以下的问题(1)来预测个人行为标签a和交互信息E；

其中

其中是一个指示函数，如果a_i＝s，它的值为1，反之则为0；当e_ij＝z时指示函数的值为1，反之则为0；同样地，当a_i＝s且a_j＝t时，指示函数为1，反之为0；

一元能量项θ_i；s的定义如下：

其中w_u是一元能量函数的权重项，是指示向量，在s这个位置时取1，其他情况都为0，p_i；s是把标签s分配给i时的判别得分，为了计算这个判别得分，把通过深度卷积神经网络学到的特征、人身体区域的HOG和HOF特征串联起来，训练一个支持向量机分类器；

二元能量项的定义如下：

其中w_c衡量两个交互的人的个人行为标签s和t之前的兼容性，是一个指示向量，在(s，t，l_i，j，p_i，p_j)对应的位置取1，其它位置均为0，表示人i和人j之间的相对距离，定义为：

设r_i，r_j是人i和j的包围框的宽度，设d_i，j是这些成对包围框的中心的欧几里得距离，计算h_i，j为：

在方程式(5)中，表示从训练样本中筛选的所有的交互项(i，j)的平均值；

像一般的行为识别做的，把人的头部朝向分为5类，分别为{profile-left，profile-right，frontal-left，frontal-right，backwards}，为了确定每个人的头部朝向，使用手工特征和ConvNet学到的特征，训练了一个线性大间隔分类器；

考虑到人之间交互的存在，θ_ij；z规定了负的信任值，定义如下：

w_τ是得分项p_i，j；z的权重项，表示两个人(i，j)之间有无交互的可能性，有交互时z＝1，无交互时z＝0，为了计算得分项p_i，j；z，使用从人i和j的包围框区域提取的特征，再次训练一个SVM分类器，这边使用的特征表示和用来计算p_i；s用的特征表示是一致的，1_τ(z)∈{0，1}²是指示向量，在z的位置取1，其他情况取0；

w_r评估交互信息由z编码，相对距离l_i，j和头部朝向p_i，p_j之间的兼容性，此项的目的是利用语境线索来提高交互和非交互识别的判别能力；当根据得分p_i，j；z得到的预测不正确时，方程式(7)中的第二项可以用来纠正预测结果；

在方程式(1)中引入的正则项定义如下：

其中θ₀＝w_s，w_s∈R，当松弛变量e∈{0，1}为e∈[0，1]此正则项满足L₁正则化的定义，因此，使用此项来加强稀疏的人交互的学习；

2)训练模型的参数

训练样本集边集E^k表示在第k张训练样本的图片中，人之间的真实的交互信息，e^k是E^k的向量形式，使用下面的最大边距式公式来训练所有的模型参数w＝[w_u，w_c，w_τ，w_r，w_s]：

标签代价，即错误预测的惩罚为：

其中δ(·)是指示函数，当测试情况为真时取1，反之为0；m表示人的个数；

3)解决推理问题

通过固定参数θ来解决推理问题(1)，初始化e为一个全连接的结构，在每次迭代中，首先固定图结构e，用表示，然后解决剩余的问题：

通过OpenGM包中的Tree-reweighted消息传递接口来解决这个问题；

用来表示a的当前解，把代入公式(1)，推理问题缩减为：

重整方程式(12)，得到下面的形式：

每个e_ij和所有的余下的变量e没有相互作用，因此e_ij的最佳值仅依赖于它的系数值，最小化关于变量e的表达式，如果的值为负，e_ij的最佳值为1；如果的值不为负，e_ij的最佳值为0。