[发明专利]人类行为识别的标签和交互关系联合学习方法

摘要

一种用于人类行为识别的标签和交互关系联合学习方法，包括以下步骤：1)，使用CNN特征、HOG特征、HOF特征及人与人之间的距离、头部朝向等信息构造能量函数，包含一元能量项、二元能量项、交互能量项和正则化项；2)使用大间隔结构化学习训练所有模型参数；3)标签和交互关系预测，使用交替搜索策略求解复杂推理问题，在迭代中交替优化标签和交互结构。本发明适用于包含多人、多行为类别的图像和视频，能够同时识别个人行为和人与人之间的交互行为。

主权项

一种用于人类行为识别的联合标签交互学习的方法，其特征在于：所述方法包括以下步骤：1)构造能量函数令G＝(V，E)表示图，其中节点集V表示所有人的个人行为，边集E表示他们的交互信息，eij∈E表示人i和人j之间有交互，而边est的缺失则表示人s与人t之间没有交互，I表示一张图像，是人i的个人行为标签，a＝[ai]i＝1，...，n是包含n个人的个人行为标签的向量；给定一个新的输入I，目标是通过解决以下的问题(1)来预测个人行为标签a和交互信息G；其中其中是一个指示函数，如果ai＝s,它的值为1，反之则为0；当eij＝z时指示函数的值为1，反之则为0；同样地，当ai＝s且aj＝t时，指示函数为1，反之为0；2)训练模型的参数训练样本集Gk＝(Vk，Ek)，边集Ek表示在第k张训练样本的图片中，人之间的真实的交互信息，ek是Ek的向量形式，使用下面的最大边距式公式来训练所有的模型参数w＝[wu，wc，wτ，wr，ws]：min12||w||2+CΣl=1nξl2s.t.f0(a^l,e^l;θ)-f0(al,el;θ)≥Δ(al,el,a^l,e^l)-ξl,∀l,a^l≠al,e^l≠el,ξl≥0∀l.---(9)]]>标签代价，即错误预测的惩罚为：Δ(a,e,a^,e^)=1mΣk=1mδ(ak≠a^k)+2m(m-1)Σi<jδ(eij≠e^ij).---(10)]]>其中δ(·)是指示函数，当测试情况为真时取1，反之为0；m表示人的个数；3)解决推理问题通过固定参数θ来解决推理问题(1)，初始化e为一个全连接的结构，在每次迭代中，首先固定图结构e，用表示，然后解决剩余的问题：通过OpenGM包中的Tree‑reweighted消息传递接口来解决这个问题；用来表示a的当前解，把代入公式(1)，推理问题缩减为：重整方程式(12)，得到下面的形式：mineΣi<j[θi,j;1-θi,j;0+θi,j;a^i,a^j+θ0]eij.---(13)]]>每个eij和所有的余下的变量e没有相互作用，因此eij的最佳值仅依赖于它的系数值，最小化关于变量e的表达式，如果的值为负，eij的最佳值为1；如果的值不为负，eij的最佳值为0。