[发明专利]基于多级条件影响的卷积神经网络的细粒度动作检测方法

权利要求书

1.一种基于多级条件影响的卷积神经网络的细粒度动作检测方法，其特征是建立一个多级条件影响的卷积神经网络MLCNet，将从视觉场景中获得的外部知识与多级视觉特征融合，所述多级条件影响的卷积神经网络MLCNet以条件影响的多分支卷积神经网络结构为主干，条件影响的多分支卷积神经网络包括条件影响的卷积神经网络和多分支结构，条件影响的卷积神经网络用于生成多级视觉特征，同时将人体结构和物体上下文所提供的空间语义信息作为条件进行编码，通过仿射变换和注意机制动态影响卷积神经网络的特征提取，所得视觉特征由多分支结构分别编码后输出，最后，融合多模态特征以区分各种交互动作，所述多模态特征包括多分支结构产生的多级视觉特征、人-物相对位置特征和物体上下文特征；对多级条件影响的卷积神经网络进行训练，得到的模型输出细粒度动作检测结果，包括以下步骤：

1)对输入图像进行附加知识提取，包括目标检测、姿势估计和人体解析；

2)构建条件影响的多分支卷积神经网络结构，由条件影响的卷积神经网络提取多级视觉特征，并通过相应的分支对全局语境信息、交互动作短语、物体实体和身体部位的视觉特征进行编码；

3)通过多级条件机制对条件影响的卷积神经网络的特征提取进行调节，以人体结构和物体语境信息的附加空间语义信息作为条件进行编码，将全局图像、交互动作短语及身体部位的视觉特征与人体结构和物体语境信息的显式空间语义信息进行动态交互，所述调节包括全局条件调节、局部条件调节和注意力机制调节；

4)多模特征融合，将多级视觉特征、人-物相对位置特征和物体语境信息特征输入到独立的全连接分类器中，对所有视觉特征应用全局平均池来生成特征向量作为分类器的输入，对分类器的输出进行归一化，以估计所有与对象无关的动作的概率；然后，采用iCAN的融合策略，融合多模特征，输出的结果为模型输出结果；

5)模型训练，将一个小批量样本B＝{(b^h，b^o，Y)}输入到模型中，其中Y表示与物体无关的动作标签Y＝{(y₁，y₂，...，y_|Ω|)}，Ω是动作类别集，y∈{0，1}，b^h和b^o是检测到的人和物体实例，将细粒度动作识别问题描述为一个多标签分类问题，在训练阶段，使用二元交叉熵损失函数BCE(，)计算全部各个特征分支的独立损失值

δ表示各动作的置信值，下标p表示是第p个批量样本，q代表的是动作类别集中第几个动作类别；

对整个网络进行端到端的优化，学习不同层次的特征偏差和外观变化，完成模型训练；

6)将得到的模型用于细粒度动作检测。