[发明专利]一种基于相似性损失的行为识别方法

说明书

本发明涉及计算机视觉识别领域，公开了一种基于相似性损失的行为识别方法，涉及计算机视觉识别领域。该行为识别方法包括步骤：将视频片段输入前馈网络，得到特征图以及对应的分类概率；计算任意两个配对样本的预测结果，根据预测结果计算分布之间的成对距离；根据成对距离和交叉熵损失计算整个的相似性损失。本发明的方法提出了一种新的相似性损失用来指导整个网络的学习目标，相似性损失可以简单的集成在任意一个基础网络之中，在没有额外引入参数和没有额外开销的前提下，该方法在数据集上取得了最优效果，验证了相似性损失的有效性。

技术领域

本发明涉及计算机视觉识别领域，具体涉及一种基于相似性损失的行为识别方法。

背景技术

经过视频级标签训练的深度卷积神经网络往往只专注于最具识别性的部分，而忽略了其他常见的运动模式，这些运动模式可以提供互补信息。我们的动机是发现共同的运动模式和类特定的空间信息，而不是样本特定的特征。基于视频的动作识别具有明显的类内变异和类间相似性，且所有属于同一类的样本并不能准确地表示可视类本身的完全变化。而对于基于3D CNN的动作识别方法，由于模型的参数量大，且参数量大，数据集越小越容易导致过拟合。因此，CNN可以学习在视频中捕捉特定样本的信息，而不是学习目标动作的一般表现形式或常见的运动模式。我们的目标是解决这些问题(过拟合和样本特定的信息)，这些问题导致在时序相关样本上的性能很差。直观地说，有两个基本的设计原则：i.应该确保所提出的方法具有合理的参数开销，以减少优化的难度。ii.对于时间建模，应该主要关注时间建模，而不是空间建模。现有的Timeception网路主要通过模型设计来优化目标，让尽可能的去关注时序信息，但很多行为非常依赖上下文信息，如游泳经常与游泳池相关联，只注重时序信息会引起空间信息的损失。

发明内容

为了让整个模型学习类相关特征而不是样本相关特征，本发明提出了一种基于相似性损失的行为识别方法。

一种基于相似性损失的行为识别方法，包括以下步骤：

S1、将视频片段输入前馈网络，得到特征图以及对应的分类概率；

S2、计算任意两个配对样本的预测结果，根据预测结果计算分布之间的成对距离；

S3、根据成对距离和交叉熵损失计算整个的相似性损失。

优选地，在上述的基于相似性损失的行为识别方法中，在所述步骤S2中，将两个输入视频样本x₁和x₂的条件概率分布记为p_θ(y|x₁)，p_θ(y|x₂)，共享相同的类，当模型参数为θ时为，两个输入视频样本x₁和x₂的成对距离为：D_PD(p_θ(y|x₁)，p_θ(y|x₂))＝||p_θ(y|x₂)-p_θ(y|x₁)||₂；样本相似性损失为：其中，λ为权重超参数，设定为1e-2，在类别一致时，γ(y₁，y₂)＝1。

优选地，在上述的基于相似性损失的行为识别方法中，在所述步骤S3中，采用最小批梯度下降法对相似性损失进行集成，从每个训练集中随机抽取数目与批大小的数值相同的样本进行迭代。

优选地，在上述的基于相似性损失的行为识别方法中，所述最小批梯度下降法的具体步骤为：

S31、首先确定训练集合D以及人工设定的超参数θ^*，初始化配对损失以及根据预训练模型读入模型参数；

S32、对于数据集D中的所有样本，根据类别标签构造两两配对关系，并定义和计算配对损失，将配对损失保留；