[发明专利]基于孪生三维卷积神经网络的行为分类方法

权利要求书

1.一种基于孪生三维卷积神经网络的行为分类方法，其特征在于，该方法具体包括以下步骤：

步骤1，调整图像帧的长、宽到孪生三维卷积神经网络要求的大小；

步骤2，把图像帧序列按连续16帧一组进行分组，把每组图像帧输入孪生三维卷积神经网络，提取抽象时间特征与抽象空间特征，把抽象时间特征输入到反卷积网络，得到光流场；

步骤3，拼接步骤2中得到的抽象时间特征与抽象空间特征，并把提取的一个视频中全部图像帧组的特征取算数平均，平均值输入分类器，获得视频中行为的类别的预测向量，与训练数据标签做运算得到第一损失函数L_cls，表达式如下：

其中，p_class表示类别的预测向量，a表示训练数据的标签向量，a_j表示第j维的训练数据的标签向量a，j表示向量中的维度，N表示一个训练批次中视频的数量；

把步骤2中得到的光流场与训练数据的标签光流场做运算得到第二损失函数L_flow，表达式如下：

其中，(i,j)为光流场中像素点的坐标，I表示光流场中像素点坐标的集合，u,v表示网络预测的光流场在两个方向上的分量，其中u表示网络预测的光流场的水平分量，v表示网络预测的光流场的垂直分量，u^g,v^g表示标签光流场在两个方向的分量，其中

ug表示标签光流场的水平分量，v^g表示标签光流场的垂直分量，N_f表示一个视频中图像帧的数量，N表示一个训练批次中视频的数量；

总损失函数为上述第一、第二两个损失函数的加权相加，表达式如下：

L＝L_cls+αL_flow

其中，α为平衡两个损失函数的权重；

步骤4，使用Adam优化器以及反向传播算法更新网络参数，直到总损失函数L的值不再下降为止，得到最终的网络参数。