[发明专利]基于注意力机制和3D卷积神经网络的人体行为识别方法

权利要求书

1.一种基于注意力机制和3D卷积神经网络的人体行为识别方法,其特征在于，该人体行为识别方法构建了一个3D卷积神经网络,该3D卷积神经网络的输入层包括原始灰度图和注意力矩阵两个通道其中，所述注意力矩阵是通过三帧差法计算连续三帧图像之间的差分，并进行归一化后得到的三维矩阵；

所述三帧差法是分别求出当前帧和前一帧以及当前帧与后一帧的差分图像，然后取两次差分结果的“并集”；并集这个概念通过取每个像素点当前帧和前后帧差分结果的较大值得到，使该结果能表示当前帧前后发生最大变化的区域；该三帧差法步骤为：

1)选取视频帧序列中的连续三帧图像I_t-1(x,y)，I_t(x,y)，I_t+1(x,y)，分别计算相邻两帧图像的差值D_t-1,t(x,y)，D_t,t+1(x,y)：

2)对得到的差分图像通过选择合适的阈值T提取显著性变化区域，排除噪声干扰：

3)在一组内将得到两个差分图像逻辑“或”，取得连续两帧之间变化区域的并集，得到三帧图像中的中间帧的前后显著性变化区域，B(x,y)，

B(x,y)＝max(B₁(x,y),B₂(x,y)) (23)

4)最后将得到的差分图像进行归一化，得到帧差通道A(x,y)，该三维矩阵能够表示输入的人体行为视频中动作显著性变化区域，

。

2.一种基于注意力机制和3D卷积神经网络的人体行为识别方法,其特征在于，该人体行为识别方法构建了一个3D卷积神经网络,该3D卷积神经网络的输入层包括原始灰度图和注意力矩阵两个通道，其中，所述注意力矩阵是通过两帧差分法计算连续两帧图像之间的差分，并进行归一化后得到的三维矩阵，该两帧差分法中，注意力矩阵A是通过以下公式计算得出：

其中，x,y为目标像素点的坐标，t为当前帧序号，t-1表示当前帧的前一帧，It为当前帧在x,y位置的灰度值，公式(3)为计算相邻两帧之间的距离D，通过公式(2)中的阈值T将无显著性变化区域剔除，得到显著性变化区域ID，通过公式(1)对距离进行归一化，最终得到注意力矩阵A，其中min和max为显著性变化区域ID内的所有像素中灰度值中的最小值和最大值，该三维矩阵能够表示输入的人体行为视频中动作显著性变化区域。

3.根据权利要求1或2所述的一种基于注意力机制和3D卷积神经网络的人体行为识别方法，其特征在于，该3D卷积神经网络的3D卷积神经网模型包含：

一个双通道输入层、多个3D卷积层和多个3D池化层互相交错穿插，最终连接全连接层后得到分类结果，注意力矩阵同原始灰度视频帧立方体通过该双通道输入层一同输入到神经网络模型中。

4.根据权利要求3所述的一种基于注意力机制和3D卷积神经网络的人体行为识别方法，其特征在于，所述全连接层为两个，在两个全连接层前分别有一个Dropout层。

5.根据权利要求4所述的一种基于注意力机制和3D卷积神经网络的人体行为识别方法，其特征在于，所述Dropout概率设置为0.25到0.5之间的小数。

6.根据权利要求5所述的一种基于注意力机制和3D卷积神经网络的人体行为识别方法，其特征在于，所述3D卷积层和3D池化层为分别为3-7个；所述3D卷积层和3D池化层的个数分别为5个。