[发明专利]一种基于视频输入的双流全局-局部动作识别方法、系统、设备及存储介质

权利要求书

1.一种基于视频输入的双流全局-局部动作识别方法，其特征在于：具体包括以下步骤：

步骤1、采集内容为单个识别对象行动的视频输入，使用识别对象关键点识别方法将视频中的识别对象关键点提取并挑选提取的识别对象关键点，并根据关键点位置裁剪得到多个识别对象局部图像；对多个识别对象局部图像组成的多个局部视频输入和全局视频输入进行数据预处理工作；

步骤2、采用双流全局-局部动作识别网络提取全局及局部视频当中的动作特征；即分别使用局部特征提取网络和全局特征提取网络对输入的局部视频和原始视频数据进行特征提取操作；

步骤3、加入局部特征增强模块，处理局部网络中包含局部信息的中间输出特征图，得到注意力引导遮罩，使用注意力引导遮罩在空间维度和时间维度上增强全局网络的中间结果；

步骤4、协同训练双流网络和增强模块得到全局-局部动作识别模型，进行动作识别。

2.根据权利要求1所述的基于视频输入的双流全局-局部动作识别方法，其特征在于，所述步骤1具体方法如下：

1.1)使用关键点识别网络从采集输入中得到的单个识别对象行动的视频中识别出多个识别对象关键点，依据识别得到的识别对象关键点将以关键点为中心的局部图像裁剪出来；

1.2)识别对象关键点数据设为J_i＝(x_i,y_i),i＝1...clip_size，J_i表示一个图像中识别对象关键点的位置，设置关键点为中心的局部图像为边长为box_len的正方形crop_box，得到每帧的clip_size个以识别对象关键点J_i为中心的形状为box_len×box_len的关键点中心的局部图像：

crop_box＝(x_i-box_len/2,y_i-box_len/2),(x_i+box_len/2,y_i+box_len/2)

从每一帧中可以得到G个局部图像I_local：

其中，crop函数表示从输入图像中裁剪出crop_box所在的部分，函数P(·)表示数据预处理操作，局部图像组成的局部视频输入Input_local可形式化的定义如下：

输入的

3.根据权利要求1所述的基于视频输入的双流全局-局部动作识别方法，其特征在于，所述步骤2的具体方法如下：

2.1)全局特征提取网络提取全局视频当中的动作特征，得到预测结果；

2.2)局部特征提取网络提取局部视频当中的动作特征；

2.2.1)以步骤2预处理得到的局部视频的视频帧中，G个识别对象不同部位关键点为中心，分割出视频序列；

2.2.2)以步骤2.2.1)的结果为输入数据进行局部网络特征提取：将输入的数据拆分为G组局部数据，分别进行网络特征提取，然后合并操作；即将输入的数据视为G组局部数据的组合，局部模块可以分别对G组局部数据进行处理；

2.2.3)在步骤2.2.2)网络特征提取结束后，将数据分为G组，分别得到预测结果后取平均，得到最终的预测结果。