[发明专利]基于多无人机视角图像数据驱动的人体行为智能识别方法

权利要求书

1.一种基于多无人机视角图像数据驱动的人体行为智能识别方法，其特征在于，该方法首先通过不同方位无人机相对于同一人体目标从不同角度、不同高度、不同距离进行观测，采集得到包含目标行为的视频序列，然后分别对每一架无人机采集的视频序列进行处理得到人体关节点坐标序列，接着利用基于LSTM的短时-长时深度神经网络对人体关节点坐标序列进行时序建模得到单架无人机的人体行为识别结果概率，最后对所有无人机的人体行为识别结果概率进行融合得到人体行为识别结果；

该方法具体包括如下步骤：

S1、对于多无人机系统中的单架无人机，读取无人机采集的包含目标行为的视频序列，所述视频序列包含多帧图像；

S2、对视频序列的前N帧图像进行特征提取与处理得到包含人体关节点的人体关节点坐标序列；

S3、对人体关节点坐标序列进行数据处理得到运动特征和余弦相似度特征；

S4、利用基于LSTM的短时-长时深度神经网络对提取的特征进行时序建模得到无人机的人体行为识别结果概率；

S5、对多无人机系统中的其他处于不同方位无人机分别重复上述步骤S1～S4分别得到其他无人机各自的人体行为识别结果概率；

S6、确定多无人机系统中的各个无人机的人体行为识别权重；

S7、对所有无人机的人体行为识别结果概率进行加权融合，并依据非极大值抑制得到人体行为识别结果；

S8、使用步长为1的滑窗法将所有视频序列的后续N帧图像依次重复步骤S2～S7，直至处理完所有视频序列；

S9、判断后续是否还有视频帧输入，如果是，则重复步骤S8，否则结束人体行为识别过程。

2.根据权利要求1所述的一种基于多无人机视角图像数据驱动的人体行为智能识别方法，其特征在于，步骤S2具体为：

S21、对N帧图像使用预训练完成的多阶段级联的卷积神经网络模型逐帧提取深度特征，并表示为深度特征图；

S22、对所述的深度特征图按人体关节点位置回归出关于人体关节点的热力图，各个位置的像素值表征该位置是人体关节点的概率大小；

S23、根据人体关节点的热力图，通过局部非极大值抑制方法获取人体各关节点在热力图中的坐标，将热力图中的坐标按多阶段级联的卷积神经网络步长映射回原视频序列图像中的坐标，得到人体关节点在原视频图像中的坐标t代表N帧图像的第t帧，i表示第i个人体关节点，表示第t帧图像中第i个人体关节点的横坐标，表示第t帧图像中第i个人体关节点的纵坐标，t＝1，2，……，N，i＝0，1，……，k-1，k表示人体关节点总个数；

S24、将人体关节点在原视频序列图像中的坐标进行连接，形成单帧人体关节点的坐标序列s_t，

3.根据权利要求2所述的一种基于多无人机视角图像数据驱动的人体行为智能识别方法，其特征在于，步骤S3中运动特征和余弦相似度特征分别通过如下方式得到：

S31、选取一个人体关节点为参考关节点进行坐标变换：以第一帧图像中参考关节点为原点对所有图像中的人体关节点分别进行坐标变换得到进而得到可表征运动特征的单帧人体关节点的坐标序列以每一帧图像中参考关节点为原点对该帧图像中其他人体关节点分别进行坐标变换得到进而得到可表征余弦相似度特征的单帧人体关节点的坐标序列

S32、求取运动特征t≥D，D是运动补偿系数，D为常数；

S33、求取中除参考节点外的其他人体关节点与对应原点组成的向量与新坐标系下x轴正方向的余弦相似度，进而得到各帧图像的余弦相似度特征。

4.根据权利要求1所述的一种基于多无人机视角图像数据驱动的人体行为智能识别方法，其特征在于，所述的基于LSTM的短时-长时深度神经网络包括短时时序建模分支、长时时序建模分支、余弦相似度建模分支和分支识别结果融合模块；

所述的短时时序建模分支用于根据运动特征进行时序建模得到人体行为识别结果概率；

所述的长时时序建模分支用于根据运动特征进行时序建模得到人体行为识别结果概率；

所述的余弦相似度建模分支用于根据余弦相似度特征进行建模得到人体行为识别结果概率；

所述的分支识别结果融合模块用于将各分支的识别结果概率进行加权融合得到单架无人机最终的人体行为识别结果概率。