[发明专利]基于多无人机视角图像数据驱动的人体行为智能识别方法

说明书

本发明涉及一种基于多无人机视角图像数据驱动的人体行为智能识别方法，该方法首先通过不同方位无人机相对于同一人体目标从不同角度、不同高度、不同距离进行观测，采集得到包含目标行为的视频序列，然后分别对每一架无人机采集的视频序列进行处理得到人体关节点坐标序列，接着利用基于LSTM的短时‑长时深度神经网络对人体关节点坐标序列进行时序建模得到单架无人机的人体行为识别结果概率，最后对所有无人机的人体行为识别结果概率进行融合得到人体行为识别结果。与现有技术相比，本发明方法鲁棒性强，有效增强了人体行为识别效果，可适用于各类复杂环境，为无人机人体行为识别任务提供了新的解决办法。

技术领域

本发明涉及无人机视觉行为识别技术领域，尤其是涉及一种基于多无人机视角图像数据驱动的人体行为智能识别方法。

背景技术

人体行为识别是计算机视觉领域的一个重要研究方向。人体行为识别过程的实质是根据所观测目标的行为动作，对其时空关系进行建模，从而判断所观测目标的行为类别。随着人工智能技术和图像处理技术近年来的迅猛发展，人体行为识别技术也迅速获得提升，逐渐应用于人机交互、城市监控系统、运动分析等广阔领域。

无人机作为一种高度集成的无人设备，因其机动灵活性强、部署成本低、可搭载多种传感器、覆盖范围广等特点，从而可以适用于多样化的任务需求。特别是随着控制技术、新材料、计算技术、通讯技术的快速发展，无人机已经大量应用于军事及民用领域。其在搜索救援、实时监控、侦察、交通、有害区域检查和网络延伸等方面的重要性及优势已经得到广泛认可。但由于所侦测目标通常处于动态变化的各类复杂环境中，使得无人机人体行为识别任务无可避免的面对如光照变化、视点变化、外形尺度变化、目标遮挡等诸多不确定性因素，仍然是一项非常具有挑战性的任务。同时，由于无人机这一载体的特殊性，使得人体行为识别方法在无人机平台上的应用存在其特有的挑战，具体地：①由于无人机视角、距离的高速变化，造成目标外形、尺度变化，对于人体姿态的观测可以表现出极大的差异性，同时对目标行为的捕获存在运动模糊等困难，进而可能导致识别错误；②由于目标本身也会存在运动情况，则可能导致目标超出视野或被物体遮挡，使得无人机观测不到目标，进而无法有效判断目标行为，导致任务失败。

目前表现优异的人体行为识别算法多通过深度学习方法获得，可主要分为两类：基于RGB视频流的方法和基于3D人体骨架的方法两大类，前者主要利用卷积神经网络直接处理视频流并得到识别结果。Jeff等人在文献《Long-term Recurrent ConvolutionalNetworks for Visual Recognition and Description》中通过聚合图像序列特征的方法，提出了通过基于预训练卷积神经网络模型和长短时记忆网络聚合时空特征以进行识别，过程较为繁琐；Du等人在文献《Learning spatiotemporal features with 3dconvolutional networks》中提出基于3D CNN的行为识别方法C3D，同时在空间和时间维度上提取特征，从而可以更高效、简洁的捕获视频时空特征。C3D方法基于3D CNN的特性，可以同时对人体外观信息和运动信息进行建模，获取到了更好的识别效果。但此类方法对光照强度的变化较为敏感，且大量的神经网络参数使得其难以适用于计算能力有限的无人机平台。