[发明专利]基于多普勒雷达时频图像序列与交叉卷积神经网络人体动作重构方法及系统

说明书

本发明公开了一种基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法及系统，首先通过Kinect摄像头获得的初始人体动作的相位，将运动估计神经网络输出的结果与现实图像神经网络的运算结果进行对比，得到单位时长中人体目标的增量值；根据初始人体动作与人体目标的增量值计算得到人体目标的动作坐标。本方法中的神经网络同时利用了运动目标的新增信息和多普勒雷达的图像特征而进行训练，实际神经网络操作较为简易，并可在实际应用环境下修改运动估计网络和现实图像网络的输入与整个神经网络的输出。因此，对于一连串的人体实际运动中，本方法的神经网络的预计表现会比传统成果中使用的先判断再重构技术的效果要更加泛用。

技术领域

本发明涉及到雷达图像目标动作序列的重构和以深度学习为基础的图像处理技术领域，特别是一种基于多普勒雷达时频图像序列与交叉卷积神经网络重构人体动作方法及系统。

背景技术

人体动作检测是一种热门的技术领域，其在人机交互、生物医疗和计算机行为学技术领域上拥有大量的研究。在传统的动作检测的领域上，使用压力传感器、Kinect深度摄像头和可穿戴设备用于识别人体动作并进行检测的方法是最为经典且为最有效的技术，特别是Kinect摄像头可用于人机交互的领域中，而在新兴的领域中，就有使用雷达图像技术来识别人体动作和手势类型的方法，这其中就包含了使用多普勒雷达图像进而识别人体动作类型的相关研究。

多普勒雷达的原理是多普勒效应，而雷达的多普勒效应是通过发射某个频率的雷达波束，并接收运动人体返回回波的多普勒频率来计算出目标人体的速度。与其他雷达相比较，其优点在于多普勒雷达作用范围较于其他雷达的可作用范围要远，并且人体任意一个部位的运动都会产生多普勒频率，因而可以被多普勒雷达捕捉，进而计算机可以通过返回得到的多普勒雷达的回波频率差来估计出人体运动的相对速度。如果直接观察已经处理好的多普勒雷达的时频谱图，计算机可以根据雷达回波的多普勒频率大小，即可判断人体目标大致运动的速度，并且根据构建后的多普勒雷达图像的包络大小和分布，也可以估计目标肢体的摆动幅度和频率。

在传统技术方法领域上，有大量关于对多普勒雷达的时频谱图进行处理，来对目标移动的类别分类的研究。然而，使用多普勒雷达时频谱图来重构目标移动方式的研究仍处于初级阶段，其主要的困难在于时频谱图的特征不明显，因此难以直接通过雷达的时频谱图来重构人体的动作。有部分成果采用了预先分类估计目标的运动类型进而重构目标动作的方法，但是这种方式难以重构复杂的动作，并且对于一连串不同的动作，这些成果也难以正确地分类目标动作类型，进而无法正确地重构目标的动作。

发明内容

有鉴于此，本发明的目的在于提供一种基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法及系统，该方法利用多普勒雷达和Kinect设备采取数据，并将其用于大致重构人体动作中，该方法利用人体行为在时空上的连续性来重构人体动作的一种方法。

为达到上述目的，本发明提供如下技术方案：

本发明提供了一种基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法，包括以下步骤：

获取人体运动的多普勒雷达数据；获取人体运动的人体目标运动数据；

对多普勒雷达数据进行时频分析处理得到相应的时频谱图；将多普勒雷达数据的时频谱图划分为数段的子多普勒雷达数据；

将各子多普勒雷达数据输入到现实图像神经网路；

将人体目标运动数据划分为数段的子人体目标运动数据；通过子人体目标运动数据得到人体各肢体的运动增量，并制作运动增量的标签集；

将各子人体目标运动数据输入到运动估计神经网络进行网络训练处理；

将运动估计神经网络输出的结果与现实图像神经网络的运算结果进行对比，得到单位时长中人体目标的增量值；

根据初始人体动作与人体目标的增量值计算得到人体目标的动作坐标。