[发明专利]基于多普勒雷达时频图像序列与交叉卷积神经网络人体动作重构方法及系统

权利要求书

1.基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法，其特征在于：包括以下步骤：

获取人体运动的多普勒雷达数据；获取人体运动的人体目标运动数据；

对多普勒雷达数据进行时频分析处理得到相应的时频谱图；将多普勒雷达数据的时频谱图划分为数段的子多普勒雷达数据；

将各子多普勒雷达数据输入到现实图像神经网路；

将人体目标运动数据划分为数段的子人体目标运动数据；通过子人体目标运动数据得到人体各肢体的运动增量，并制作运动增量的标签集；

将各子人体目标运动数据输入到运动估计神经网络进行网络训练处理；

将运动估计神经网络输出的结果与现实图像神经网络的运算结果进行对比，得到单位时长中人体目标的增量值；

根据初始人体动作与人体目标的增量值计算得到人体目标的动作坐标；

所述人体运动的人体目标运动数据是通过Kinect摄像头采集得到的Kinect人体运动数据，所述人体目标运动数据包括人体关节的运动数据；

所述子多普勒雷达数据为等时子多普勒雷达数据，所述子人体目标运动数据为等时子人体目标运动数据，所述时子多普勒雷达数据和等时子人体目标运动数据按照以下步骤进行分割处理：设置时长t_p，并按照时长t_p分割人体目标运动数据和多普勒雷达数据；

所述各子多普勒雷达数据转化为RGB三通道后输入现实图像神经网路的输入层；

所述运动估计神经网络进行网络训练处理完成后按照以下步骤计算人体目标的动作坐标：

将运动估计神经网络处理后输出的运动增量和人体目标运动数据的按照输出顺序进行组合得到每个关节的组合数据；

并与人体目标运动数据进行比较验证；

所述组合数据按照以下公式得到：

其中，v_pred是神经网络输出的预测速度，A是各个部位旋转的最大幅度，是各个部位旋转的角度，是神经网络需要预测的总增量值，Loc是各个部位的原始坐标，Locⁱ是经过第i次迭代后得到的各个部位的坐标，L是具体某个肢体的长度，里是神经网络需要预测的总增量值。

2.如权利要求1所述的方法，其特征在于：所述时频谱图按照以下步骤得到：

合成多普勒雷达数据；

对合成后的多普勒雷达数据使用短时傅里叶变换；

并对处理中的数据进行加窗处理得到时频谱图。

3.如权利要求1所述的方法，其特征在于：所述运动估计神经网络采用交叉卷积神经网络，所述交叉卷积神经网络按照以下方式进行网络训练处理：

设置交叉卷积神经网络；所述交叉卷积神经网络的中间层并采用Sigmoid函数作为激活函数，设置交叉卷积神经网络的卷积层和池化层，所述卷积层的卷积核和池化层的池化核均采用等步长移动；

将人体各肢体的运动增量输入到输入层；

计算人体运动增量作和神经网络的实际输出值的均方误差；

将均方误差作为损失函数进行训练，并更新交叉卷积神经网络的权重；

交叉卷积神经网络输出单位时长的增量值。