[发明专利]基于融合神经网络的雷达手势识别方法

摘要

本发明公布了一种基于融合神经网络的雷达手势识别方法，首先，利用二维快速傅立叶变换(Fast Fourier Transform,FFT)求取手势回波中频信号的频谱，采用谱峰估计计算出手势目标的距离和速度参数，并利用多重信号分类(Multiple Signal Classification,MUSIC)方法计算角度参数。其次，利用这三维参数在时间上的累积，将一个完整手势动作映射为多帧距离‑速度矩阵图和角度时间图。然后，利用手势参数图，建立融合神经网络。最后，利用融合神经网络进行手势特征提取和特征融合，并通过全连接层对手势特征进行分类。

主权项

1.基于融合神经网络的雷达手势识别方法，其特征在于，包括以下步骤：步骤一、将发射信号和接收信号输入到混频器，通过低通滤波器滤除高频部分，再经过采样和基带信号处理后得到中频信号S_IF(t)和中频信号频率f_IF。步骤二、根据中频信号S_IF(t)和中频信号频率f_IF计算手势目标的距离d和速度v。步骤三、对中频信号128个脉冲周期采样64个点进行快速傅里叶变换，将结果中同一频点的复信号生成一个新的频移信号，进而再对此信号进行FFT得到多普勒频移f_FFT，从而可以生成手势的距离‑速度图。步骤四、根据MUSIC算法估计手势目标的角度θ。步骤五、对雷达发送的每一帧信号估计按照步骤四计算角度，将计算结果按时间顺序构成一个角度时间图。步骤六、将生成的距离‑速度图预处理为深度学习网络的输入数据X_input，并初始化三维卷积神经网络权重。步骤七、将输入信号矩阵X_input1进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵P_ool1。步骤八、将池化矩阵P_ool1重复步骤七中的卷积核池化操作，设置卷积核个数n_kernel2，得到表示特征图的池化结果P_ool2。步骤九、对池化结果P_ool2进行进一步的卷积池化以提取深度特征结果，得到池化矩阵P_ool3。步骤十、将池化矩阵P_ool3按照步骤十一重复两次进行卷积核池化操作，得到n_kernel5个f₁′×m′₁×n′₁维的特征映射图P_ool5，其中f₁′表示特征图帧数，m′₁和n′₁分别表示特征图的宽和高。本实验中f₁′＝1，m′₁＝2，n′₁＝4。步骤十一、将n_kernel5个f₁′×m′₁×n′₁维的特征映射图F_eat5维度转置得到s₁×s₂维的特征向量X_feature1，其中s₁和s₂分别表示特征向量的维度和长度。本实验中s₁＝1，s₂＝1024。步骤十二、将生成的角度时间图预处理为深度学习网络的输入数据X_input2，并初始化二维卷积神经网络权重。步骤十三、将输入矩阵信号X_input2根据步骤十二中的卷积核参数，重复步骤七中的卷积核池化操作，得到表示维度为f′₂×m′₂×n′₂的特征映射图F_eat，其中f′₂表示特征图帧数，m′₂和n′₂分别表示特征图的宽和高。步骤十四、将n_kernel12个的特征映射图F_eat维度转置得到s₃×s₄维的特征向量X_feature2，其中s₃和s₄分别表示特征向量的维度和长度。本实验中s₃＝1，s₄＝1024。步骤十五、将两组向量X_feature1和X_feature2并联组成融合特征向量，融合特征向量长度为的l_en特征向量中，每一步的维度为s_tep。本实验中l_en＝1024，s_tep＝2。步骤十六、设置长短期记忆网络(Long Short‑Term Memory，LSTM)的输入层为上一步骤中时间步长为l_en输入维数为s_tep的融合特征向量X_fu，令X＝X_fu，其中X的步长为l_en。步骤十七、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G。步骤十八、通过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态S_s1，并作为特征结果X′_feature。步骤十九、将最终形如X′_feature＝[x₁ x₂...x_h]^T的特征结果送入归一化指数函数进行计算结果矩阵得到结果矩阵中值最大的角标y′＝max(X_res)，结果矩阵X_res的K个标量中第j个值表示中频信号矩阵A被融合神经网络模型判别为第j类手势的概率，y′表示输入被判别为某一类手势的结果。