[发明专利]基于多基地雷达微多普勒和卷积神经网络的人体识别方法

摘要

本发明涉及一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，属于雷达目标识别技术领域。本方法中使用多基地雷，缓解了视角变化带来的回波信号差异，增强了识别鲁棒性，提高了识别准确率。采用卷积神经网络进行数据处理，无需手工设计特征，具有一定通用性且识别正确率性能优异。本方法采用迁移学习技术，在卷积神经网络中利用了RGB光学图像预训练权重，并利用具有类似RGB光学图像的三通道多分辨率时频图作为卷积神经网络的输入，在匹配了预训练权重维度的同时，相比单分辨率时频图提供了更多的信息，本方法能够在多种人体识别任务中取得良好的识别准确率。

主权项

1.一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其特征在于该方法包括以下步骤：(1)采集已知种类的人体时域回波信号：采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s3(t),其中t为采集时间；(2)生成多分辨率时频图，包括以下步骤：(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；(2b)对上述多分辨率时频图S_n,k(t,f)取对数，并将取对数后的多分辨率时频图S_n,k(t,f)的最大值归一化为0分贝，设定一个门限θ_th，在最大值归一化后的多分辨率时频图S_n,k(t,f)中截去小于门限θ_th的部分，得到三个接收节点的归一化多分辨率时频图(2c)将上述归一化多分辨率时频图的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图X_n,k(t,f)：(3)构建一个训练数据集：对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图与已知人体种类y_i构成一个训练样本遍历所有已知种类的人体，重复本步骤，得到所有训练样本将所有训练样本组成一个训练数据集；(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率，每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，输出各人体种类的概率分布中概率最大的种类作为识别结果；(5)对上述步骤(4)的卷积神经网络进行训练：将步骤(3)生成的训练集中的零均值多分辨率时频图输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3.第一支路，第二支路，第三支路的输入分别为和任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图的自变量t、f和k，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类y_i之间的交叉熵损失函数，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；(6)识别人体种类：对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。