[发明专利]一种基于视频生成毫米波雷达数据的方法及装置

权利要求书

1.一种基于视频生成毫米波雷达数据的方法，其特征在于，包括以下步骤：

S1、采用变种孪生网络提取视频中的关键数据片段；

S2、利用人体区域索引算法实现人体网格数据和人体位置信息的一对一匹配；

S3、利用人体网格模型和深度预测模型生成相应的深度信息、雷达横截面和径向速度；

S4、采用多人反射模型模拟雷达信号的多径反射和衰减，输出可转换的粗糙雷达数据；

S5、使用Transformer模型生成逼真的雷达数据。

2.根据权利要求1所述的基于视频生成毫米波雷达数据的方法，其特征在于，步骤S1中变种孪生网络包括两个子网络，第一个子网络将选取的关键帧依次通过卷积层获取相应的特征向量集合；第二个子网络计算不同特征向量之间的欧氏距离获取距离向量集合，并将获取的距离向量集合通过全连接层得到关键帧之间量化的标量集合；随后，标量集合作为sigmoid函数的输入输出相应的对比矩阵；最后，利用广度优先搜索算法聚类对比矩阵以输出视频中的关键数据片段。

3.根据权利要求2所述的基于视频生成毫米波雷达数据的方法，其特征在于，步骤S1采用变种孪生网络提取视频中的关键数据片段的具体过程为：

S11、对一个输入视频，将其切分成n个片段，并从每个片段中抽取一帧作为关键帧，即可获得该视频的n个关键帧；

S12、第一个子网络使用16层卷积从n个关键帧中提取出特征向量集合{f₁，f₂，...，f_n}；

S12、利用不同特征向量之间的欧氏距离，使用公式(1)计算出距离向量集合{z_1，2，...，z_1，n，z_2，3，...，z_2，n，...，z_n-1，n}；

S13、使用对比损失函数计算关键帧之间的相似度，如公式(2)和(3)所示，获取一个标量集合{l_1，2，...，l_1，n，l_2，3，...，l_2，n，...，l_n-1，n}；

L(W，(Y，x_n-1，x_n)ⁱ)＝(1-Y)L_S(z_n-1，n(x_n-1，x_n)ⁱ)+YL_D(z_n-1，n(x_n-1，x_n)ⁱ)

(3)

其中，(Y，x_n-1，x_n)ⁱ代表第i个样本，其包括一个输入对x_n-1，x_n和一个代表这两个输入是否属于同一类别的标签Y，W代表模型参数，L_S代表当这两个输入属于同一类别时的损失函数，L_D代表不同类别时的损失函数；

S14、使用sigmoid函数对标量集合进行归一化，得到一个对角线为零的上三角对比矩阵；

S15、利用广度优先搜索算法对对比矩阵进行聚类，得到关键视频片段。

4.根据权利要求1所述的基于视频生成毫米波雷达数据的方法，其特征在于，步骤S2中利用人体区域索引算法实现人体网格数据和人体位置信息的一对一匹配的具体过程为：

S21、对输入的视频帧使用目标检测模型识别出每个人体边界框，并从第一帧视频开始，为每个出现的人体边界框分配一个唯一的索引；

S22、在每一个即将到来的帧F_i中，计算第F_i帧与第F_i-1帧中边界框的位置偏移和区域偏移，以此将第F_i帧中的每一个边界框与之前分配的相应索引相匹配；如果第F_i帧中出现了一个之前没有见过的目标，那么将给该目标自动分配一个新的索引；

S23、根据索引顺序输出第F_i帧中的所有人体边界框。