[发明专利]一种基于毫米波图像的物品检测方法、装置及可读介质

权利要求书

1.一种基于毫米波图像的物品检测方法，其特征在于，包括以下步骤：

S1，获取人体正面的毫米波图像和人体背面的毫米波图像，将所述人体正面的毫米波图像和人体背面的毫米波图像输入经训练的主干网络分别提取正面特征和背面特征；

S2，基于注意力机制将所述正面特征和背面特征分别进行交互融合扩充，得到扩充正面特征图像和扩充背面特征图像；

S3，将所述扩充正面特征图像和/或扩充背面特征图像输入经训练的基于非同源数据的多任务神经网络架构，输出全图物品检测结果和人体骨架检测结果；

S4，基于所述人体骨架检测结果将所述扩充正面特征图像和/或扩充背面特征图像划分成多个特征块，并对每个特征块采用独立的检测头分别进行二次检测，得到二次检测结果，将所述二次检测结果在所述扩充正面特征图像和/或扩充背面特征图像上进行位置映射，得到分块物品检测结果；

S5，将所述分块物品检测结果与所述全图物品检测结果进行非极大值抑制，得到最终的物品检测结果。

2.根据权利要求1所述的基于毫米波图像的物品检测方法，其特征在于，所述主干网络采用swin-transformer结构。

3.根据权利要求1所述的基于毫米波图像的物品检测方法，其特征在于，所述步骤S2具体包括：

将由所述正面特征生成的查询向量与由背面特征生成的键向量进行相似度比对，再经softmax操作生成第一注意力矩阵，并将所述第一注意力矩阵对所述背面特征的值向量进行采用，将采样后的背面特征进行翻转并与所述正面特征进行拼接，得到扩充正面特征图像；

将由所述背面特征生成的查询向量与由正面特征生成的键向量进行相似度比对，再经softmax操作生成第二注意力矩阵，并将所述第二注意力矩阵对所述正面特征的值向量进行采样，将采样后的正面特征进行翻转并与所述背面特征进行拼接，得到扩充背面特征图像。

4.根据权利要求1所述的基于毫米波图像的物品检测方法，其特征在于，所述基于非同源数据的多任务神经网络架构包括分别对应于物品检测任务、人体骨架检测任务和其它视觉任务的任务头。

5.根据权利要求4所述的基于毫米波图像的物品检测方法，其特征在于，所述步骤S3的基于非同源数据的多任务神经网络架构的训练过程具体包括：

通过采样器对非同源数据集进行采样，获取所述非同源数据集中每个样本的任务响应向量，所述任务响应向量对应于所述数据集中物品检测任务、人体骨架检测任务和其它视觉任务的标注情况，并将每个样本的所述任务响应向量进行拼接得到任务响应矩阵；

将所述非同源数据集对应的所述扩充正面特征图像和扩充背面特征图像输入具有多个任务头的基于非同源数据的多任务神经网络架构，经过多个所述任务头分别进行前向传播，生成每个任务头对应的损失值，将所有任务头对应的损失值拼接成损失向量；

将所述任务响应矩阵和损失向量点乘后得到最终的损失，并进行反向传播，直至达到预期效果或满足训练结束条件。

6.根据权利要求1所述的基于毫米波图像的物品检测方法，其特征在于，所述步骤S4具体包括：

S41，根据所述人体骨架检测结果将所述扩充正面特征图像和/或扩充背面特征图像划分成多个区域；

S42，基于每个区域的坐标通过RoIAlign操作对所述扩充正面特征图像和/或扩充背面特征图像进行采样，从而获得多个特征块，并记录每个特征块在所述扩充正面特征图像和/或扩充背面特征图像中的起始位置；

S43，对每个特征块采用独立的检测头进行二次检测，得到每个特征块的二次检测结果；

S44，将所述每个特征块的二次检测结果中的检测框坐标分别加上每个特征块在所述扩充正面特征图像和/或扩充背面特征图像中的起始位置，得到所述分块物品检测结果。

7.根据权利要求6所述的基于毫米波图像的物品检测方法，其特征在于，在所述步骤S43中还包括响应于第一特征块和第二特征块具有对称部位，将所述第二特征块进行翻转后输入所述第一特征块对应的检测头进行二次检测。