[发明专利]一种基于毫米波图像的物品检测方法、装置及可读介质

说明书

本发明公开了一种基于毫米波图像的物品检测方法、装置及可读介质，通过获取人体正面和背面的毫米波图像，将人体正面和背面的毫米波图像输入经训练的主干网络分别提取正面特征和背面特征；基于注意力机制将正面特征和背面特征分别进行交互融合扩充，并将得到的扩充正面特征图像和/或扩充背面特征图像输入经训练的基于非同源数据的多任务神经网络架构，输出全图物品检测结果和人体骨架检测结果；基于人体骨架检测结果将图像划分成多个特征块，并对每个特征块采用独立的检测头分别进行检测，得到二次检测结果，再在原图上进行位置映射，得到分块物品检测结果；将分块物品检测结果与全图物品检测结果进行非极大值抑制，得到最终的物品检测结果。

技术领域

本发明计算机视觉及深度学习领域，具体涉及一种基于毫米波图像的物品检测方法、装置及可读介质。

背景技术

毫米波人体成像设备具有对人体无害、穿透力强的特点，其发射功率不及手机电磁波辐射的千分之一，能准确识别人体携带物品，有效提高检查的客观性、准确性、针对性，降低安检员的劳动强度，提升安检效率。

毫米波由于其能穿透衣物又不伤害人体的特性，在现今的智能安检领域中大放异彩。毫米波技术与下游的机器视觉算法结合可以大幅度提高安检流程的效率和可靠性，减少安检过程的人力投入。然而当下的智能安检系统，通常因为违禁品成像不明显、特征挖掘不充分、算法性能不高等问题，导致检测表现差强人意，无法承担安检流程的主要责任，只能作为人工安检的补充手段。

现有技术中的毫米波违禁品检测存在以下问题：

1.单个角度的毫米波扫描中，违禁品的成像通常不够完整，提取出的特征通常也不够丰富，从而导致这部分违禁品的检出率较低。

2.现有的检测方案通常采用一个模型处理一个视觉任务的模式。但当应用场景需要多种任务并行时，多个模型的推理会使算法速度会严重下降，导致算法在一些需要实时的场景无法达到速度要求或者对硬件要求十分苛刻。

3.受制于毫米波成像技术的发展，部分违禁品的成像不够清晰(如密度较低的粉末爆炸物，体积较小的打火机等)。这些违禁品时常与某些背景特征混淆(如绑带、纽扣、肌肉线条、成像噪声等)，从而造成误检或漏检。

4.现有的违禁品检测方法，通常使用卷积神经网络提取特征，这种方法可以很好地获取目标物品的纹理信息，但是缺少对目标局部上下文的语义理解。而事实上，在违禁品检测的场景，这种局部语义理解是很有必要的，因为大部分违禁品周围都会出现口袋、胶带/绑带、衣服褶皱等特征，结合这些特征再进行检测，可以显著的提高准确率。

发明内容

针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于毫米波图像的物品检测方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。

第一方面，本申请的实施例提供了一种基于毫米波图像的物品检测方法，包括以下步骤：

S1，获取人体正面的毫米波图像和人体背面的毫米波图像，将人体正面的毫米波图像和人体背面的毫米波图像输入经训练的主干网络分别提取正面特征和背面特征；

S2，基于注意力机制将正面特征和背面特征分别进行交互融合扩充，得到扩充正面特征图像和扩充背面特征图像；

S3，将扩充正面特征图像和/或扩充背面特征图像输入经训练的基于非同源数据的多任务神经网络架构，输出全图物品检测结果和人体骨架检测结果；

S4，基于人体骨架检测结果将扩充正面特征图像和/或扩充背面特征图像划分成多个特征块，并对每个特征块采用独立的检测头分别进行二次检测，得到二次检测结果，将二次检测结果在扩充正面特征图像和/或扩充背面特征图像上进行位置映射，得到分块物品检测结果；

S5，将分块物品检测结果与全图物品检测结果进行非极大值抑制，得到最终的物品检测结果。