[发明专利]基于深度学习的被动式非视域图像识别方法及识别装置

说明书

本发明涉及一种基于深度学习的被动式非视域图像识别方法及识别装置，被动式非视域图像识别方法包括：基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集；采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络；采用被动式非视域图像训练集训练第一深度学习识别网络，待算法收敛之后得到用于被动式非视域图像识别的被动式非视域图像识别模型；基于视域图像测试数据集构建用于被动式非视域图像识别模型的被动式非视域测试图像；被动式非视域图像识别模型抽取被动式非视域测试图像进行识别，并获取识别结果。本发明可快速、准确地识别出被动式非视域图像的类别。

技术领域

本发明涉及图像识别领域，尤其涉及一种基于深度学习的被动式非视 域图像识别方法及识别装置。

背景技术

非视域成像(Non-line-of-sight,NLOS)是一种利用散射光来检测障碍物 后或拐角处隐藏物体的技术，在天文探测、太空探索、军事侦查、搜索救 援、自动驾驶汽车、医学成像等领域上都具备潜在的应用价值。根据应用 场景的不同，NLOS成像可以通过重建或识别来实现。NLOS重建的目的是 对隐藏的物体进行视觉成像，而NLOS识别侧重于对隐藏的物体进行分类。

目前，绝大多数NLOS成像技术都需要有源激光照射，如基于LIDAR (雷达)技术的方法，基于光学相干性的方法和基于全息技术的方法。基 于LIDAR技术的NLOS成像方法通过使用条纹相机或雪崩光电二极管单光 子探测器和短脉冲激光器可以进行三维场景重建。然而，基于LIDAR技术 的NLOS成像方法面临着成本高、光子效率低、采集时间长等严重的实际 限制。不同于基于LIDAR技术的NLOS成像方法，基于光学相干性或全息 技术的NLOS成像方法可以用较便宜的硬件实现隐藏物体的形状恢复，但 是其依然面临许多困难。比如：基于光学相干性的方法会受到稀疏的隐藏 物体和小视场的限制；基于全息技术的方法在记录全息图时面临着严重的 实际困难。

NLOS识别可以直接提供隐藏对象的标签。现有的使用激光雷达技术 的主动式NLOS识别技术能够以76.6％的精度识别隐藏在散射介质后的人 体姿态，使用光学相干技术的主动式NLOS识别技术则在MNIST手写数字 数据集上实现了90％的准确率，并在隐藏在拐角处的人体姿态数据集上实 现了78.18％的准确率。

与主动式技术不同，被动式NLOS成像使用隐藏物体的微弱散射光或 热辐射而非探测激光进行成像。由于被动式NLOS成像的硬件系统简便且 具有很好的隐蔽性，它在一些实际场景中非常具有应用价值。然而，被动 式NLOS成像面临着有限的编程控制能力，并且极具挑战性。针对上述问 题，研究者提出了许多不同的解决方法。例如：在非视域成像系统中使用 挡板、热信息或偏振光等来实现角落周围的成像；在非视域成像系统中使 用孔径掩模或深度神经网络对隐藏在散射介质后的图像进行成像。其中， 基于挡板的被动式NLOS重建技术通过求解一个逆向问题来恢复角落周围 的2D场景。但是该方法需要预知实验场景的先验信息，在挡板信息缺失时 只能产生低质量的恢复结果。另外，该方法需要花费几分钟的时间来估计 挡板的位置以及数十秒以上的时间来重建非视域物体，这在实际应用中是 不现实的。目前，已有研究使用深度学习技术对散射介质后的物体进行 NLOS重建，以提高恢复质量。但是当手写数字被同侧超弱激光照亮时， 重建质量较差，而被动式NLOS成像系统中的有用信号通常都极弱。当恢 复质量较差时，人类很难用肉眼识别隐藏的物体。NLOS识别可以避免上 述问题，同时加快成像过程。据我们所知，到目前为止，被动式NLOS识别还没有被探索过。