[发明专利]一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法

说明书

本申请提供了一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法，用于提升安检过程的准确率，优化安检图像(太赫兹图像)的质量。该安检系统包括：多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。

技术领域

本发明涉及安检技术领域，并且更具体地涉及一种融合了多种传感器信息的系统和方法，该系统和方法能够提升安检方案的准确率并且改进显示效果。

背景技术

太赫兹成像技术能够用于实现对旅客的非配合、快速、无感安检，已经在海关、民航机场等场景下得到了广泛的应用。但是这项技术目前还存在以下一些缺陷：

1、目前对太赫兹图像中的嫌疑物进行检测和识别的主流方法是深度学习模型，但是深度学习模型的效果非常依赖于训练使用的图像数据。此外，在实际设备上使用的模型都是预先训练好的。但是实际上，设备的使用场景是非常复杂多样的，尤其是训练模型时使用的图像的背景可能会和实际使用设备时采集的图像的背景有非常大的差异。这会导致预先训练好的嫌疑物检测模型在实际使用时识别准确率可能下降很多，即模型的泛化能力不高。

2、通常用于获取太赫兹图像的太赫兹相机都有一定的焦距范围。当人员处于焦距范围内时，获取的太赫兹图像的图像质量好，并且基于该太赫兹图像进行的目标识别的准确率较高。但是，当人员位于焦距范围之外时，获取的太赫兹图像的图像质量会变差，基于该太赫兹图像进行的目标识别的准确率也可能下降。在利用太赫兹相机进行大场景安检时，该太赫兹相机的视场内通常会同时存在成像焦距范围以内和以外的人员。当直接基于这样的大场景的太赫兹图像进行目标识别时，由于存在焦距以外的人员，目标识别的准确率可能下降。

3、由于太赫兹图像是灰度图像，且缺乏细节，基于这种图像很难准确地进行人体部位划分。因此对于检测到的目标，不能准确地提供与该目标藏匿于人体的哪一具体部位有关的信息。

以上这些问题都对太赫兹安检技术的推广带来了挑战。而单独依赖于太赫兹图像的解决方案并未提供很好的效果。因此，本公开采用了将多种不同的传感器信息相融合的方式，利用不同信息间的互补特性来有效地解决单纯的太赫兹安检技术的上述缺陷。

发明内容

为了解决太赫兹安检技术的上述缺陷，本公开提供了一种将多种传感器的信息相融合的安检系统和方法。该系统和方法能够利用不同信息之间的互补特征来提高目标识别的准确率。

在第一方面，本公开提供一种安检系统，包括：

多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；

图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；

图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；

图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及

识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。

在一个实施例中，所述多个传感器模块可以被配置为在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。