[发明专利]基于多模态图像融合的俯拍目标检测的方法、设备及介质

说明书

本申请公开了一种基于多模态图像融合的俯拍目标检测的方法、设备及介质，涉及图像识别技术领域。方法包括：获取待检测区域的俯拍彩色图像以及与所述俯拍彩色图像一一对应的深度图像；将所述俯拍彩色图像、对应的所述深度图像进行图像对齐；对对齐后的所述深度图像进行兴趣目标区域过滤，得到第一目标深度图像；将所述俯拍彩色图像融合到对应的所述第一目标深度图像；通过形态学操作以及鬼影消除处理对融合后的所述第一目标深度图像进行背景过滤，得到第二目标深度图像；基于所述第二目标深度图像对应的点云数据和所述俯拍彩色图像进行目标检测，得到若干头肩目标。设备及介质应用上述方法，本申请的实施例能提升目标检测的效果。

技术领域

本申请涉及图像识别技术领域，特别是涉及一种基于多模态图像融合的俯拍目标检测的方法、设备及介质。

背景技术

区域行人统计在安防与监控领域中具有重大意义,在这项技术的发展中，基于垂直俯拍的检测跟踪方式成为越来越受重视的方向。对比其他的视角，俯拍情况可以较大程度的减少遮挡，降低检测的误检与漏检，并且俯拍视角下的行人头肩模型更加稳定，形变与遮挡较少，最大程度还原实际的区域客流情况。通常，基于俯拍视角的目标检测为基于彩色图、深度图或者点云数据之一进行目标检测，但是基于彩色图像而言，虽然处理效率高，但是准确率较低，虽然基于深度图或者点云数据准确率高但是处理效率低，导致目标检测的效果差。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，提出一种基于多模态图像融合的俯拍目标检测的方法、设备及介质，能够提升目标检测的效果。

根据本申请第一方面实施例的一种基于多模态图像融合的俯拍目标检测的方法，所述方法包括：

获取待检测区域的俯拍彩色图像以及与所述俯拍彩色图像一一对应的深度图像；

将所述俯拍彩色图像、对应的所述深度图像进行图像对齐；

对对齐后的所述深度图像进行兴趣目标区域过滤，得到第一目标深度图像；

将所述俯拍彩色图像融合到对应的所述第一目标深度图像；

通过形态学操作以及鬼影消除处理对融合后的所述第一目标深度图像进行背景过滤，得到第二目标深度图像；

基于所述第二目标深度图像对应的点云数据和所述俯拍彩色图像进行目标检测，得到若干头肩目标。

根据本申请第二方面实施例的一种嵌入式设备，所述嵌入式设备包括：

视觉装置，所述视觉装置用于实时获取俯拍彩色图像以及与所述俯拍彩色图像一一对应的深度图像；

嵌入式开发板；

视觉装置与嵌入式开发板通信连接；嵌入式开发板设置有处理器和存储器，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如第一方面任一所述的基于多模态图像融合的俯拍目标检测的方法。

根据本申请第三方面实施例的一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如第一方面任一所述的基于多模态图像融合的俯拍目标检测的方法。

根据本申请第四方面实施例的一种计算机可读存储介质，所述计算机可执行指令用于使计算机执行如应用于第一方面任一所述的基于多模态图像融合的俯拍目标检测的方法。