[发明专利]基于多模态图像融合的俯拍目标检测的方法、设备及介质

权利要求书

1.一种基于多模态图像融合的俯拍目标检测的方法，其特征在于，所述方法包括：

获取待检测区域的俯拍彩色图像以及与所述俯拍彩色图像一一对应的深度图像；

将所述俯拍彩色图像、对应的所述深度图像进行图像对齐；

对对齐后的所述深度图像进行兴趣目标区域过滤，得到第一目标深度图像；

将所述俯拍彩色图像融合到对应的所述第一目标深度图像；

通过形态学操作以及鬼影消除处理对融合后的所述第一目标深度图像进行背景过滤，得到第二目标深度图像；

基于所述第二目标深度图像对应的点云数据和所述俯拍彩色图像进行目标检测，得到若干头肩目标。

2.根据权利要求1所述的方法，其特征在于，所述对对齐后的所述深度图像进行兴趣目标区域过滤，得到第一目标深度图像，包括：

将对齐后的所述深度图像进行影像增强以及图像分割；

将图像分割后的所述深度图像通过边缘特征提取和/或注水算法进行兴趣目标区域过滤，得到第一目标深度图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第二目标深度图像对应的点云数据和所述俯拍彩色图像进行目标检测，得到若干头肩目标，包括：

将所述点云数据进行预处理以及图像分割；

将图像分割后的所述点云数据映射到所述俯拍彩色图像中，得到待检测彩色图像；

基于所述待检测彩色图像进行目标检测，得到若干头肩目标。

4.根据权利要求1所述的方法，其特征在于，所述将所述俯拍彩色图像、对应的所述深度图像进行图像对齐，包括：

计算所述深度图像中每一像素点在深度图像坐标系中的深度坐标；

计算所述深度坐标在世界坐标系中的世界坐标；

将所述世界坐标与所述俯拍彩色图像对应的彩色坐标系的彩色坐标建立关联，以使所述深度坐标与所述彩色坐标一一对应。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

保存当前时刻的若干所述头肩目标的第一外观特征；

根据若干所述头肩目标对应的预测位置，获取当前时刻之前保存的若干第二外观特征；

根据所述第一外观特征与所述第二外观特征的相似度，得到所述头肩目标对应的轨迹数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述轨迹数据，统计预设时间段内的人流数据；

根据所述人流数据，显示区域客流热力图。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述轨迹数据，显示识别的头肩目标对应的运动轨迹；

根据所述运动轨迹，预测预设运动方向的人流数据。

8.基于多模态图像融合的俯拍目标检测的嵌入式设备，其特征在于，所述嵌入式设备包括：

视觉装置，所述视觉装置用于实时获取俯拍彩色图像以及与所述俯拍彩色图像一一对应的深度图像；

嵌入式开发板；

视觉装置与所述嵌入式开发板通信连接；所述嵌入式开发板设置有处理器和存储器，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一所述的基于多模态图像融合的俯拍目标检测的方法。

9.一种电子设备，其特征在于，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一所述的基于多模态图像融合的俯拍目标检测的方法。

10.一种计算机可读存储介质，其特征在于，

所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于多模态图像融合的俯拍目标检测的方法。