[发明专利]车库环境下基于视觉与77GHz雷达的目标识别方法

权利要求书

1.车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于包括以下步骤：

1)车库环境下，使用光学图像记录设备和毫米波雷达设备同步采集检测目标的视频数据和雷达数据；

2)对步骤1)采集到的视频数据和雷达数据进行处理；

3)对步骤2)处理后的数据信息展示和预警。

2.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述光学图像记录设备采用每秒拍摄速率为30帧，拍摄分辨率为1920×1080，像素大小为1.14μm，焦距为3.95mm的光学图像记录设备。

3.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述毫米波雷达设备采用77GHz毫米波雷达设备。

4.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述光学图像记录设备和毫米波雷达设备的采集方向一致，且方向应朝向车库中的通道，以确保可采集车库环境中的动态物体。

5.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，在采集过程中，距离光学图像记录设备和毫米波雷达设备前50cm以内的遮挡物存在时间不超过20min。

6.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述检测目标为车库环境下的动态物体，包括行人或车辆。

7.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤2)中，所述对步骤1)采集到的视频数据和雷达数据进行处理的具体方法为：

2.1使用MATLAB编写的77GHz毫米波雷达数据获取程序对车库环境内的数据进行采集，并对雷达数据进行噪点去除、物体聚类以及动态物体轨迹识别处理；

2.2将步骤1)采集的30帧/秒的视频图像数据以5帧为间隔进行图像切割，再对处理后的77GHz毫米波雷达数据与切割后的图像数据进行时间融合、空间融合以及信息融合。

8.如权利要求7所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤2.2中，所述时间融合是为指定光学图像和雷达数据进行配对，若单个光学图像数据与多个雷达数据存在配对关系，则取多个雷达数据的平均值与图像数据进行配对；

所述空间融合主要采用改进后的张正友标定法，引入世界坐标系，将雷达坐标系和摄像机坐标系相结合，实现了雷达数据和光学图像数据的空间融合，做到77GHz毫米波雷达检测的动态物体能与光学图像数据相对应；

所述信息融合主要是将光学图像数据与77GHz毫米波雷达数据相结合；光学图像数据经过深度学习网络的检测，可以向雷达数据处理模块提供动态物体的数量信息；77GHz毫米波雷达数据通过对信息的提取，可以向图像数据处理模块提供动态物体的速度和距离信息。

9.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤3)中，所述对步骤2)处理后的数据信息展示，为了实现光学图像数据和77GHz毫米波雷达数据的融合，利用深度学习中的YOLO v2网络模型对切割后的光学图像数据进行目标检测识别，再与77GHz毫米波雷达数据的目标检测结果进行比对。

10.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤3)中，所述预警是指当信息展示出异常情况时，即车库环境下发生人身财产安全问题时，通过人工查看展示信息、人工查看车库监控系统、设立动态物体监测预警系统的方式对异常情况进行预警，以达到维护车库环境的安全问题。