[发明专利]一种低能见度环境地下车库视觉盲区安全检测方法

权利要求书

1.一种低能见度环境地下车库视觉盲区安全检测方法，其特征在于：包括如下步骤：

步骤1)通过设置盲区方向的双目摄像机和毫米波雷达，获取多模态观测数据，并对采集到的原始观测数据(视频、雷达信号)进行预处理；

步骤2)构建“可见光-远红外图像跨模态目标检测深度学习模型”，将两种图像的优势进行融合，实现模态互补，实现低能见度环境下的高精度移动目标检测与识别；

步骤3)建立“图像-雷达多源数据融合模型”，将双目摄像机与毫米波雷达的检测结果进行时间和空间上的融合，完成移动目标的识别、定位、测速与跟踪；

步骤4)设计“嵌入式预警信号控制器”，根据目标检测的结果，通过STM32单片机对铺设于转角地面的发光地砖和墙上的LED屏幕对对驾驶员进行有效的立体式预警。

2.根据权利要求1所述的一种低能见度环境地下车库视觉盲区安全检测方法，其特征在于：所述步骤1中，通过设置盲区方向的双目摄像机和毫米波雷达，获取多模态观测数据，并对采集到的原始观测数据(视频、雷达信号)进行预处理；具体步骤如下：

步骤2-1：利用多模态视频数据制作视觉目标检测训练数据集

首先，将双目摄像头获取到的可见光和远红外两种模态下的视频数据，转换成可见光-远红外成对的图像序列，再利用矩形框在成对的图像序列中，分别标注出可见光和远红外图像中的移动目标，并将矩形框所对应的像素坐标(x₀,y₀,w₀,h₀)保存在txt文件中，其中，x₀代表矩形框左上角顶点在图像中的横坐标；y₀代表矩形框左上角顶点在图像中的纵坐标；w₀代表矩形框的宽度；h₀代表矩形框的高度，这样制作完成的视频文件与相对应的目标参数文件被用于视觉目标检测的训练数据；

步骤2-2：设置视觉安全检测范围，消除雷达噪音

针对毫米波雷达所获得的原始观测数据，设置视觉盲区安全检测范围(最大60米)；通过发送串口命令的方式来去除视觉盲区安全检测范围外的干扰噪音，仅保留进入视觉盲区安全检测范围内的移动目标数据，具体步骤过程如下：

步骤2-2-1：查阅雷达协议表，确定设置数据的分辨率(Res)和偏移量(Offset)；

步骤2-2-2：根据雷达ID数据处理公式，计算设定值的二进制数值的十进制值，ID数据处理公式如下：

D₁₀＝D₂×Res+Offset

其中，D₁₀代表十进制设定值；D₂代表二进制数值的十进制值；Res代表分辨率；Offset代表偏移量；

步骤2-2-3：将步骤2-2-2中计算获取的D₂转换为二进制数值，并带入指定的消息字段，获取设置命令代码。

3.根据权利要求1所述的一种低能见度环境地下车库视觉盲区安全检测方法，其特征在于：所述步骤2中，可见光-远红外图像跨模态目标检测深度学习模型的网络架构无缝集成了两个子网：子网A和子网B，子网A有13个卷积层，组织在五个块；子网B具有相同的子网A结构，其主要目标是跨模态迁移中级特征表示，所以13个卷积层产生一个紧凑的特征表征，捕获复杂的RGB与热成像之间的关系，然后将从两个子网络的RoI池化层导出的特征图与concatenation层组合，并应用具有1024个通道的另外的卷积层；由于RoI特征图的大小很小，卷积层的核大小设置为1；然后，两个完全连接的大小为4096的层；最后，使用两个兄弟层，一个在行人和背景类别上输出softmax概率估计，另一个为行人定位提供相关的边界框偏值。