[发明专利]一种基于深度学习的厢式货车厢门状态识别装置与系统

权利要求书

1.一种基于深度学习的厢式货车厢门状态识别装置，其包括识别控制器、用户接口单元、声光单元、距离传感单元、图像采集单元和通信接口，

根据距离传感单元对车辆的检测，图像采集单元被触发后对车辆进行多角度图像采集，

识别控制器又包括输入模块、主处理模块、图像预处理模块、图像识别模块、图像融合模块、存储模块和输出模块，且识别控制器被配置为：

在图像识别模块中建立基于yolo-v3-tiny改进网络的货车厢门状态识别的网络模型，

所述网络在原第8层前依次增加卷积核大小为3×3、1×1的两层卷积层，且所述两层卷积层的滤波器个数分别为256、128个；并在两个yolo层之前增加一个共同的共享层，所述共享层将两个yolo层的原输入特征图中各类别输出值经加权平均后作为两个yolo层的输入，

以位于车辆侧后方的侧后相机、位于运输通道上方的俯视相机及侧向的侧视相机所采集的三幅图片融合为一幅样本图片，对所述样本图片进行厢门状态标注后形成训练数据集，

以所述数据集对所述网络模型进行离线训练，获得货车厢门状态识别模型，

在线运行时，所述图像融合模块将侧后相机、俯视相机及侧视相机所采集车辆三幅图片融合成待测图片后输入到图像识别模块，

所述图像识别模块基于所述货车厢门状态识别模型对所述待测图片进行处理后获得货车厢门状态信息，并通过输出模块将所述信息输出。

2.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别装置，其特征在于，所述主处理模块还根据距离传感单元的触发时间差计算货车行驶速度V，当所述速度V大于设定值且所述厢门状态为开时，通过输出模块向车载告警器及声光单元发出告警信号，和/或向道闸控制器发出落闸指令。

3.根据权利要求2所述的一种基于深度学习的厢式货车厢门状态识别装置，其特征在于，所述识别控制器还被配置为，

记录车辆被所述第一、第二检测模块检测到的时间的间隔为△t1，车辆离开所述第一、第二检测模块的时间的间隔为△t2，则所述速度V的计算式为：

其中，L为所述第一、第二检测模块之间的距离。

4.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别装置，其特征在于，所述厢门状态标注包括门闭、门开两个类别输出，所述样本图片及待测图片中，所述三幅图片按倒品字形或品字形方式融合为一幅样本图片且侧视图片占图片约一半的空间，所述侧后相机采集图像时光轴与货厢后端面的夹角取值为15～45度。

5.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别装置，其特征在于，所述厢门状态标注包括左右厢门各自的开闭状态共四个类别输出，所述样本图片及待测图片中，所述三幅图片按倒品字形或品字形方式融合为一幅样本图片且侧视图片占图片约一半的空间，所述侧后相机采集图像时光轴与货厢后端面的夹角取值为15～45度。

6.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别装置，其特征在于，所述图像采集单元包括位于通道侧前方用于拍摄车牌区域图像的车牌相机，其被用来获取车牌图像，

所述训练数据集中还包括标注了车牌框的所述车牌图像样本，在线运行时，经离线训练的所述网络模型对所采集的车牌图像进行识别，获得车牌区域锚框，

所述车牌检测模块首先根据所述锚框区域内可能出现的字符分析构建字符的二值化特征模板库；然后，针对所述锚框区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，再对词组进行辨识，获取车牌号。