[发明专利]一种基于图像深度学习系统的货运车辆状态实时识别方法

权利要求书

1.一种基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于：

所述的图像深度学习系统包括：道路监控摄像头、计算处理主机、显示屏；

所述的道路监控摄像头、计算处理主机、显示屏依次连接；

所述道路监控摄像头用于采集货运车辆的初始图像，并传输至所述计算处理主机；

所述计算处理主机，用于对货运车辆的初始图像进行货运车辆状态识别，得到货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态；

所述显示屏用于显示货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态；

所述货运车辆状态实时识别方法包括以下步骤：

步骤1：引入货运车辆的图像数据集，人工标注货运车辆的图像数据集中货车外接矩形边框，并进一步人工标记货车状态，构建深度学习模型训练集；

步骤2：引入YOLOv3深度学习网络，构建深度学习网络损失函数模型，将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练，得到训练后YOLOv3深度学习网络；

步骤3：通过道路监控摄像头实时采集初始图像并传输至计算处理主机；

步骤4：将初始图像通过混合高斯模型提取背景图像，将初始图像进行灰度化得到灰度图像，将灰度图像与背景图像作差得到前景图像；

步骤5：对前景图像作数字图像处理，提取前景图像中运动目标区域像素点的外接矩形，根据前景图像中运动目标区域像素点的外接矩形，将前景图像中运动目标区域像素点的外接矩形外的像素信息置零以构建识别图像；

步骤6：将识别图像通过训练后YOLOv3深度学习网络进行预测，得到识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态，将识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态通过显示屏输出显示。

2.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：

步骤1所述货运车辆的图像训练集为：

{data_k(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}

其中，data_k(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，K表示货运车辆的图像训练集中图像的数量，X为货运车辆的图像训练集中货运车辆图像的行数，Y为货运车辆的图像训练集中货运车辆图像的列数；

步骤1所述货运车辆图像训练集中货车外接矩形边框坐标为：

其中，表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框左上角坐标，表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角横坐标，表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角纵坐标；表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框右下角坐标，表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角横坐标，表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角纵坐标；N_k表示货运车辆图像训练集中第k幅货运车辆图像中货运车辆目标的数量即货车外接矩形边框的数量；

步骤1所述货运车辆图像训练集中货车状态为：

type_s，s∈[1，4]

其中，type₁表示货车空箱，type₂表示货车封箱，type₃表示货车载货，type₄表示货车不完整；

步骤1所述深度学习模型图像训练集为：

其中，data_k(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，type_k，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型；

表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上横坐标，表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上角纵坐标，表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角横坐标，表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角纵坐标，type_k，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型。