[发明专利]一种端到端的车辆行为检测方法、系统、设备及存储介质

说明书

本发明提供一种端到端的车辆行为检测方法、系统、设备及存储介质，其中，方法包括：获取采集到的实时视频数据和单帧图像；通过卷积神经网络对单帧图像中的目标对象进行识别并分类；根据目标对象对单帧图像进行感兴趣区域裁剪，获取至少一个目标图像；采用多目标跟踪方法，提取特征数据，根据特征数据对目标图像进行跟踪ID分类，获取ID信息；筛选出目标对象为车辆的目标图像，获取对应连续视频片段，并进行交互聚合操作，获取目标对象的交互关系；结合ID信息、连续视频片段和交互关系对目标对象进行行为检测，输出目标对象的行为信息，并对车辆进行定位。本发明能够提高车辆行为检测的准确性、实时性和泛化能力，且适用范围广。

技术领域

本发明涉及车辆行为检测技术领域，尤其涉及一种端到端的车辆行为检测方法、系统、设备及存储介质。

背景技术

近年来，随着汽车保有量的不断增加，汽车拥堵、交通违法现象频出，如何使用现代科技手段，实现高效准确的车辆行为检测成为了现阶段交通领域的研究热点。其中，由于基于计算机视觉的车辆行为检测方法简单易行，因而在智能安防、交通监控和无人系统摄像头侦查领域得到广泛应用。目前常见的基于图像对固定区域停车违章的检测，包括使用光流法结合目标检测的方式，实现目标有无的判断，但是该方式的使用场景受限，可以检测的车辆行为较为单一。

部分学者使用传统图像处理方法，例如，背景差、光流轨迹跟踪法实现车辆轨迹的识别，但是该方法的准确度不高，泛化能力较差，无法广泛应用于各种场景。还有部分研究结合车道线检测、障碍物，交通标识物检测的方式，结合车辆位置检测，实现车辆行为的判断，该方法复杂度较高，依赖于多种传感器信息的准确性，无法实现端到端的行为检测，在交通标识不明显或天气状况不佳的场景下难以应用的缺点。由于神经网络的发展，有部分学者使用卷积神经网络来预测和识别车辆行为，但是大部分功能倾向于当前某自身车辆的运动状态或者驾驶员的状态，缺乏对交通车辆编队的行为识别的能力。因此，现有技术中缺乏一种适用范围广、且识别精度高泛化能力强的车辆行为检测方法。

发明内容

基于此，有必要针对上述技术问题，提供一种端到端的车辆行为检测方法、系统、设备及存储介质。

一种端到端的车辆行为检测方法，包括以下步骤：获取采集到的实时视频数据，根据所述实时视频数据获取单帧图像；通过卷积神经网络对所述单帧图像中的目标对象进行识别并分类；根据所述目标对象对所述单帧图像进行感兴趣区域裁剪，获取至少一个目标图像；采用多目标跟踪方法，提取所述目标图像中目标对象的特征数据，根据所述特征数据对所述目标图像进行跟踪ID分类，获取ID信息；筛选出目标对象为车辆的目标图像，根据所述目标图像对应的单帧图像，获取连续视频片段，根据所述单帧图像和连续视频片段进行交互聚合，获取目标对象与单帧图像中其余目标对象之间的交互关系；结合所述ID信息、连续视频片段和交互关系对所述目标对象进行行为检测，根据检测结果输出目标对象的行为信息，并对车辆进行定位。

在其中一个实施例中，所述获取采集到的实时视频数据，根据所述实时视频数据获取单帧图像，具体包括：将所述实时视频数据根据秒数进行拆分，获取多个一秒钟的单帧图像；根据所述单帧图像筛选出单帧图像对应的连续视频片段，将所述连续视频片段保存至内存池。

在其中一个实施例中，所述通过卷积神经网络对所述单帧图像中的目标对象进行识别并分类，具体包括：获取若干历史视频数据，并拆分为对应的历史单帧图像，将所述历史单帧图像作为训练集，所述历史单帧图像对应的目标对象作为测试集；基于YOLOV5卷积神经网络构建初始目标检测模型，根据所述训练集和测试集对所述初始目标检测模型进行训练，训练完成后，获取目标检测模型；将所述单帧图像输入所述目标检测模型，输出对应的目标对象；通过分类器对所有单帧图像中的目标对象进行分类，并将单帧图像分类存储。