[发明专利]一种端到端的车辆行为检测方法、系统、设备及存储介质

权利要求书

1.一种端到端的车辆行为检测方法，其特征在于，包括以下步骤：

获取采集到的实时视频数据，根据所述实时视频数据获取单帧图像；

通过卷积神经网络对所述单帧图像中的目标对象进行识别并分类；

根据所述目标对象对所述单帧图像进行感兴趣区域裁剪，获取至少一个目标图像；

采用多目标跟踪方法，提取所述目标图像中目标对象的特征数据，根据所述特征数据对所述目标图像进行跟踪ID分类，获取ID信息；

筛选出目标对象为车辆的目标图像，根据所述目标图像对应的单帧图像，获取连续视频片段，根据所述单帧图像和连续视频片段进行交互聚合，获取目标对象与单帧图像中其余目标对象之间的交互关系；

结合所述ID信息、连续视频片段和交互关系对所述目标对象进行行为检测，根据检测结果输出目标对象的行为信息，并对车辆进行定位。

2.根据权利要求1所述的一种端到端的车辆行为检测方法，其特征在于，所述获取采集到的实时视频数据，根据所述实时视频数据获取单帧图像，具体包括：

将所述实时视频数据根据秒数进行拆分，获取多个一秒钟的单帧图像；

根据所述单帧图像筛选出单帧图像对应的连续视频片段，将所述连续视频片段保存至内存池。

3.根据权利要求1所述的一种端到端的车辆行为检测方法，其特征在于，所述通过卷积神经网络对所述单帧图像中的目标对象进行识别并分类，具体包括：

获取若干历史视频数据，并拆分为对应的历史单帧图像，将所述历史单帧图像作为训练集，所述历史单帧图像对应的目标对象作为测试集；

基于YOLOV5卷积神经网络构建初始目标检测模型，根据所述训练集和测试集对所述初始目标检测模型进行训练，训练完成后，获取目标检测模型；

将所述单帧图像输入所述目标检测模型，输出对应的目标对象；

通过分类器对所有单帧图像中的目标对象进行分类，并将单帧图像分类存储。

4.根据权利要求1所述的一种端到端的车辆行为检测方法，其特征在于，所述采用多目标跟踪方法，提取所述目标图像中目标对象的特征数据，根据所述特征数据对所述目标图像进行跟踪ID分类，获取ID信息，具体包括：

根据所述特征数据对所有目标图像进行分类，筛选出存在相同目标对象的目标图像，对目标图像存储相同的ID标记，获取对应的ID信息；

根据所述ID标记对所有目标图像进行分类，分类后的目标图像具有目标对象的行为特征。

5.根据权利要求4所述的一种端到端的车辆行为检测方法，其特征在于，所述筛选出目标对象为车辆的目标图像，根据所述目标图像对应的单帧图像，获取连续视频片段，根据所述单帧图像和连续视频片段获取目标对象与单帧图像中其余目标对象之间的交互关系，具体包括：

在单帧图像中选定一个车辆作为目标车辆对象，根据目标车辆对象筛选出对应的目标图像和单帧图像，根据目标车辆对象对应的单帧图像，获取单帧图像对应的连续视频片段；

通过两个通道路径对所述连续视频片段进行采样，分析所述连续视频片段中的静态内容和动态内容；

根据所述静态内容和动态内容，确定单帧图像中是否只存在一个目标车辆对象；

若是，则根据单帧图像对应的连续视频片段和目标图像，进行交互聚合，获取目标车辆对象与其余目标对象之间的交互关系；

若否，则根据所述单帧图像对应的连续视频片段和目标图像，进行交互聚合，获取目标车辆对象与其余车辆目标对象之间的交互关系。

6.根据权利要求4所述的一种端到端的车辆行为检测方法，其特征在于，所述结合所述ID信息、连续视频片段和交互关系对所述目标对象进行行为检测，根据检测结果输出目标对象的行为信息，并对车辆进行定位，具体包括：

根据所述交互关系、连续视频片段和ID信息，对当前ID标记的目标车辆对象的行为进行检测，获取检测结果；

根据所述检测结果获取目标车辆对象的像素位置、ID标记和车辆行为类别；

结合获取实时视频数据的无人机高度、摄像头的角度和焦距，获取目标车辆对象的定位信息。