[发明专利]一种基于卷积神经网络和时间序列图的司机行为识别方法

说明书

一种基于卷积神经网络和时间序列图的司机行为识别方法：采集司机驾驶视频，建立司机行为数据集；基于司机行为数据集，采用卷积神经网络方法，通过网络训练获得司机行为识别模型；采集司机的实时工作视频并按照预设的帧率提取出连续的多帧图像，将多帧图像输入所述司机行为识别模型，识别每帧图像中司机行为所属类别；绘制司机行为时间序列图；通过时间序列图获得视频中司机每类行为出现次数以及持续时长，并判断司机行为是否规范；依据时间序列图得到视频中车辆的运行状态。此发明准确判断司机驾驶过程中的几类行为，基于模型的识别结果绘制时间序列图能评价司机行为是否规范，并分析车辆的运行状态，提高分析的效率，提高行车安全。

技术领域

本发明涉及轨道交通安全领域。

背景技术

在中国经济高速发展的今天，人们对出行的要求越来越高，给城市交通带来了巨大的压力。而城市交通运营规模不断扩大。在城市交通车辆的安全运营的环节中，司机安全作业是其中关键的一部分，它直接关系到乘客的安全问题。然而，司机在运营过程中存在着许多安全隐患。如司机的业务水平、心理素质及身体素质，或者设备的不可靠状态都将会给乘客带来重大安全问题。

目前，在主要城市的车辆上都配有视频监控设备，此设备将监控司机的视频数据存入到该装置的存储器内，然后再将存储数据下载到地面设备，进行后期人工处理分析，但这种人工分析监控录像的方式需要大量的地面视频数据分析人员和设备，劳动强度大，耗费人力物力且效率低，并且缺乏对司机行为实时预警处理，不能对司机在机车行为过程中不当行为进行提醒，交通运营管理部门的实际要求无法满足。

随着人工智能的发展，深度学习在图像识别和特征提取方面显示了突出的能力。深度神经网络算法的成熟也使得它在交通领域的应用研究受到了越来越多的关注。深度神经网络是由神经元组成，它们可以学习基于逐步分层抽象的复杂模型。并充分发挥了神经网络的自学习能力，通过训练不断更新权重，以原始数据作为算法输入，通过算法将其逐层抽象为所需要的特征表示，它避免了人工选择特征，比传统的行为识别方法具有更好的识别效果。

为解决上述缺陷，许多研究学者运用传统的图像处理技术手工提取特征，这涉及到繁琐的特征提取和参数调整过程。另外一些学者考虑将深度学习运用到司机行为识别中，但图像的二维特征往往不能很好的表达视频的三维特征。

发明内容

本发明提供了一种基于卷积神经网络和时间序列图的司机行为识别方法。

目的一，能准确识别司机驾驶过程中的几类行为；

目的二，评价司机行为是否规范；

目的三，分析车辆的运行状态。

为了实现上述目的，本发明提供了一种基于卷积神经网络和时间序列图的司机行为识别方法，包括：

(1)：采集司机驾驶视频，对视频进行帧图像提取，建立包含多类司机行为的司机行为数据集；

(2)：基于所述司机行为数据集，采用卷积神经网络方法，通过训练获得司机行为识别模型；

(3)：采集司机的实时工作视频并按照预设的帧率提取出连续的多帧图像，将多帧图像输入所述司机行为识别模型，识别每帧图像中司机行为所属类别。

本发明还包括司机行为是否规范评价步骤，具体包括；(4)：以所述帧图像的帧数为横坐标，每帧图像中司机行为所属类别为纵坐标，绘制司机行为时间序列图；(5)：通过时间序列图获得视频中司机每类行为出现次数以及持续时长，并判断司机行为是否规范。

本发明还包括运行状态分析步骤(6)：依据时间序列图得到视频中车辆的运行状态。

步骤(1)，数据集的构建包括：

(1a)使用摄像头采集司机的标准工作视频，并在采集过程结束后从所述标准工作视频中按等间隔的方式均匀提取出图像帧；