[发明专利]基于DCNN目标识别的车辆鸣笛监测方法及系统

说明书

一种基于DCNN目标识别的车辆鸣笛监测方法及系统，包括：控制单元、麦克风阵列和高清图像采集处理装置，其中：麦克风阵列和高清图像采集处理装置分别实时采集鸣笛声信号、视频流和静态图像并输出至控制单元，控制单元根据鸣笛声信号采用波束成型算法得到声压云图并与视频流进行叠加，得到带有声压覆盖范围的视频流，并根据静态图像提取出其中所有目标的感兴趣区域；最后根据声压覆盖范围和感兴趣区域进行重叠率计算，并进一步提取出目标中的号牌信息；本发明高效可靠，能有效防止误判。

技术领域

本发明涉及的是一种智能交通管理领域的技术，具体是一种基于深度卷积神经网络(DCNN)目标识别的车辆鸣笛监测方法及系统。

背景技术

目前基于麦克风阵列声源定位技术的机动车辆鸣笛抓拍取证系统，多为基于4*4结构的16模拟麦克风阵列系统辅以单张图片形式捕获，但此系统存在种种不足：麦克风阵列与光学摄像机需要分离安装，两者需要间隔20米，实际使用需要新立电警专用横杆导致部署、维护比较困难；单张的静态图片虽然可以反映违法车辆的外观及牌号，但无法反映违法过程的行为模式，容易受到违法驾驶员的质疑；最重要的一点，现有技术仅依赖于声学定位，由此限制了这些技术仅凭借鸣笛声音的时频特征，无法有效区别助动车、摩托车和普通机动车；并且由于声音存在有反射、绕射等现象，且道路环境复杂，时刻都在变化，麦克风阵列对声音定位的结果容易产生偏离，在车辆聚集的情况，尤其例如首尾相连的两辆以上机动车时极容易产生误判的情况。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于深度卷积神经网络目标识别的车辆鸣笛监测方法及系统，融合麦克风阵列对鸣笛声的定位结果及深度卷积神经网络对图像中各类目标的分析、定位结果，由计算机AI智能判定实际鸣笛车辆，并给出其车牌、叠加声压云图的非法过程视频，形成证据链，可以将现有系统的准确率进一步提高。

本发明是通过以下技术方案实现的：

本发明涉及一种基于深度卷积神经网络目标识别的车辆鸣笛监测方法，通过实时鸣笛识别监测得到鸣笛发生时刻的声压云图，并在该时刻同步采集低解析度的视频流以及高解析度的静态图像；然后分别将声压云图与视频流叠加处理、采用深度卷积神经网络对静态图像进行识别并获得其中所有对象的感兴趣区域(Region Of Interest，简称ROI)；再通过低解析度视频-高解析度图像之间的单帧配准处理得到图像坐标投影关系，得到投影到静态图像上的声压覆盖范围；最后通过比对感兴趣区域和声压覆盖范围，以重叠率最高的对象判定为鸣笛对象。

所述的单帧配准处理是指：控制单元运行配准程序，配准程序自动采集同一时刻来自低分辨率摄像头和高清摄像头的两帧图像，进行配准，得到两帧图像中至少五个特征匹配控制点，计算出从低分辨率摄像头到高清摄像头的坐标投影关系。

所述的同一时刻的时间差不超过40ms。

所述的声压云图，通过对麦克风阵列采集的声信号进行实时鸣笛识别，当判定鸣笛发生，则采用波束成型算法(Beamforming)进行实时声源定位，生成包含鸣笛声源坐标的声压云图。

所述的高解析度的静态图像，采用但不限于高清图像采集处理装置经触发拍摄的图像，或从高清视频流中根据触发信号提取得到的单帧图像。

所述的感兴趣区域，通过预先训练好的深度卷积神经网络算法识别画面中的移动目标的类型，并给出各移动目标在画面中的感兴趣区域(ROI)；优选当目标为机动车辆时进一步识别其车牌信息。

本发明涉及一种基于深度卷积神经网络(DCNN)目标识别的车辆鸣笛取证系统，包括：控制单元、麦克风阵列和高清图像采集处理装置，其中：麦克风阵列和高清图像采集处理装置分别实时采集鸣笛声信号、视频流和静态图像并输出至控制单元，控制单元根据鸣笛声信号采用波束成型算法得到声压云图并与视频流进行叠加，得到带有声压覆盖范围的视频流，并根据静态图像提取出其中所有目标的感兴趣区域；最后根据声压覆盖范围和感兴趣区域进行重叠率计算，并进一步提取出目标中的号牌信息。