[发明专利]基于多任务深度学习的修正局部敏感哈希车辆检索方法

说明书

一种基于多任务深度学习的修正局部敏感哈希车辆检索方法，采用多任务端到端的卷积神经网络分段并行对车辆车型、车系、车标、颜色、车牌同时进行识别，基于特征金字塔提取车辆图像实例特征的网络模块，利用修正局部敏感哈希排序算法对数据库中车辆特征进行排序的算法，在无法获取检索车辆图像的跨模态文本检索方法。本发明提出了一种多任务端到端的卷积神经网络和修正局部敏感哈希车辆检索方法，有效提高车辆检索的自动化和智能化水平，且用较少的存储空间，较快的检索速度来满足大数据时代的图像检索要求。

技术领域

本发明涉及计算机视觉、模式识别、信息检索、多任务学习、相似度测量、深度自编码卷积神经网络和深度学习技术在图像检索领域的应用，尤其涉及一种基于多任务深度学习的修正局部敏感哈希车辆检索方法。

背景技术

随着社会经济的快速发展，机动车在日益成为人们日常生活必不可少交通工具的同时，也成为犯罪分子和恐怖分子从事非法活动的必须工具。各省、市际高速公路和主干线、城市出入口及主要交通要道均部署了卡口设备，对过往车辆进行信息的采集，但当前的卡口一般都是基于车牌识别技术，嫌疑车辆一旦使用假牌、套牌、无牌以及不断更换车牌的方式，便可逃避现有卡口对其的跟踪和识别。

基于图像的车辆特征识别涉及图像处理、模式识别、计算机视觉等相关技术领域，目前国内外对于该技术的研究大致上可以分为三个方向：(1)基于牌照的车型识别，该方法仅从图像中识别出牌照信息，并没有直接分析获得车辆的类型，分类粒度粗，且对于套牌车辆更是无法辨别；(2)基于车标的车型识别，在实际应用中，由于车标过小、光线、遮挡等客观因素的存在，无法达到理想的效果； (3)基于外观特征的车型识别，该技术相比前两种方法具有较好的鲁棒性，识别的类型也更加的细化，可以精确到车辆的品牌、系列、型号、年款等。

基于外观特征的车辆特征识别技术主要通过以下三个步骤来完成：车辆分割、车辆的特征提取和车辆的分类。传统车型识别的方法主要有：模板匹配法、统计模式识别法、神经网络识别方法、仿生模式(拓扑模式)的识别方法和支持向量机的方法。但是这些方法都存在各自的缺陷，无法同时满足车型分类的速度与准确度两个最重要的指标。然而，影响这两个指标最重要的因素就是提取的车辆特征和迅速地将车辆进行定位，所以特征提取及目标快速定位是整个识别过程的关键。车辆特征的提取受到诸多因素的影响，如车辆种类多但是没有明显的区别特征、车辆的移动以及摄像机的高度和角度导致车型的特征差别大、天气的影响，光照的影响等。

深度学习技术的发展，推动了图片结构化和特征提取的能力。早期建设的卡口系统，智能分析能力弱，图片质量以及车牌识别准确率较低，经常要根据品牌型号颜色等车辆自身固有信息，从海量过车图片或视频中，人工查找目标车辆，由于一线警力有限、劳动强度大、车型种类多、光线角度不确定等因素，无法保证查找的准确性和时效性，特别是突发紧急事件，经常贻误最佳处理时机。通过使用车辆特征深度学习系统，对前端卡口或简易卡口获取的过车图片进行特征结构化分析识别，充分挖掘海量的卡口过车图片中有价值信息，不但可以提高车牌车型的准确率，而且增加了车辆特征的识别信息，实现了车辆子品牌、车身颜色、不系安全带、驾驶员接打电话、遮阳板状态等识别检测功能，对过车数据进行精细化校正，摆脱了传统单纯依靠车牌进行分析研判的单一手段，为卡口电警数据提供了更加丰富实用的车辆防控应用，可以实现对高危车辆的有效预警防控，优化警力部署进行针对性车辆排查，可以在大量涉车涉驾案件中有效锁定嫌疑车辆，提高刑事侦查效能，使治安防控手段从事后被动侦查向事前主动预警转变。

中国发明专利申请号CN201510744990.4公开发明了一种基于相似度学习的车辆检索方法，给定车辆区域，获得SIFT特征点和描述后，使用聚类算法对SIFT 特征离散化。为了弥补SIFT特征缺少位置信息的缺陷，进一步使用邻域内离散 SIFT特征分布生成邻域特征，作为最终的特征点描述，每一个车辆图片由一批特征来表示，一对相似车辆图片的特征组成一个正样本，一对不同车辆图片的特征组成一个负样本。如此收集大量的正负样本后，利用随机森林方法进行相似度学习，获得分类器可以用来判断两个车辆是否相似，达到相似车辆检索的目的。该技术使用SIFT特征无法充分提取车辆特征。