[发明专利]一种基于视频的车辆特征提取与匹配方法

摘要

本发明公开了一种基于视频的车辆特征提取与匹配方法，包括如下步骤：读入视频文件；对视频图像进行背景建模；采用背景差法来获取包含运动目标的前景区域；采用获取车辆轮廓的方法来进行车辆检测；提取车辆图像的pHash特征；提取车辆图像ISIFT特征；结合pHash算法和ISIFT算法，并通过BBF搜索算法和RANSAC算法来筛选ISIFT特征匹配点，从而实现车辆匹配。本发明能够基于视频实现车辆检测、车辆特征信息提取、车辆匹配功能，检测出车辆的车辆轮廓非常精准，车辆信息特征提取准确，运算速度快，满足实时性要求，成本低廉，还能够检测不同方向行驶的车辆，适用范围广。

主权项

1.一种基于视频的车辆特征提取与匹配方法，其特征在于，包括如下步骤：步骤1：读入视频文件：从交通卡口摄像头中读入视频文件，并取一帧大小的彩色图像，记为G，彩色图像的宽度和高度分别为W和H；步骤2：对视频图像进行背景建模，保证背景精确稳定及实时性：如果图像G对应于视频文件的第一帧图像，则进行背景模型的初始化，否则，进行背景模型的更新；背景模型的初始化过程为：通过间隔采样多帧图像，求取多帧图像的平均值作为视频背景图片；首先将彩色图像进行RGB三通道分离，分别用8位二进制数字表示，R、G、B三通道的像素值范围均为0～255，对三个通道分别每隔p帧进行一次采样，p为常数，进行N次采样后将所得到的N帧图像求取平均值；Sum0(x，y)由背景初始化得到，表示积累N帧图像在(x，y)处像素值总和，则Sum0(x，y)具体表示为其中，Grpi(x，y)、Ggpi(x，y)、Gbpi(x，y)分别表示在R、G、B三通道上，第p×i帧图像在(x，y)处的像素值，其中p表示每隔p帧进行一次采样，N表示参与背景初始化的总帧数；B0(x，y)表示初始化背景图像在(x，y)处像素值，则B0(x，y)具体表示为B0(x，y)＝Sum0/N背景模型的更新过程为：Sumt(x，y)表示以第t帧为中心积累的N帧在(x，y)处像素值总和，则Sumt(x，y)具体表示为Bt(x，y)表示第t帧在(x，y)处的背景像素值，则Bt(x，y)具体表示为Bt(x，y)＝Sumt(x，y)/N步骤3：采用背景差法来获取包含运动目标的前景区域：首先手动标示出检测区域，将非检测区域过滤以减少干扰；然后将当前帧图像和背景图像转换为8位的灰度图像，再进行差分运算，从而获得灰度前景图像；其中Gt(x，y)、Bt(x，y)分别表示第t帧视频图像、背景图像在(x，y)处的像素值，Grayt(x，y)、Bgt(x，y)分别表示经过灰度化后第t帧视频图像、背景图像在(x，y)处的灰度值；则灰度前景图像Fgt(x，y)具体表示为：Fgt(x，y)＝|Grayt(x，y)‑Bgt(x，y)|其中，Fgt(x，y)表示第t帧前景图像在(x，y)处的灰度值；步骤4：车辆检测：采用获取车辆轮廓的方法来进行车辆检测，具体流程为：步骤4.1：二值化前景图像Fgt(x，y)，得到二值化后的前景图像Tt(x，y)，则Tt(x，y)具体表示为其中T表示阈值；如果Fgt(x，y)的值大于等于设定的阈值T，则将该点设置为前景点，否则为背景点；步骤4.2：对二值图像进行形态学变换，对二值前景图像Tt(x，y)进行闭运算；步骤4.3：采用Freeman链码跟踪方法提取二值前景图像里前景区域的轮廓，同时剔除明显不是轮廓的点；然后采用Graham扫描法获取前景轮廓的凸包，并以前景凸包作为车辆轮廓，最终得到车辆轮廓；步骤4.4：进行车辆检测：首先定义一个记录表，用来保存最近检测出来的车辆的各种信息，并且不断删除过期信息；采用每隔N帧进行一次检测的方法，并对每一次检测出来的每一辆车进行逐一处理；针对任意一辆车，需要和记录中所有车辆进行比对，根据区域重叠情况以及中心距离判断记录中是否已经包含车辆；如果记录中包含车辆，即更新记录中车辆的位置、时间、路径等信息，反之则将新车加入记录；当在较短时间内，车辆被检测出来超过一定次数，并且在视频中车辆的相对位置适中，即可以提取车辆的信息并进行数据库录入操作；步骤5：提取车辆图像的pHash特征：pHash算法将每一张图像生成指纹信息，然后比较不同图片之间的指纹，距离越近代表两张图片越相似，其中图像压缩后和原图像的汉明距离很小，相同图片之间的汉明距离为零；步骤6：提取车辆图像ISIFT特征，具体流程为：步骤6.1：尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；首先使用高斯金字塔每组中相邻上下两层图像相减，得到高斯差分图像；关键点由高斯差分空间的局部极值点组成，第一步就是求出DOG空间的局部极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小；然后排除边缘效应以及效应较弱的点；步骤6.2：关键点的定位和方向：确定关键点的位置和尺度，并且基于梯度方向确定关键点的方向；首先通过子像素插值法精确得到了关键点的位置；对尺度空间DoG函数利用taylor展开式进行曲线拟合，剔除不稳定的边缘响应点；通过获取特征点处的Hessian矩阵来计算主曲率，从而剔除掉不稳定的边缘响应点；对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征；对于二维图像，定义梯度的模值m(x，y)和方向θ(x，y)如下：L所用的尺度表示各关键点所在的尺度，统计关键点邻域范围内的像素的梯度和方向，具体计算模值m(x，y)时采用高斯分布加权，距离关键点中心越近权值越大；在计算关键点区域内各像素的角度和模数后，使用直方图统计邻域内像素的梯度和方向；梯度直方图将0～360度的方向范围分为36个柱(bins)，其中每柱10度；直方图的主峰将是关键点的主要方向；80％以上的主峰作为辅助方向保留下来；步骤6.3：为每一个关键点建立一个描述符，用一组向量来描述关键点：首先，确定关键点邻域范围，将范围内坐标轴进行旋转，使得x轴和关键点主方向一致；对于邻域内像素点的坐标，经过旋转满足下述公式：对于旋转后的图像，通常将其分为d×d的区域，计算每一个区域中的梯度模值和方向，将梯度分配到8个方向上；当d取4时，特征向量总共有128维，每个子区域梯度方向按0～360°分成8份，每份45°；将关键点主方向位于y轴左侧的全部“翻转”到右侧，只统计主方向位于y轴右侧的关键点；对图像所有关键点和翻转后的关键点计算ISIFT特征d’，满足下述公式：d′＝d，cosθ≥0其中θ表示关键点主方向的角度，d表示原图像和翻转图像的SIFT特征，d’表示改进后的ISIFT特征，即新特征ISIFT只保留主方向位于y轴右侧关键点的特征；步骤7：进行车辆匹配：将ISIFT算法和pHash算法结合，首先采用pHash特征进行暴力匹配，在图片库中查找最相似图片，当检索图片和相似图片之间的汉明距离小于阈值，就视为匹配完成，当最小汉明距离大于阈值，则采用ISIFT算法进行精确匹配，同时结合BBF搜索算法和RANSAC算法；具体流程为：步骤7.1：采用pHash特征进行暴力匹配，在图片库中查找最相似图片，当检索图片和相似图片之间的汉明距离小于阈值，就视为匹配完成，否则进入步骤7.2；步骤7.2：采用ISIFT算法进行精确匹配，并通过BBF搜索算法和RANSAC算法来筛选ISIFT特征匹配点：步骤7.2.1：BBF搜索算法：BBF是一种改进k‑d树最近邻查询算法，为了消除部分错误匹配点，取K＝2，寻找特征点的最近邻和次近邻匹配点；假设128维向量和最近邻特征的距离为d1，和次近邻的距离为d2，计算d1和d2的比值，当不满足下式时剔除该匹配；其中，ratio是一个常量，在0和1之间；步骤7.2.2：RANSAC算法：采用随机抽样一致性算法RANSAC进一步筛选SIFT特征匹配；RANSAC算法输入一组观测参数，往往包含一组“外点”，采用迭代的方式，寻找最佳参数模型，符合该参数模型的点即为“内点”，其余被定义为“外点”；RANSAC算法认为两个不同视角图像上的点对可以用射影变化表示，即X1＝HX2，即下式：其中s表示尺度(x，y)和(x′，y′)分别表示左边和右边的坐标；寻找最佳的单应性矩阵H，H为3×3的矩阵，总共需要4组不共线的即可解出矩阵H；RANSAC算法从数据集中计算出单应性矩阵H，然后利用模型测试所有数据，使得下式中D值最小：