[发明专利]一种可定位的大型车辆运行管理系统及其运行方法

摘要

本发明涉及一种可定位的大型车辆运行管理系统及其运行方法，包括通信定位系统及视频图像处理系统，通信定位系统对车辆进行实时定位，获取车辆的位置信息，视频图像处理系统对多路摄像头拍摄的图像进行全景拼接，并通过通信定位系统将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台，位置信息包括：经度坐标、纬度坐标。本发明对多路摄像头拍摄的图像进行全景拼接，消除了视觉盲区。本发明在实时定位车辆的同时，周期性上传多路摄像头拍摄的图像至后台管理平台，更好的实现车辆运行中的管理工作，实用性较强，同时所需硬件成本较低，易于实现，适合大规模推广。

主权项

1.一种可定位的大型车辆运行管理系统的运行方法，其特征在于，包括通信定位系统及视频图像处理系统，所述通信定位系统对车辆进行实时定位，获取车辆的位置信息，所述视频图像处理系统对多路摄像头拍摄的图像进行全景拼接后，并通过通信定位系统将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台，所述位置信息包括：经度坐标、纬度坐标；所述通信定位系统包括主控MCU及分别与所述主控MCU连接的北斗定位模块、3G/4G通信模块；所述北斗定位模块用于实时获取车辆的位置信息，所述3G/4G通信模块用于将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台；所述视频图像处理系统包括FPGA视频控制器及与所述FPGA视频控制器分别连接的显示屏、存储模块、多路摄像头及语音警示模块，所述FPGA视频控制器通过VGA/HDMI接口连接所述显示屏，所述FPGA视频控制器通过协议报文与所述主控MCU交互信息；具体步骤包括：所述北斗定位模块实时获取车辆的位置信息，同时，当车辆行驶速度低于V时，所述多路摄像头周期性拍摄图像，否则，所述多路摄像头实时进行视频摄像，实时获取的视频经FPGA视频控制器全景拼接处理后输出至显示屏，供驾驶员实时监控车辆内情况；所述FPGA视频控制器还对所述多路摄像头拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别，检测出有障碍物离车辆距离小于1.5‑2m时，所述语音警示模块发出警示音；经过所述FPGA视频控制器处理后的所述多路摄像头拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块周期性上传至后台管理平台；所述全景拼接，具体步骤包括：(1)图像预处理：对图像依次进行图像去噪、几何校正处理；对失真的图像进行几何校正，把存在几何失真的图像校正为无几何失真的图像；(2)图像配准；A、SIFT特征提取a、构造高斯差分尺度空间DOG,检测尺度空间极值点：利用不同尺度的高斯差分与图像进行卷积，构成高斯差分尺度空间DOG，如式(Ⅰ)所示：D(x,y,σ)＝(G(x,y,kσ)‑G(x,y,σ))*I(x,y)＝L(x,y,kσ)‑L(x,y,σ)            (Ⅰ)式(Ⅰ)中，σ是指图像中任一像素点的尺度坐标，(x,y)是指图像中任一像素点的空间坐标，L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间；D(x，y，σ)为尺度空间函数，G(x，y，kσ)为尺度可变高斯函数，k为相邻两个尺度空间倍数的常数；I(x，y)是指原始图像；检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点，将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较；b、极值点精确定位通过拟合三维二次函数精确定位极值点的位置和尺度，同时去除低对比度的点和不稳定的边缘相应点，通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点：式(Ⅱ)、式(Ⅲ)中，H为Hessian矩阵，r为控制特征值大小的参数，Dxx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果；Dyy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果；Dxy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果；stability是指稳定值；c、分配关键点方向为使得SIFT特征点具备局部旋转不变性，利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数，关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示：式(Ⅳ)、式(Ⅴ)中，m(x,y)是指梯度幅度，θ(x,y)是指梯度方向；d、生成特征点描述符首先，将坐标轴旋转为关键点方向，然后，将以关键点为中心取的窗口均匀的分为16个小块，在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值，形成一个种子点，则每个种子点含8个方向的信息向量，一个特征点用16个种子点描述；B、特征点匹配对需要拼接的图像，按照步骤A所述的SIFT特征提取，分别得到需要拼接的图像的特征点集，记为：P＝{pj＝(pj1,pj2)T|j＝1,2,…m}Q＝{qj＝(qj1,qj2)T|j＝1,2,…m}P是指需要拼接的图像一的特征点集；Q是指需要拼接的图像二的特征点集；则集合P和Q之间由仿射变换(A,t)关联；A是旋转变量，t是平移变量；定义匹配矩阵M,其元素mjk满足如下条件：如果点pj对应于qk，则mjk＝1；否则，mjk＝0；求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优，求取公式如式(Ⅵ)所示：约束条件：1)2)g(A)＝γ(a2+b2+c2)式(Ⅵ)中，t是平移变量，A被分解成如下形式：A＝s(a)R(θ)Sh₁(b)Sh₂(c),其中R(θ)是标准的旋转矩阵，a是匹配误差的阈值，按照不同的匹配要求确定，E(M,t,A)为目标函数；式(Ⅵ)中，对匹配矩阵M的行和列约束不等式，通过引入松弛变量，将不等式约束转化为等式约束，如式(Ⅶ)所示：引入阻尼项其中T是控制模拟温度，将匹配矩阵的等式约束式和阻尼项加到目标函数式中，得到新的特征匹配问题的目标函数，如式(Ⅷ)所示：式(Ⅷ)中，mjk是匹配矩阵M的元素，E(M,t,A)为目标函数，μj和νk是Lagrange因子，通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数；(3)图像融合利用加权平均法进行图像融合，即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到，如式(Ⅸ)所示：式(Ⅸ)中，d1、d2为渐变因子，设定f1和f2重叠区域的最大宽度为dmax，如式(Ⅹ)所示：