[发明专利]智能搬运车视觉导航方法

权利要求书

1.一种智能搬运车视觉导航方法，智能搬运车包括电源模块、控制器、车身、驱动轮，导向轮，舵机、导航定位装置、避障装置，所述车身底部安装四个车轮，两个驱动轮安装于后部，用于驱动搬运车行驶，两个导向轮安装于前部，用于转向；所述电源模块为锂电池，用于提供电能；所述导航定位装置包括2个摄像机和2个舵机，所述舵机布置于车身前部，所述摄像机置于舵机上，舵机带动摄像机旋转；所述避障装置包括激光测距仪、超声波传感器，所述激光测距仪、超声波传感器、摄像机将采集的信号输送至控制器，所述控制器对舵机进行控制；

前景视场分别在左右摄像机上成像，形成左图和右图，其特征在于，智能搬运车视觉导航方法包括以下步骤：

一、采集左右摄像机图像，对摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；

二、对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到的图像进行预处理，包括以下步骤：

①利用景深将图像分为前景与背景区域；

②在景深的基础上，根据物体与背景的梯度信息把物体与背景分割开；

③选择无穷远处与物体非相关性较低的像素点作为背景光估计；

④利用红色逆通道法求出R、G、B三个通道的透射率；

⑤得到背景光与透射率之后，根据式

I^c(x)＝J^c(x)·t^c(x)+B^∞c[1-t^c(x)] (1)

其中t^c(x)是透射率,I^c(x)代表经过图像衰减过后相机得到的图像，B^∞c表示背景光,J^c(x)是去散射后的图像；

⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；

⑦补偿光从光源发出到物体表面的传播过程中的衰减，校正色差；

三、基于YOLOv4网络目标检测的方法，对图像进行目标识别，包括以下步骤：

①下载Darknet，利用Cmake进行编译，修改Makefile配置项；

②根据双目摄像机获得的图片信息，对图片进行标注；

③建立网络结构，网络结构基于YOLOv4网络，以CSPdarknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，YOLOV3作为头部预测输出；

④设置每批次送入网络的图片数batch＝64，每张图的大小为608x608，批次细分subdivision＝32,最大批次数max_batches＝4000；下载预训练权重，放在主目录下，然后开始训练的数据集，得到训练结果；

根据YOLOv4网络目标检测方法得到的目标预选框对图像进行根据最小二乘拟合插值法优化后的SGBM(Semi-Global-BlockMatching)算法进行立体匹配，包括以下步骤：

①匹配成本计算：根据左右图像中相匹配的同名像素点进行匹配成本函数计算；

②成本合计：设置一个能量函数E(D)来表示像素方向和平滑度约束

其中，C(p,D_p)表示视图上像素点与匹配点的代价函数；T[|D_p-D_q|＝1]和T[|D_p-D_q|1]分别为相邻像素点P，q之间的平滑度约束函数；P1和P2分别表示视差差值为1和视差差值大于1的惩罚系数，P1P2；

③视差计算：根据相邻像素点P、q进行视差计算，通过为每个像素P选择具有最小成本的视差d来获取相对应的视差图像Db，沿像素q的对极线使用相同的成本计算确定对应的视差图像Dm，比较Db和Dm，检测视差图像遮挡率和错误匹配率，若不满足式(3)，则视差无效，

D_p＝D_bpif|D_bP-D_mq|1 (3)

④多基线匹配：通过计算基础图像和匹配图像之间所有对应关系的组合像素匹配成本来完成多基线匹配；

⑤视差优化：可采用峰值滤波消除异常值、选择强度一致的视差和保留不连续性的插值实现视差优化，

采用最小二乘拟合插值方法对每个超像素区域的基本视差图进行优化，基本视差图的优化公式如下：

d＝αx+by+c (4)

式中(a,b,c)为视差平面参数；如果参数(a,b,c)确定，图像平面上的每个坐标点都对应一个视差值；最小二乘法的公式如下：

设：

由上述式子可以推到出：

四、得到图像的类别与图像的位置信息。

2.根据权利要求1所述的智能搬运车视觉导航方法，其特征在于，步骤三，基于YOLOv4网络预选框进行SGBM立体匹配，其中代价采用WTA算法计算得到代价最小的视差值，采用优胜者全选方式，选取对应匹配代价最小的视差作为最终的视差d(u)，表达式如下：

其中，表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的最终视差结果，表示取当取得最小值时视差d的值。