[发明专利]多摄像头无人车视觉感知系统

说明书

技术领域

本发明属于自主行驶和视觉感知技术领域，具体涉及一种多摄像头无人车视觉感知系统，可用于无人驾驶汽车和自主移动车辆的视觉感知和图像处理。

背景技术

近年来，各种可以自主移动的中小型车辆和机器人开始进入工业生产、安防和家庭服务等领域。而为了研究汽车的自主行驶技术，各种微型无人车仿真验证系统也被一些科研院所开发出来。视觉感知技术是自主车辆和移动机器人的关键技术，在环境感知和导航领域较其他传统传感器感知技术具有明显的优势。视觉感知技术在工业生产、交通运输、医疗服务等领域也得到了广泛的应用，具有很好的应用前景。

由于中小型自主移动车辆和机器人尺寸和开发成本的限制，导致无法使用高档的运算处理系统，一般采用采用单片机、dsp等微控制器，处理程序为单线程程序，不能满足多任务的图像处理系统的需求，并且可扩展性和实时性不强。

传统的无人车图像处理技术中，对车道线的识别常用拟合法、边沿搜索等方法，这些方法对于道路线部分被遮挡的情况处理效果不佳；对于障碍物、锥桶、交通灯等的识别检测常常使用模板匹配和神经网络等方法，耗费资源且影响系统实时性。

当前的视觉平台调试时需要使用电缆连接车上的设备或者通过无线串口远程传输少量的图像信息，给系统的调试带来较大不便。

此外，当前的自主移动车辆或者微型无人车系统多采用普通单摄像头进行视觉感知和导航，视野范围较窄；而采用广角镜头的系统需要耗费较大精力处理镜头产生的畸变，并且视野范围无法调整；此外也无法自由控制采集图像的分辨率以实现效率最大化。

发明内容

本发明的目的是为了克服现有微型无人车和自主移动机器人的图像处理系统感知算法单一且实时性不强、系统扩展性差、调试不便以及视野范围控制的局限性等问题，提出一种多摄像头无人车视觉感知系统，该系统经济、可靠，扩展性好，对于仿真交通环境的感知和识别具有很好的实时性，可应用于智能仿真车辆和小型自主移动机器人的环境感知和导航。

本发明所采用的技术方案是：

一种多摄像头无人车视觉感知系统，包括车载视觉感知系统、无线网络设备和远程调试监控系统；其中车载视觉感知系统包括多个车载图像处理工控机，每个车载图像处理工控机接有三个摄像头；远程调试监控系统包括一个或多个调试监控计算机通过无线路由器控制车载图像处理工控机，经远程登录进行车辆运行的远程监控和在线程序调试，所述控制方式可以是冗余控制也可以是分别控制。

如上所述的一种多摄像头无人车视觉感知系统，其中：所述系统运行前，将三个摄像头根据需要感知的视野范围安装固定在一个自主移动车辆上，然后通过某幅图像中几个点的像素距离参数和对应的实际距离参数确定像平面坐标系和世界坐标系的对应关系矩阵。

如上所述的一种多摄像头无人车视觉感知系统，其中：所述系统中采取一种基于多线程的优化的视觉感知方法，包括多个线程，分别是主线程，摄像头A视频采集线程，摄像头B视频采集线程，摄像头C视频采集线程，车道线感知线程，障碍物、锥桶和信号灯感知线程，交通标志感知线程，综合控制决策线程，图像和运算结果显示线程。

如上所述的一种多摄像头无人车视觉感知系统，其中：所述主线程进行系统的初始化以及各个分线程的创建，初始化包括图像存储空间的声明、串口的初始化设置、静态变量参数声明；各个分线程创建后，主线程进入等待状态，等待图像和运算结果显示线程结束；图像和运算结果显示线程不断检测调试监控计算机发送的指令，若收到退出指令，则线程跳出循环结束，同时触发主线程结束并释放内存。

如上所述的一种多摄像头无人车视觉感知系统，其中：所述车道线感知线程进行车道线的感知和偏航角的计算，包括如下步骤：

（4.1）将RGB图像灰度化得到灰度图像，将灰度图像二值化得到二值图像；

（4.2）膨胀腐蚀减少噪点，通过canny边沿检测得到边沿图像，减小后面霍夫变换的计算量；

（4.3）对边沿图像进行霍夫直线检测，得到图像中所有直线的极坐标方程的参数；

（4.4）遍历所有直线，进行坐标变换并投影映射到世界坐标系下，找到斜率在设定范围内并且距离车头最近的线作为车道线。

如上所述的一种多摄像头无人车视觉感知系统，其中：所述（4.1）步骤中二值化方法为：将图像按行从上到下分成4个部分，每个部分都找到最大三个灰度值和最小的三个灰度值，取其平均值作为最终阈值，如果最大最小阈值的差值小于某个经验值则按上一部分得出的阈值计算；如果图像第一部分对比度较差，则第一部分使用某个固定初始阈值TH开始计算，待求阈值计算如下：