[实用新型]一种基于多传感器的车载环境识别系统及全方位视觉模块

说明书

技术领域

本实用新型涉及一种多摄像头拼接的全方位视觉装置以及基于多传感器的车载环境识别系统，属于传感器技术领域。

背景技术

单目视觉可以进行简单的目标跟踪、目标识别，但是并不能提供环境的深度信息。双目视觉在单目视觉的基础上实现了对深度信息的获取，但是不能实时地进行全方位的信息获取。相对于传统视觉传感器在视场受限方面的不足，全方位视觉装置可以实时获取全方位的环境信息，在军事应用、公共安全、视频会议以及位置环境的探测等方面发挥着积极的作用。多部成像装置多角度同时拍摄是最容易想到的全方位图像获取的技术，相对于普通摄像机加旋转云台的方法存在延时、鱼眼技术和折反射技术存在高畸变，多摄像头拼接的全方位视觉装置更加简单可靠。目前多摄像头拼接的全方位视觉装置在多摄像头的精确安装、多幅图像的无缝拼接等方面均存在不足，此外该装置在垂直方向的视角受限也对全方位环境信息的获取存在一定的影响。

随着工作环境与任务的日益复杂，人们对智能系统的性能提出了更高的要求。单个传感器在某一采样时刻只能获取一组数据，经过处理得到的信息只能用来描述环境的局部特征，因此单靠一个传感器往往无法满足某些系统对鲁棒性的要求。采用多传感器融合可以对环境进行更加全面准确的描述，但是信息的冗余在提高系统鲁棒性的同时伴随着大量数据的产生，大量的数据计算处理无疑严重影响着系统的实时性，此外系统的功耗、资源占用率等都是需要考虑的问题。

发明内容

本实用新型提供了一种全方位视觉模块，其为多摄像头拼接的全方位视觉装置，解决了传统视觉传感器不能实时获取全方位环境信息的问题。

以上目的是通过以下技术方案实现的：

一种全方位视觉模块，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。

进一步地，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。

进一步地，所述图像拼接单元的工作过程包括：

摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。

进一步地，所述双目匹配单元的工作过程包括：

摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善弱纹理区域和深度不连续区域出现的匹配精度问题；构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数E(d)＝E_data(d)+λE_smooth(d)；多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价；视差选择：通过选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图。视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。

进一步地，所述目标识别单元的工作过程包括：