[发明专利]一种新的车载驾驶辅助图像生成方法

说明书

技术领域

本发明涉及车载多目摄像机环视系统，尤其涉及车载环视系统虚拟相机图像的计算方法。

背景技术

当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。

上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。

车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。

目前车载环境感知系统使用的传感器主要有：1）单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2）激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3）声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。

比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量（比如倒车用），而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像机是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。

当前车载图像驾驶辅助系统给驾驶员提供的辅助图像有两种方式：（一），将实际摄像机采集到的图像直接显示给驾驶员；（二），利用某种视点变换将实际采集到的图像变换处理后显示给驾驶员。从驾驶员的角度看，理想的车载图像驾驶辅助系统应该准确的提供车辆与周边环境的位置关系，包括1），车辆与近景的位置关系；2），车辆与远景的位置关系；3）车辆与立体物的位置关系。由于相机在车体上的安装位置和角度总是存在误差，所以方式（一）直接把实际采集到的图像显示出来不能通过图像准确判断车辆与环境的位置关系，而且驾驶员可能要进行坐标转换才可以理解图像与车辆的位置关系。因此利用方式（二）通过视点变换对图像进行处理之后再显示出来是多数图像驾驶辅助系统的选择。

如上所述图像驾驶辅助系统是要向驾驶员提供车辆与周边环境的位置关系，近年来利用装配在车体上的多台相机通过相机标定技术与视点变换技术可以将多台相机的图像内容融合到一幅图像之中，如果这几台装配在车体上的相机的视角可以覆盖车体周围360度，则通过视点变换融合生成的图像也可以是对车体及其周边做俯瞰形式的360度无死角监控图像。

（1） 与本发明相关的现有技术一：视点变换技术

现有技术一：国际公开专利WO 00-07373

图1所示为视点变换的概念及其关键要素：1）实际相机，2）虚拟相机，3）虚拟投影面。其中实际相机和虚拟相机的内部参数和外部参数以及虚拟投影面的几何形状与姿态都是已经确定的。现有技术一可以利用装配在车体前后左右的多台相机的内部参数与外部参数对各台相机所摄取的图像做单一视点变换使其变换成为以车体为参照中心的俯瞰图，然后再对上述这些生成的俯瞰图进行拼接处理而生成一幅由多台相机图像无缝拼接得到的完整360度俯瞰图。其中图2所示为俯瞰虚拟相机及其可视范围的概念图。

（2） 与本发明相关的现有技术二：虚拟相机与虚拟投影面

现有技术二：国际公开专利WO 00-07373，日本专利JP 2004-32464，日本专利JP 2008-83786，日本专利JP 2008-141643，日本专利JP 2008-148113，日本专利JP 2008-148112，日本专利JP 2008-149879，日本专利JP 2008-149878，日本专利JP 2008-85446。