[发明专利]基于人眼三维坐标的汽车A柱盲区实时显示方法及系统

说明书

本发明公开了一种基于人眼三维坐标的汽车A柱盲区实时显示方法及系统，该方法通过基于外观的人眼检测方法以及MPIIGaze数据集获取人眼坐标，通过面部三维重构得到人眼的三维立体坐标，然后将获得的人眼三维坐标，通过盲区三维立体重构算法来实时裁取对应的盲区图像并输出到显示屏中，实现盲区图像的实时显示。该系统在实现盲区图像实时显示的同时，系统结构简单，搭建方便、快捷，更能满足实际使用需求。

技术领域

本发明涉及图像处理以及汽车安全技术领域，更具体的说是涉及一种基于人眼三维坐标的汽车A柱盲区实时显示方法及系统。

背景技术

目前，随着汽车的不断普及应用，汽车驾驶安全问题受到越来越多的关注，汽车的A、B、C柱对于车身整体而言起到了保护车体内部结构的作用，在车身受到挤压或车身侧翻时能保护车舱人员安全。但A柱对驾驶者的视线会造成一定程度的遮挡，这就形成了汽车A柱盲区，而汽车的A柱盲区问题一直是汽车生产中不可避免的问题，很多交通事故便来自驾驶员视线受到A柱的遮挡形成盲区造成，所以近年来，研究者们对A柱盲区的显示进行了大量的研究。

随着计算机视觉在汽车主动安全技术领域应用的研究，针对盲区消除的视觉应用也在不断发展，而对于A柱盲点消除并实现视野补偿，目前的方法还存在很多的问题和局限性。比如很多研究虽然能实现A柱盲区的显示，但都是静态的图片或者投影，均无法满足现实生活中汽车在行驶状态时能够实时获取A柱盲区的要求，且采用的设备较为复杂且多样，无法满足实际应用中便捷的要求。

因此，如何提供一种能实时显示盲区图像、更加便捷的汽车A柱盲区实时显示方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于人眼三维坐标的汽车A柱盲区实时显示方法及系统，有效解决了现有的A柱盲区显示方法无法实时显示、不够便捷等技术问题。

为了实现上述目的，本发明采用如下技术方案：

一方面，本发明提供了一种基于人眼三维坐标的汽车A柱盲区实时显示方法，该方法包括：

获取驾驶者的头部图像，并从所述头部图像中检测得到人脸图像；

对所述人脸图像进行面部标志检测，获得面部特征点；

对所述人脸图像进行三维姿态估计，获得用于标准人脸坐标系转换到相机坐标系的旋转矩阵和平移向量；

根据所述面部特征点、旋转矩阵和平移向量，求解所述人脸图像中的人脸三维坐标，并根据所述面部特征点中双眼的位置，从所述人脸三维坐标中获取双眼三维坐标；

获取A柱外侧的环境图像，根据所述双眼三维坐标通过三维重构盲区算法从所述环境图像中裁剪出盲区图像，并实时显示盲区图像。

进一步地，从所述头部图像中检测得到人脸图像的过程中，若头部图像中仅检测到一个人脸，则直接确定人脸图像；若从所述头部图像中检测得到多个人脸，则将面积最大的人脸对应的图像作为人脸图像。

本发明提前假设图像中只有一个人脸，如果检测器返回多个人脸建议，则取最大的包围框，对于探测器无法找到人脸的图像就直接丢弃。

本发明根据一个通用的平均面部形状模型F来进行三维姿态估计，该模型是MPIIGaze数据集参与者的平均形状。

进一步地，根据所述双眼三维坐标通过三维重构盲区算法从所述环境图像中裁剪出盲区图像的过程，具体包括：

根据所述双眼三维坐标以及A柱显示屏位置，判断眼睛与A柱显示屏的关系；

将眼睛、相机、A柱显示屏的俯视区域以及相机拍摄区域在同一坐标系中进行绘制，并绘制出眼睛视线，确定盲区区域；