[发明专利]基于人眼三维坐标的汽车A柱盲区实时显示方法及系统

权利要求书

1.一种基于人眼三维坐标的汽车A柱盲区实时显示方法，其特征在于，包括：

获取驾驶者的头部图像，并从所述头部图像中检测得到人脸图像；

对所述人脸图像进行面部标志检测，获得面部特征点；

对所述人脸图像进行三维姿态估计，获得用于标准人脸坐标系转换到相机坐标系的旋转矩阵和平移向量；

根据所述面部特征点、旋转矩阵和平移向量，求解所述人脸图像中的人脸三维坐标，并根据所述面部特征点中双眼的位置，从所述人脸三维坐标中获取双眼三维坐标；

获取A柱外侧的环境图像，根据所述双眼三维坐标通过三维重构盲区算法从所述环境图像中裁剪出盲区图像，并实时显示盲区图像。

2.根据权利要求1所述的一种基于人眼三维坐标的汽车A柱盲区实时显示方法，其特征在于，从所述头部图像中检测得到人脸图像的过程中，若头部图像中仅检测到一个人脸，则直接确定人脸图像；若从所述头部图像中检测得到多个人脸，则将面积最大的人脸对应的图像作为人脸图像。

3.根据权利要求1所述的一种基于人眼三维坐标的汽车A柱盲区实时显示方法，其特征在于，根据所述双眼三维坐标通过三维重构盲区算法从所述环境图像中裁剪出盲区图像的过程，具体包括：

根据所述双眼三维坐标以及A柱显示屏位置，判断眼睛与A柱显示屏的关系；

将眼睛、相机、A柱显示屏的俯视区域以及相机拍摄区域在同一坐标系中进行绘制，并绘制出眼睛视线，确定盲区区域；

分别计算盲区区域在环境图像中的起始角以及盲区范围角度，并获取相机的广角度数和分辨率，以图像水平方向中心向外扩展盲区，获得盲区区域在环境图像像素中的位置，裁剪得到盲区图像。

4.根据权利要求3所述的一种基于人眼三维坐标的汽车A柱盲区实时显示方法，其特征在于，所述眼睛与A柱显示屏的关系包括：眼睛在A柱显示屏的屏幕内、眼睛在A柱显示屏的屏幕外部左侧以及眼睛在A柱显示屏的屏幕外部右侧。

5.一种基于人眼三维坐标的汽车A柱盲区实时显示系统，其特征在于，包括第一图像采集设备、第二图像采集设备、处理器以及显示屏，所述第一图像采集设备、第二图像采集设备以及显示屏均与所述处理器电连接；

所述第一图像采集设备设于汽车内侧A柱的正中心位置，所述第一图像采集设备用于实时采集驾驶员的头部图像，所述第二图像采集设备设于汽车外侧A柱上，所述第二图像采集设备用于实时采集A柱外侧的环境图像；

所述处理器用于从所述头部图像中检测得到人脸图像；对所述人脸图像进行面部标志检测，获得面部特征点；对所述人脸图像进行三维姿态估计，获得用于标准人脸坐标系转换到相机坐标系的旋转矩阵和平移向量；根据所述面部特征点、旋转矩阵和平移向量，求解所述人脸图像中的人脸三维坐标，并根据所述面部特征点中双眼的位置，从所述人脸三维坐标中获取双眼三维坐标；根据所述双眼三维坐标通过三维重构盲区算法从所述环境图像中裁剪出盲区图像；

所述显示屏设于汽车内侧A柱上，所述显示屏用于实时显示盲区图像。

6.根据权利要求5所述的一种基于人眼三维坐标的汽车A柱盲区实时显示系统，其特征在于，所述第二图像采集设备为广角相机。