[发明专利]一种透明A柱的智能显示系统及方法

权利要求书

1.一种透明A柱的智能显示系统，其特征在于，包括深度相机、柔性屏、摄像机、控制器、深度相机安装在A柱外侧，柔性屏镶嵌在A柱内侧，摄像机安装在柔性屏上，深度相机、柔性屏、摄像机分别与控制器电连接；

所述深度相机用于采集车辆的A柱盲区的图像；

所述摄像机用于采集驾驶员头部的图像；

所述控制器用于提取深度相机采集的图像中的深度信息，提取摄像机采集的图像中的头部、眼部位置信息，根据深度信息进行三维重构得到三维图像，根据位置信息对三维图像进行透视变换，并将透视后的三维图像传输到柔性屏上进行显示。

2.根据权利要求1所述的一种透明A柱的智能显示系统，其特征在于，所述控制器还用于根据眼睛的纵横比判断驾驶员是否是疲劳驾驶，当根据摄像机采集到的图像计算出的纵横比值γ低于阈值δ的帧数超过一定时间时，则进行驾驶员疲劳驾驶的报警提示。

3.一种采用权利要求1或2所述的透明A柱的智能显示系统的显示方法，其特征在于，采集车辆A柱盲区的图像以及车内驾驶员头部的图像，根据车内驾驶员头部的图像进行驾驶员人脸及人眼的检测与跟踪，判断驾驶员是否为疲劳驾驶；根据跟踪到的人脸及人眼所在的实时位置，对重构后的A柱盲区的图像进行透视变换得到人眼预观看的A柱盲区的三维图像。

4.根据权利要求3所述的方法，其特征在于，包括：

步骤1：采集车辆A柱盲区的图像，采集车内驾驶员头部的图像；

步骤2：进行图像预处理，对车辆A柱盲区的图像进行中值滤波处理；对车内驾驶员头部的图像进行降噪处理；

步骤3：对预处理后的A柱盲区的图像进行三维重构；

步骤4：对预处理后的驾驶员头部的图像进行人脸及人眼的检测与跟踪；

步骤5：计算跟踪到的人眼的横纵比，并判断驾驶员是否为疲劳驾驶；

步骤6：根据跟踪到的人脸及人眼所在的实时位置，对重构后的三维图像进行透视变换，输出人眼预观看的A柱盲区的三维图像。

5.根据权利要求4所述的方法，其特征在于，所述步骤3包括：

步骤3.1：对滤波处理后的车辆A柱盲区的图像在基线上采样m倍，并进行滤波处理；

步骤3.2：针对滤波处理后的图像以及预存的投影光斑模板图像，采用图像序列中对应像素差的绝对值之和进行局部匹配，得到原始深度图像；

步骤3.3：对原始深度图像进行内外参矩阵变换得到点云图并以矩阵的形式存储；

式中，(u,v)为图像坐标系下的任意坐标点，z_c为相机坐标的z轴值即目标到相机的距离，(x_w,y_w,z_w)为世界坐标系下的三维坐标点，f为深度相机焦距，dx、dy为像素点在两个方向上的物理尺寸，R为旋转矩阵，T为平移矩阵，

步骤3.4：遍历矩阵化点云图，连接与任意一点相邻的两个点进行三角化构成三角面；

步骤3.5：设置所有三角面顶点的法向，并将所有法向统一垂直向上得到三维重构后的车辆A柱盲区的三维图像。

6.根据权利要求5所述的方法，其特征在于，所述步骤3.1中的滤波处理采用sobel滤波处理方式，当m＝8时，滤波效果最好，能保证在做双目匹配后实现3bit的亚像素精度。

7.根据权利要求4所述的方法，其特征在于，所述步骤4具体表述为：使用Haar特征分类器和LBP级联分类器对降噪处理后的驾驶员头部的图像进行人脸及人眼的检测与跟踪，得到驾驶员头部、眼部的位置信息。

8.根据权利要求4所述的方法，其特征在于，所述步骤5包括：

步骤5.1：计算人眼横纵比值γ：

γ＝a/b

式中，a表示眼睛的宽度，b表示眼睛的高度；

步骤5.2：设置预警横纵比阈值δ，当横纵比值γ低于阈值δ的帧数超过一定时间时表示驾驶员长时间眨眼或者处于闭眼状态，需要触发警报。