[发明专利]一种汽车A柱透视方法

权利要求书

1.一种汽车A柱透视方法，其特征在于，该方法包括以下步骤：

步骤S1、通过视觉传感器获取驾驶员头部的深度图像和RGB图像并传输给图像处理器；

步骤S2、图像处理器对驾驶员头部的深度图像和RGB图像进行配准；

步骤S3、图像处理器基于配准后的图像，对驾驶员脸部特征进行识别，当识别到驾驶员脸部特征时，获取驾驶员脸部重心的三维坐标和驾驶员脸部平面法线方向，并执行步骤S4；当未识别到驾驶员脸部特征时，采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向，并执行步骤S5；

步骤S4、图像处理器以步骤S3中获取的驾驶员脸部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员脸部平面法线方向，将球面图像生成透视图像，执行步骤S6；

步骤S5、图像处理器以步骤S3中获取的驾驶员头部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员头部平面法线方向，将球面图像生成透视图像，执行步骤S6；

步骤S6、图像处理器将透视图像传输给显示屏进行显示，图像处理器实时检测驾驶员头部移动是否超出预先设定的范围，当驾驶员头部移动超出预先设定的范围时，图像处理器发出信号给报警模块，报警模块发出警报。

2.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：在步骤S1之后步骤S2之前，还对深度图像和RGB图像进行高斯滤波处理。

3.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：所述视觉传感器为Kinect v2传感器。

4.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：步骤S2中所述图像处理器对驾驶员头部的深度图像和RGB图像进行配准时，采用预先存储在图像处理器中的旋转矩阵R'和平移矩阵T'进行配准；所述旋转矩阵R'和平移矩阵T'的获取的过程为：

步骤S201、采用棋盘格的方式，通过视觉传感器获取棋盘格的RGB图像并存储在图像处理器中，再获取棋盘格的RGB图像上的角点位置；

步骤S202、采用棋盘格的方式，通过视觉传感器获取棋盘格的深度图像并存储在图像处理器中，再获取棋盘格的深度图像上的角点位置，其中，获取棋盘格的深度图像上的角点位置的具体方法为：将棋盘格的深度图像转换为二值图像，在二值图像上手动点击角点且将手动点击的角点位置作为初始角点的位置，基于初始角点的位置，采用最小二乘法获取多条水平方向上的直线和多条竖直方向上的直线，将获取的多条直线作为边缘线的初始值，以每条线为中心线，选择10个像素带宽的白色点区域像素优化初始边缘线，将最优边缘线的交点位置确定为棋盘格的深度图像上的角点位置；

步骤S203、将存储的棋盘格的RGB图像上的角点位置和存储的棋盘格的深度图像上的角点位置映射到世界坐标系中，通过旋转和平移使棋盘格的RGB图像上的角点位置和棋盘格的深度图像上的角点位置达到重合状态，计算出旋转矩阵R'和平移矩阵T'。

5.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：步骤S3中所述图像处理器基于配准后的图像，对驾驶员脸部特征进行识别的具体过程为：

步骤S3A1、驾驶员脸部全局特征的提取：所述图像处理器先对配准后的图像进行Gabor变换，再对Gabor变换的输出结果应用Zernike矩的离散形式，提取出驾驶员脸部全局特征；

步骤S3A2、驾驶员脸部局部特征的提取：所述图像处理器先对配准后的图像进行高斯滤波，再采用梯度直方图对高斯滤波后的图像进行形状信息描述，并基于相邻图像块的重叠计算去除光照变化和偏移对特征的影响，提取出驾驶员脸部局部特征；

步骤S3A3、所述图像处理器将提取的驾驶员脸部全局特征和驾驶员脸部局部特征进行融合，形成驾驶员脸部的融合特征；

步骤S3A4、所述图像处理器采用支持向量机分类器对驾驶员脸部融合特征进行二分类，分为是驾驶员脸部特征和非驾驶员脸部特征两类。