[发明专利]一种考虑驾驶员情绪的增强现实抬头显示方法和系统

权利要求书

1.一种考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：包括，

TOF模块(100)获取当前场景RGB格式的目标图像；

图像识别模块(200)识别所述目标图像中的眼球及人脸并生成识别结果；

所述识别结果输入图像处理模块(300)处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；

所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；

根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。

2.如权利要求1所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述内容结果显示调整包括，

根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。

3.如权利要求1或2所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述TOF模块(100)包括3D摄像模块(101)和TOF传感器(102)，包括，

利用3D摄像模块(101)获取目标图像的RGB图信息；

通过TOF传感器(102)并结合近红外光器阵列获得相应的深度信息；

将获取的RGB图信息和深度信息传输发送至所述图像识别模块(200)。

4.如权利要求3所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像处理模块(300)包括，

图像识别相应的眼球在图像中的位置；

根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；

根据面部表情的图像，分析处理得到驾驶员的情绪状况。

5.如权利要求1～2或4任一所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述眼球位置信息获取包括，

通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置；

建立人眼图像的差分高斯金字塔模型计算区域极值点；

在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。

6.如权利要求5所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像识别模块(200)包括，

根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；

根据人脸特征构造M个弱分类器；

选出最优的N个弱分类器；

设定误差率与阈值，生成M个级联的强分类器；

输入所述目标图像，使用已经生成的所述M个强分类器，获得识别结果，并将相邻的子区域合并得到人脸区域。

7.如权利要求6所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述目标图像直方图均衡化处理，增加所述目标图像的局部对比度，包括直方图均衡化的步骤，

统计直方图中每个灰度出现的次数，保存为一个数组；

计算直方图中每个灰度的累计分布函数值，并保存为另一个数组；

根据下式计算原图像直方图均衡化之后的灰度值；

8.如权利要求6或7所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像处理模块300采用卷积神经网络用来提取人脸表情的抽象特征，其包括，

一个输入层、三个交替出现的卷积层和池化层、一个全连接层和一个输出层，网络的输入是100*100的人脸表情图片，卷积核的大小为3*3，卷积步长为1，激活函数采用线性整流函数，分类函数采用归一化指数函数的Softmax函数。