[发明专利]一种考虑驾驶员情绪的增强现实抬头显示方法和系统

说明书

本发明公开了一种考虑驾驶员情绪的增强现实抬头显示方法和系统，包括TOF模块获取当前场景RGB格式的目标图像；图像识别模块识别所述目标图像中的眼球及人脸并生成识别结果；所述识别结果输入图像处理模块处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述眼球位置信息传输至AR‑HUD系统中进行增强显示实时跟踪；根据传输至AR‑HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。本发明的有益效果：通过使用TOF方案，集成ARHUD的眼球追踪模块加入情绪识别的算法，共用一套系统并能配合使用，降低成本，提高交互性能，情绪识别完成之后，更好的作用于ARHUD，并且做出相应的预警改善，从而减少事故的发生。

技术领域

本发明涉及智能座舱显示的技术领域，尤其涉及一种考虑驾驶员情绪并作用于增强现实抬头显示的方法和考虑驾驶员情绪并作用于增强现实抬头显示的系统。

背景技术

近年来，随着社会的发展和时代的进步以及汽车智能化的蓬勃发展，汽车的控制系统也日益复杂，驾驶人与汽车控制系统之间的矛盾也日益凸显。与此同时，“路怒症”、驾驶人的驾驶倾向性对驾驶安全有至关重要的影响。根据有关资料，大部分交通事故都可以归因于不正常的驾驶情绪以及过激的驾驶倾向性。如何及时的识别这种不正常的驾驶情绪以及过激的驾驶倾向性，是避免出现交通事故，保障车辆安全行驶的重要途径。

现有的汽车安全预警方法很少会将驾驶情绪考虑在内，但是驾驶情绪在驾驶安全中发挥着重要的作用，是不可以被忽视的。情绪识别是分析驾驶情绪的一个重要手段，目前而言最有效的情绪识别是基于卷积神经网络的图像识别算法，通过对驾驶员的面部表情进行拍摄，进而对拍摄到的照片进行识别，进而判断此时驾驶员是一个什么样的情绪。所以，对汽车进行安全预警时，要考虑驾驶员的驾驶情绪

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：提出考虑驾驶员情绪的增强现实抬头显示方法，结合驾驶情绪提高安全性能。

为解决上述技术问题，本发明提供如下技术方案：一种考虑驾驶员情绪的增强现实抬头显示方法，包括TOF模块获取当前场景RGB格式的目标图像；图像识别模块识别所述目标图像中的眼球及人脸并生成识别结果；所述识别结果输入图像处理模块处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。

作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述内容结果显示调整包括，根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。

作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述TOF模块包括3D摄像模块和TOF传感器，包括，利用3D摄像模块获取目标图像的RGB图信息；通过TOF传感器并结合近红外光器阵列获得相应的深度信息；将获取的RGB图信息和深度信息传输发送至所述图像识别模块。

作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像处理模块包括，图像识别相应的眼球在图像中的位置；根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；根据面部表情的图像，分析处理得到驾驶员的情绪状况。