[发明专利]一种基于驾驶员视觉注意预测的驾驶预警方法

说明书

本发明提供一种基于驾驶员视觉注意预测的驾驶预警方法，通过将连续t帧图片输入至多层3维卷积神经网络模型，充分提取视频帧的时空特征，并输入相应的语义图作为辅助引导信息，利用目标物与目标物之间的关系虚拟为节点和边来构建区域关系图graph；利用图卷积网络，对驾驶环境中目标的时空关联关系进行建模，并将该语义关系与视频帧的时空特征融合，利用卷积LSTM网络，来进行信息的传递即将前面帧的关键目标区域转移到最后一帧，得到驾驶员视觉注意力的潜在表示，最后通过注意力图解码模块将驾驶员注意力表示变换得到最终的驾驶员视觉注意力图，有效的确认驾驶员的注意力的视线区域，通过对驾驶员注意力图分析，可以对驾驶员进行安全驾驶预警。

技术领域

本发明涉及交通领域，具体为一种基于驾驶员视觉注意预测的驾驶预警方法。

背景技术

随着无人驾驶技术的发展，驾驶安全已经越来越被人们所重视，越来越多的研究致力于学习辅助驾驶或自动驾驶系统中的人类感知机制，驾驶员的注意力是其中的一个重要方面。根据此前的一些调查结果显示，造成道路事故的主要因素是驾驶员注意力不集中，包括分心驾驶、疲劳驾驶、酒驾等。因此，学习驾驶场景中清醒人在驾驶时的视觉注意力焦点的经验，在驾驶过程中预测驾驶员的视觉注意力并分析视觉注意力的变化，从而为自动驾驶或辅助驾驶系统在面临危险情景和即将发生事故时进行预警，具有重要的应用前景。

驾驶员注意力是与周围环境交互的重要方式之一，在人群交通场景中，驾驶员注意力通常表现为对关键视觉对象(如道路尽头、交通标志物、交互车辆、行人等)以及感兴趣区域的快速识别，即选择性的寻找道路参与者。驾驶员的注意力已经被关注和研究了几十年。长期以来，这些研究都是通过疲劳检测等多种生理实验进行调查的，但由于驾驶员的驾驶习惯、驾驶经历、年龄、性别、文化等方面的差异，实验结果容易受到驾驶员高度主观差异的影响。因此，很难获得令人信服的信息来帮助驾驶员在不同的驾驶场景下进行注意力预测。

最近，一些人开始致力于研究驾驶员注意力预测的计算机视觉技术，并在大规模图像或视频上收集驾驶员的注意力数据。在实验室的环境下模拟真实驾驶场景，收集观察者在面对事故发生时更加集中的视觉注意力。获得大量的第一视角驾驶视频以及包含有视觉注意力焦点的标签数据。正因如此，驾驶注意力预测技术可以通过完成计算机视觉任务来实现。目前实现驾驶注意预测技术主要有两种方式：传统方法(如认知模型、信息论模型、图论模型等)和基于深度学习方法。然而传统方法，精度低，鲁棒性差，无法为安全驾驶提供足够的保障。现有深度学习方法如基于卷积神经网络(CNN)，基于生成式对抗网络(GAN)以及递归神经网络(RNN)等。虽然这些方法在精度和鲁棒性上提升显著，但是并没有考虑到驾驶任务，没有将驾驶环境中的语义信息考虑到研究中，也没有考虑到视频序列帧之间的时空关系，致使这些方法更多的是基于显著性的角度来完成驾驶注意力预测任务。

发明内容

针对现有技术中传统方法和深度学习方法存在精度低，鲁棒性差，无法为安全驾驶提供足够的保障以及无法全面涉及到驾驶环境的问题，本发明提供一种基于驾驶员视觉注意预测的驾驶预警方法，该方法利用连续视频帧的时间和空间信息来提取表达能力更强、时空连续性更强、鲁棒性更好的视觉特征的同时融合了对应视频帧的场景语义信息即驾驶环境中目标的时空关联关系，有效且强相关的包含了交通场景理解与驾驶任务，提高了驾驶预警的准确性，极大的促进了我们的预警系统的实用性。

本发明是通过以下技术方案来实现：

一种基于驾驶员视觉注意预测的驾驶预警方法，包括如下步骤：

步骤S1，获取第一人称视角下的驾驶场景图像进行预处理得到连续图像帧；

步骤S2，对连续图像帧提取时间、空间特征以及语义关系表征视觉注意力的潜在视觉特征；

步骤S3，对驾驶环境中目标的时空关联关系进行建模；

步骤S4，在驾驶环境中目标的时空关联关系输入RGB图像特征与驾驶场景的语义关系特征，得到驾驶员视觉注意力表示；