[发明专利]一种基于驾驶员视觉注意预测的驾驶预警方法

权利要求书

1.一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，包括如下步骤：

步骤S1，获取第一人称视角下的驾驶场景图像进行预处理得到连续图像帧；

步骤S2，对连续图像帧提取时间、空间特征以及语义关系表征视觉注意力的潜在视觉特征；

步骤S3，对驾驶环境中目标的时空关联关系进行建模；

步骤S4，在驾驶环境中目标的时空关联关系输入RGB图像特征与驾驶场景的语义关系特征，得到驾驶员视觉注意力表示；

步骤S5，将得到的驾驶员注意表示生成一个视频片段的驾驶员视觉注意概率图，得到可视化的驾驶员视觉注意力图；

步骤S6，通过可视化的驾驶员视觉注意力图对注意力发生突变的时刻系统给出预警信号。

2.根据权利要求1所述的一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，步骤S1中，包括如下步骤：

步骤S11，将获取的驾驶场景图像的尺寸的分辨率缩放为长边M×宽边N；

步骤S12，对所有图片减去平均像素值。

3.根据权利要求1所述的一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，步骤S2中，包括如下步骤：

步骤S21，输入RGB图像与SEG图像，采用3D卷积神经网络分别提取原始RGB图像时空视觉表示和语义表示扩展维度，通过最大池化下采样减小图像特征尺寸；其中，RGB图像为红绿蓝色彩模式图像，SEG图像为语义分割图像；

步骤S22，采用滤波器扫描整个图像序列帧，根据其中参数图像像素点计算得到一层特征图，通过不同滤波器得到不同特征图，整合不同特征图得到完整的时空、语义特征图。

4.根据权利要求1所述的一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，步骤3中，通过图卷积网络对驾驶环境中目标的时空关联关系进行建模，并输入RGB图像特征与驾驶场景的语义关系特征，得到驾驶员视觉注意力表示。

5.根据权利要求4所述的一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，步骤3中，包括如下步骤：

步骤S31，对于语义分割图片提取时间、空间特征以及语义关系表征视觉注意力的潜在视觉特征，构建区域关系图graph；

步骤S32，通过图卷积网络学习语义图像的特征，得到语义图像中不同语义部分之间的关系。

6.根据权利要求1所述的一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，步骤4中，包括如下步骤：

步骤S41，将连续图像帧所提取时间、空间特征以及语义关系表征视觉注意力的潜在视觉特征进行融合，从而得到驾驶场景中目标的时空关联关系和时空的动态转换；

步骤S42，利用卷积长短期记忆网络LSTM，记忆连续T帧图像中的关键目标区域的特征并将其转移到最后一帧，得到一个3维的特征张量，潜在的表示了驾驶员视觉注意力。

7.根据权利要求1所述的一种基于驾驶员视觉注意预测的驾驶预警方法，其特征在于，步骤5中，将得到的驾驶员注意表示经过解码器生成一个视频片段的驾驶员视觉注意概率图，经过高斯平滑进得到可视化的驾驶员视觉注意力图。