[发明专利]由目标检测引导的复杂交通视觉显著性预测方法及系统

说明书

本发明公开了一种由目标检测引导的复杂交通视觉显著性预测方法及系统，包括：提取视频帧图像的空间特征以及包含感兴趣区域的静态目标特征图；将静态目标特征图与图像特征以硬注意力方式融合，得到注意力融合特征；将提取的注意力融合特征的动态时序信息和注意力融合特征共同训练预先构建的驾驶员注意力预测网络模型；对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果。使用静态与动态结合的方式训练驾驶员注意力预测网络模型，使用resnet50网络和特征金字塔网络提取图像的显著性信息，输出包含显著性区域的静态特征，采用ConvLSTM网络利用动态时序信息拟合网络模型，增强网络模型的预测精度和鲁棒性。

技术领域

本发明涉及视觉显著性区域预测技术领域，特别是涉及一种由目标检测引导的复杂交通视觉显著性预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在复杂的交通场景下，基于人眼的视觉选择注意机制能够使驾驶员快速地发现潜在危险，察觉交通信号灯、交通标志等信息。人眼的视觉选择注意机制可以从复杂的场景下，将注意力快速集中到视场中的感兴趣区域，合理调度有限的视觉计算资源。在驾驶场景下，辅助驾驶系统能够学习人类正确驾驶下的视觉注意机制，指导驾驶员关注交通场景中重要的区域，可以增强驾驶的安全性。随着深度学习带来的计算机视觉任务性能显著提升，以及许多大规模标注数据的产生，交通场景下的视觉显著性预测引起广泛研究，众多机器学习模型和深度学习模型的创建逐步提升驾驶员注意力预测任务的准确性。

目前的交通场景下的视觉显著性预测，大部分都只是把图像和真值数据输入到深度神经网络中，使用类似于U-net的深度学习模型去自动学习，实现驾驶员的注意力区域预测。然而，发明人认为，由于在数据标注过程中，交通标志、交通灯等小目标，不同的标注人员观看的时间不一致，不会长时间关注在这个区域，因此这部分目标在整体数据中的时空分布上存在差异性，以及潜在危险存在的偶然性，影响驾驶员注意力预测的准确性。

发明内容

为了解决上述问题，本发明提出了一种由目标检测引导的复杂交通视觉显著性预测方法及系统，使用静态与动态相结合的方式训练驾驶员注意力预测网络模型，使用目标检测网络提取图像中所有感兴趣区域，作为静态特征，去引导骨干网络提取有用的显著性信息，采用ConvLSTM网络提取动态信息，利用动态时序信息拟合网络模型，增强网络模型的预测精度和鲁棒性。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种由目标检测引导的复杂交通视觉显著性预测方法，包括：

提取视频帧图像的空间特征以及包含感兴趣区域的静态目标特征图；

将静态目标特征图与图像特征以硬注意力方式融合，得到注意力融合特征；

将提取的注意力融合特征的动态时序信息和注意力融合特征共同训练预先构建的驾驶员注意力预测网络模型；

对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果。

第二方面，本发明提供一种由目标检测引导的复杂交通视觉显著性预测系统，包括：

特征提取模块，用于提取视频帧图像的空间特征以及包含感兴趣区域的静态目标特征图；

融合模块，用于将静态目标特征图与图像特征以硬注意力方式融合，得到注意力融合特征；

训练模块，用于将提取的注意力融合特征的动态时序信息和注意力融合特征共同训练预先构建的驾驶员注意力预测网络模型；

预测模块，用于对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果。