[发明专利]面向无人驾驶的前背景编解码器网络目标提取方法

说明书

本发明公开了面向无人驾驶的前背景编解码器网络目标提取方法。本发明方法使用前景网络与背景网络分别学习视频内的前景目标特征与背景环境特征，利用视频帧前一时间步预测的目标掩膜扩张与侵蚀来缩小当前时间步输入视频帧的目标区域，并考虑了模板帧即首帧真实目标信息的非局部模块可以获得时序上的长期依赖关系。本发明充分结合目标空间信息与环境中包含的上下文信息获得更加准确的目标位置预测信息，使模型能够快速关注视频存在的可能目标区域而减少时间开销，避免了过度依赖短期时序关系造成目标位置预测的错误累加问题，从而准确地提取像素级别的目标位置，为无人驾驶车辆提供精确的目标区域方位，增加驾驶的安全性能。

技术领域

本发明属于视频处理技术领域，具体是目标提取技术领域，涉及一种面向无人驾驶的前背景编解码器网络目标提取方法。

背景技术

无人驾驶作为便利人们未来出行的重要方式近年来受到学术界和产业界的广泛关注。无人驾驶技术的要求能够获取实时视频路况信息，理解路况视频的内容并据此发出驾驶操作指令。而理解视频内容作为其中的关键与难点成为研究人员的攻关课题。具体而言，理解路况的视频内容首先要确定路面上不同目标的位置与类别(如行人、车辆、行道树等等)，并进一步结合如雷达测距等其他信息准确判定应执行的驾驶操作类别。而视频目标提取作为一种针对视频的预处理技术，能够从像素级别提取任意目标的位置与类别信息，向车辆中央控制系统提供更加精确的目标区域方位，从而提高无人驾驶的安全性能。

视频目标提取顾名思义是针对给定视频逐帧地将一个或多个目标从背景中提取出像素级的区域。目前的主流方法主要考虑三种场景：1)提供了视频首帧图像目标标注的半监督视频目标提取；2)未提供视频首帧目标标注的无监督视频目标提取；3)模拟用户交互的交互式视频目标提取(提取过程中可交互地提供弱化的目标标注，如在目标上画一笔作为标注)，其中关于第一种半监督视频目标提取场景的研究较多。

视频目标提取面临着诸多挑战，例如目标之间的相互遮挡、背景中存在与目标相似的实体、目标外观与尺寸的巨大变化、快速运动带来的模糊现象等等。借助以深层神经网络为代表的深度学习技术，研究人员提出了许多方法来处理视频目标提取问题。现有的模型和方法主要针对视频的三种不同输入信息：1)原始视频帧；2)原始视频帧的感兴趣区域(Region of Interest，简称ROI)；3)视频前一帧的预测掩膜(即提取结果)与当前视频帧(一般将两者沿着通道方向叠加)。具体来说，第一种是原始视频帧，保留了原始图像信息，但在视频目标提取任务中缺少时序信息；第二种使用ROI对视频进行裁剪获得目标的粗略位置信息，有利于后续更准确地提取目标位置，但增加了视频的预处理时间且不是端到端(存在多个独立优化目标)的模型；第三种虽然拥有前一帧的目标掩膜信息，但是直接与当前帧叠加不能明确提供足够的指导信息用于网络模型训练，使得视频中的目标信息获取变得困难，从而增加了目标提取任务的复杂度。上述方法在处理输入信息时存在各自的缺陷，无法为后续视频目标的提取过程提供充分的目标信息。因此，为了提高无人驾驶的安全性能，有必要需要设计一种既能有效利用视频帧的时序相关性又能在输入信息中提供丰富目标信息的方法，以更准确地提取视频中的目标。

发明内容

本发明的目的就是针对现有技术的不足，提供一种面向无人驾驶的前背景编解码器网络目标提取方法，充分结合目标空间信息与环境中包含的上下文信息获得更加准确的目标位置预测信息，能向无人驾驶中的车辆智能控制系统提供更加准确的目标位置信息，从而增加无人驾驶场景的安全系数。

本发明方法首先获取无人驾驶场景的视频数据集合，然后进行以下操作：

步骤(1).对视频采样，获得帧序列，构建包括编码器、非局部模块和解码器的前景网络和背景网络；

步骤(2).依次处理帧图像，经过扩张和侵蚀处理获得放大和缩小的目标掩膜，并据此分别得到前景帧图像和背景帧图像；

步骤(3).将前景帧图像和背景帧图像分别输入前景网络和背景网络的编码器，获得前景特征表示和背景特征表示；