[发明专利]一种基于长短期记忆的二维视频显著性检测方法

说明书

本发明涉及一种基于长短期记忆的二维视频显著性检测方法，其特征在于：首先利用3D卷积网络（3D‑ConvNet）提取短期时序特征；其次采用双向长短期记忆网（B‑ConvLSTM）提取长期时序特征；之后将提取到的短期时序特征和长期时序特征进行融合；最后通过融合结果反卷积得到显著性图。该模型结合了长期和短期的时序特征，可以有效的保留视频中显著目标的运行信息，在二维视频的显著性预测实验结果证明，提出的模型可以获得良好的检测效果。

技术领域

本发明涉及一种检测二维视频显著性的视觉注意力检测方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域，具体为一种基于长短期记忆的二维视频显著性检测方法。

背景技术

在视觉感知中视觉注意力是很重要的机理，它能够迅速的在自然图像中检测出显著信息，当通过观察自然图像时，选择性注意力会让通过专注于一些具体的显著信息，并且因为极限处理资源而忽略其他并不重要的信息。基本上视觉注意力方法可分为两种：自底向上和自顶向下；自底向上处理是数据驱动和任务独立下的自动显著区域检测，而自顶向下方法是涉及某些具体任务的认知过程。显著性检测模型旨在预测人们在场景观看期间注意视觉场景中的重要区域。已经有许多针对各种视觉任务设计的显著性预测方法，例如图像分割，目标检测，视频摘要，视频压缩等。大多数现有的显著性检测模型是针对静止图像设计的，而视频显著性检测的研究由于复杂的运动特征提取而受到限制。

传统的显著性检测模型主要从两方面着手，一是低级特征，如亮度，颜色，纹理和对比度；其次是语义信息，比如面部，人物和文本。然而，这些手工提取的方法无法综合考虑各种因素。此外，手工提取特征的方式也比较耗时。早期视频显著性检测模型是通过简单地扩展当前静态显著性检测模型和附加时间信息来设计的。由于采用光流的方式提取运动特征，它具有高计算复杂度，因此这些方法的适用性受到限制。对于这些视频显著性检测模型，它们主要遵循两个步骤：(1)从视频序列中提取空间和时间信息以分别计算空间显著图和时间显著图；(2)通过融合策略结合空间显著图和时间显著图来计算最终时空显著图。

Itti等人早期介绍了一种提取静态图像显著性的方法，通过使用多尺度中心环绕机制以及强度、颜色和方向的对比度来预测显著性。Li等人通过利用区域特征和图像细节，设计了一种自下而上的显著性方法，并优化了图像边界以提供更准确的显著性结果。Sun等人使用马尔可夫吸收概率建立显著性检测模型，除了常见的亮度、纹理、颜色、方向等低级特征外，还包括图像边界信息等信息。Zhu等人提出了边界连通性概念，其表示图像区域到图像边界的空间布局。与静态图像的显著性相比，视频显著性预测必须考虑视频序列中的运动信息。Mahadevan等人通过结合感知运动分组和中心环绕机制，设计了一种时空显著性检测方法。Liu等人提出了一种基于超像素的时空显著性预测模型。Leboran等人假设知觉特征可以用高阶统计结构表示，从而设计了显著性检测模型。Fang等人提出了一种通过不确定性加权来融合空间显著性和时间显著性的视频序列显著性方法。