[发明专利]一种基于相对位移约束的智能裁剪视频重定向方法

说明书

为了保持重定向视频的时空连贯性和视频重要内容的重建质量，本发明提出一种基于相对位移约束的智能裁剪视频重定向方法。首先通过自适应融合空间显著度图与运动历史图得到每帧的重要度图；通过SIFT匹配算法和RANSAC方法得到帧与帧之间的相对位移,将其加入时间连贯性约束项；然后对通过场景检测分组后的视频组进行缩放优化，确定其最佳重定向窗口和缩放因子；最后利用对应的重定向窗口和缩放因子对该视频组进行重定向。若存在跳变帧，通过反馈机制对其重要度图进行平滑处理后,再次进行缩放优化和重定向，以减少抖动。实验结果表明，与现有视频重定向方法对比，该方法不仅能获得较好的视频重要内容的重建质量，并有效地减少重定向视频的抖动。

技术领域

本发明属于视频处理技术领域，更具体地，涉及一种基于相对位移约束的智能裁剪视频重定向方法。

背景技术

如今，由于通信网络资源的丰富和压缩技术的快速高效发展，使得我们可以在各式各样的、尺寸大小不一的移动设备和流媒体终端显示播放视频。例如电视、手机、平板电脑，和室外各种投放图像、视频的LED显示屏等等。因此，如何对视频的大小进行调整，使得视频能够在这些尺寸大小不一的多种多样的移动设备和流媒体终端播放，同时还能尽可能的保证观者的视觉体验。这是一个值得深究的问题，将此问题称之为视频重定向^[1]。

实现视频重定向的传统方法有三种，分别是：裁剪、均匀缩放、和对屏幕边缘进行填充。传统的裁剪方法没有考虑到视频帧中显著内容的区域或位置，而是直接将视频帧四周的内容裁掉，只保留中心区域调整视频大小。传统的均匀缩放方法没有考虑到视频帧中显著内容，而是统一对待整幅视频帧，直接对视频帧缩放来达到调整视频大小的目的。传统的对屏幕边缘进行填充的方法就是直接在视频帧上下方填充黑色来达到调整大小的目的。综上，由于传统的重定向方法都没有考虑到视频帧中的显著内容，所以得到的重定向视频结果效果不好，不能给予大众较为舒适的视觉体验。而基于内容感知的视频重定向方法则在充分考虑视频显著内容的基础上对视频进行重定向工作，在尽可能地保护了视频的显著内容同时，也有效地解决了视频在重定向时极容易产生的时域不连续性问题，有效地保护了视频显著内容和防止抖动，给予了大众更为舒适的视觉感官体验。这也是基于内容感知的视频重定向研究的意义所在，因此，基于内容感知的视频重定向方法便自然而然成为了近年来大多数研究学者研究的方向，特别是在当下这个各种流媒体、各式短视频盛行的新媒体时代，更是具有极高的应用范围和应用价值。

目前，基于内容的视频重定向方法主要有以下四类：基于细缝裁剪方法^[2]-[9]，基于非均匀映射的方法^[10]-[16]，基于多算子的方法^[24]-[30]，以及基于智能裁剪的方法^[17]-[30]。基于细缝剪裁的方法通过检测原始视频帧中对视频内容重要性影响最小的一条或多条像素细缝，对像素细缝进行增加或删除达到视频重定向的目的。但是，通过细缝裁剪方法找出来的细缝不可避免地会穿过视频的显著对象，使显著对象产生变形。基于非均匀映射的方法则通过将视频划分为一定数量的网格，依据各个网格的重要程度和时空上的约束对网格进行映射、变形、变换。但是，基于非均匀映射的方法得到的重定向视频易受所设置的网格大小影响，且对于不同类型的视频均采用相同大小的网格，不可避免地使部分重定向视频产生时空上的抖动。基于多算子的视频重定向算法是联合运用两种及以上的如裁剪、细缝裁剪、网格形变等技术的重定向算法。但是基于多算子的视频重定向方法在视频尺寸变化较大的情况下，重定向视频的时空连续性仍难以得到保证。基于智能裁剪的方法则是通过空间显著度图确定原始视频中每一帧的重要内容区域，根据重要内容区域的大小与重定向视频的大小，尽可能地保留重要内容，智能裁剪得到重定向结果。通过裁剪来减轻缩放、形变、细缝裁剪技术对视频造成的损害，有利于和保护视频的时空连贯性。但目前的视频重定向方法在处理运动速度较快、运动速度中等的视频上，得到的重定向视频未能保持较好的时间连贯性和视频的重要内容。

发明内容