[发明专利]一种基于视频内容的提取视频注意窗序列的方法及系统

说明书

技术领域

本发明涉及一种基于视频内容的提取视频注意窗序列的方法及系统，属于 多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

随着数字图像和数字视频信息摄录技术的快速进步和多媒体、互联网技术 以及无线通讯技术的迅猛发展，大量数字图像和视频信息得以便捷快速地传输 和收发，使得在世界各地的互联网或无线通讯用户可以在任何地点任何时间方 便快捷地和朋友们一起分享他们感兴趣的视频内容。而各种终端设备的更新变 换也给视频内容的传输和浏览提出了新的要求，带来了新的机遇和挑战。

在视频监控和移动通信的场景中，传统的视频通信方式直接将原始的高分 辨率视频在服务器和终端之间进行传输，这将占用大量的网络存储和信道带宽。 Navin Chaddha等人于1998年6月16日公开的美国专利第5,768,535号 “Software-Based Encoder For A Software-Implemented End-To-End Scalable Video Delivery System”中，提出了一种将不同分辨率的同源视频流传输给不同的用户 终端，不同的用户终端根据所接收的视频流的质量可分辨情况，选择适合该视 频流播放的分辨率进行播放的这样一种视频播放方法。这种视频播放方法实现 起来虽然简单易行，但视频数据在通信传输过程中却需要占用大量带宽，因此 对网络环境的要求较高。再则，如果需要在显示屏幕尺寸较小的移动设备中播 放所接收到的高分辨率视频，该高分辨率视频的大量细节信息将被丢失，甚至 会导致一些重要的数据信息因为可视的尺寸过小而难以辨认。在由Zohar Sivan 等人公开的美国专利第6,281,874号专利申请，其发明名称为“Method And System For Downloading Graphic Images On The Internet”的文献中，发明 人提供了这样一种方法：服务器首先将低分辨率图像传输给终端，由终端选择 图像的感兴趣区域；然后进行用户终端与服务器之间的的交互，使得服务器能 够将用户终端感兴趣的高分辨率图像继续传输给用户终端。这种方法虽然节省 带宽，但需要用户终端与服务器之间进行交互，此外，这种方法仅对图像适用， 无法推广到视频处理领域。

针对以上这些数字图像和视频处理方法存在的问题，近几年开始出现利用 基于视频内容的显著性特征提取视频感兴趣区域，进而实现对视频特定区域进 行压缩和显示的方法。正如Itti等人在“L.Itti and C.Koch，Computational modeling of visual attention.Nature Rev.Neurosci.，2(3)，pages 194-203， Mar.2001.”中所论述的，在大多数情况下，用户出于不同的目的观看视频信 息时，更倾向于关注视频信息中特定的区域，比如用户往往倾向于浏览和监控 特定区域对象的出现，以及关注该对象的外观和运动的变化。此外，人们对所 关注的视频区域一般会比不被关注的视频区域具有更高的清晰度要求，只在少 数情况下才会对整个视频帧内容全都给予高度的关注度。因此，在视频剪辑和 压缩过程中，需要根据视频内容进行自适应的调整，对用户可能关注的部分提 供清晰的显示效果，而把不被关注的部分当作视觉冗余对其进行压缩或者裁剪， 以提高用户在不同情况下对视频的观看效果。