[发明专利]一种基于HVS的视频感兴趣区域提取方法

说明书

技术领域

本发明涉及一种视频信号的处理方法，特别涉及一种基于HVS的视频感兴趣区域提取方法。 

背景技术

视频服务的终端用户对视频质量的评价是最可靠的结果。然而这种主观评价方法，因其不具备实时性、耗时长并且过程繁琐。实际研究和工程中会使用多种结合了人眼视觉特性的客观评价方法来模拟主观评价效果。通过这样的途径获得与主观评价相匹配的结果。 

人眼视觉特性包括视觉空间特性和时间特性，这是由人眼的结构特性决定的。神经生物学的观点认为，人眼视觉敏感度决定了图像和视频在人眼中的感官质量变化。在静止的图像中，人眼视觉敏感度主要体现在空间特性上，常用的人眼视觉特性为视觉非线性、对比敏感度、多通道结构和掩盖效应等。而对时间连续的视频序列，人眼视觉会还有时间特性上的敏感性，视频质量评价中用运动检测等方法来体现这种时间上的敏感性。同时，这些人眼视觉系统（HVS）的生理的和心理视觉的显著特征，决定了人眼对视频序列中多个场景的感兴趣程度会不同。换言之，人眼会将注意力集中在少数几个显著的视觉对象上，这些视觉对象被称为感兴趣区域（ROI）。我们认为视频中感兴趣区域的存在，是人眼视觉特性的时间和空间特性的综合体现。首先，将ROI这种HVS特性加入客观评价方法，能显著提高评价结果的可靠性和真实性，即更符合主观评价结果。其次，基于ROI加权策略的客观评价方法，只对ROI内的视觉对象进行质量评估，能大大降低算法复杂度。因此，如何提取ROI是一个很值得关注的问题。 

视频感兴趣区域是视觉感兴趣程度大于某个阈值的视觉对象的集合。现有很多方法用于表示视觉感兴趣程度。为了获得视觉感兴趣映射图，有些方法采用了运动检测，有些方法计算视频帧的空间特性。然而，ROI是HVS的时间和空间特征的综合体现。仅计算了空间或者时间感兴趣程度的方法，所获得的感兴趣区域精确度较低。另外，有的方法采用综合了多种视觉特征的概率密度函数来表示视觉感兴趣程度，这类方法需要在高维空间中计算，十分复杂。 

视频或图像中一个区域的视觉信息量大小能影响其视觉显著程度。1991年T.N.Topper提出用香农自信息量来度量静止图像的显著度。而图像的显著度只是空间性的显著度，对于 视频来说，需要加入时域显著度，并且将时域空域显著度恰当结合才能提取到更准确的感兴趣区域。已有一种基于视觉信息量的ROI提取方法，其模型中将视频表示为时空域块的集合，巧妙地表示了每块区域的时空显著度，从而能得到基于视觉信息的ROI映射。然而，视觉显著度与感兴趣程度的映射并非为线性的，比如两个重要的人眼视觉特性：运动敏感性和视觉迟滞性，这两个特性将对视频显著度造成影响。 

本发明从信息论的角度，基于视频的帧间相关性和帧内相关性，提取出视频的时域信息量和空域信息量，并以一定策略加权获得视频视觉信息量。同时，采用了基于HVS的非线性映射，将视觉信息量映射为视觉显著度。最后，使用自适应阈值对视觉显著度进行判断，获得的感兴趣区域与主观结果一致性较高。 

发明内容

本发明所要解决的技术问题是提供一种以较低的算法复杂度、提取的感兴趣区域精度较高的基于HVS的视频感兴趣区域提取方法。 

本发明所述的一种基于HVS的视频感兴趣区域提取方法，该方法至少包括如下的步骤： 

步骤1：将视频时域特征和空域特征分别表示为视频的时域信息量和空域信息量，根据视频的帧间相关性和帧内相关性计算出时域信息量I_temporal和空域信息量I_spatial； 

步骤2：采用特征融合策略将视频时域信息与空域信息加权，如下式计算视频信息量； 

I＝αI_temporal+βI_spatial

其中系数α与β取决于视频序列的运动复杂度和空间复杂度的相对强度； 

步骤3：定义视频特征为视频信息量，定义人眼实际观察到的视频特征为视觉显著度，根据下式的视觉迟滞性映射模型可以由视频信息量获得视频的视觉显著度； 

S＝F(I) 

步骤4：依据视频序列当前帧的视觉显著度分布，获取一个自适应阈值，将该帧视觉显著度二值化，从而提取当前帧的视觉感兴趣区域。 

本发明所述的一种基于HVS的视频感兴趣区域提取方法，步骤1中的视频时域信息量的计算其步骤为：