[发明专利]基于视觉注意力模型的广告标志插入和变换方法及系统

说明书

技术领域

本发明涉及一种图像和视频处理方法，尤其涉及一种基于视觉注意力模型的广告标志自动插入和变换方法及系统。

背景技术

随着视频广播技术的迅速发展，视频广播以及视频文件出现了爆炸式的增长；与此同时，在视频广播和视频文件中插入相应的广告标志进行广告宣传的方法也得到了广泛应用。例如，在常见的视频广播网站(如“优酷网”、“土豆网”等)浏览视频广播时，一般会在视频节目的右下角或右上角里添加相应的广告网站标志。在观看电视节目时，也会经常看到叠加在电视视频节目上的有关节目赞助商的标志。然而，如附图1(a)所示，这种标志一般叠加在视频节目的固定位置，而且常常只在刚开始观看该视频节目的时候能够吸引用户的注意力。由于这些广告标志无法提供更多的观众感兴趣信息，随着视频观看时间的增长，往往作为背景区域被观众忽略掉，因此，很难起到充分的广告宣传作用。为了增强叠加广告标志的宣传作用，需要根据视频内容选择广告标志的插入时间、插入内容以及插入方式，以使广告标志能够不断引起观众注意，从而获得更加有效的宣传效果。如附图1(b)，图1(c)和图1(d)所示，通过对插入的广告标志进行平移、缩放和颜色变换，可以起到在不影响观众对主要内容观看的前提下，吸引观众的注意力。

目前，在视频序列中插入广告标志主要是通过检测预定义的区域并在其上叠加广告标识的方法实现的。例如，专利申请“基于事件检测的体育节目中虚拟广告自动插入方法”(申请号：200310116045.7)中，针对体育比赛进行事件检测，通过该事件检测进行比赛场地分割，并在不同的事件场景下对不同的预定义的区域插入虚拟广告。专利申请“将附加内容插入视频的方法和装置”(申请号：200510084584.6)中，则是以在体育比赛中插入广告内容为实施例描述了一种在视频中插入附加内容的方法和系统。在现有的这些插入广告标识的方法中，通常是通过检测镜头边缘来确定各镜头的镜头属性，从而计算单帧或镜头的相关参考值，并根据所计算出的相关参考值来确定插入广告的时间；然后，根据对区域分割的结果确定广告插入的位置，并根据目标区域的大小来确定插入标志、字幕或者视频片段。

这些现有技术通常是通过检测预定义的场景来确定插入广告的时间，并通过预定的规则来确定广告插入的位置和内容。一般来说，现有广告插入方法存在以下不足：

1)基于预定义的场景确认插入时间和位置的方法难以具有推广性。对于有固定模式的视频，如体育比赛等，容易定义有限的场景选择性地进行广告插入；但对泛化的视频来说，如电视剧、新闻等，很难预先定义适合广告插入的场景。因此，需要一种确定广告插入时间和位置的普适方法。

2)不能保证广告能够重复吸引观众的注意力。一般来说，直接的广告插入并不能保证能够重复多次吸引用户的注意力。例如，如果在一个静态场景中仅仅插入静态的标志、字幕等，那么就只能在视频广播开始时吸引用户的注意力；随着观众对广告区域的熟悉，就会逐渐忽略掉这些广告区域。总的来说，突发的变换或者能够持续提供新信息的位置更能吸引用户的注意力，这就需要通过对所插入的广告标志进行自动变换，以便引起观众的持续关注。

由以上分析可知，为了在不影响用户观看的条件下对任意内容的视频确定插入广告标志的时间和位置，需要构建符合用户的视觉心理学特征的用户兴趣模型，以便实现观众对任意视频内容的关注程度与关注位置的预测。此外，为了确保在观众对视频原始内容不感兴趣的情况下，广告标志能够持续地吸引观众的注意力，需要一种广告标志自动插入和变换方法。

发明内容

为了克服现有技术的不足，本发明所解决的技术问题是：在不影响用户观看的条件下将广告标志自动插入到任意内容的视频中；同时在观众对视频原始内容不感兴趣的情况下对广告标志进行自动变换以使其能够持续地吸引观众的注意力。

本发明提供一种基于视觉注意力模型的广告标志自动插入和变换方法。该方法主要包括以下几个步骤：

步骤1根据用户的视觉注意力模型，预测用户对视频每帧各区域的感兴趣程度以及对各帧的关注程度；

步骤2根据预测出的各帧的关注程度曲线，确定广告插入的时间点，所述广告插入的时间点具体是通过下述方法得到：根据预定义的广告宣传效果要求来计算阈值，然后选取所有所受关注程度小于此阈值的帧来作为候选的广告插入时间点；