[发明专利]一种基于视频情感特征与会话模型的视频推荐方法

说明书

技术领域

本发明属于多媒体处理领域，涉及视频的图像与声音分析、情感特征提取及相似度比较以及会话模型的建立，具体是一种基于视频情感特征与会话模型的视频推荐方法。

背景技术

基于内容的视频信息提取(Content Based Video Retrieval，简称CBVR)方法使用视频中的特征来获得用户感兴趣的视频，这一领域相对而言已经较为成熟。而视频情感内容的分析处理则是CBVR中最近兴起的一个方向，但是对其进行的研究正在不断增加。这一方向将视频处理和情感计算综合在一起，为视频内容的组织和信息挖掘提供了新的视角。情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能。

其中一种较为有效的处理方法为基于情感空间的情感内容分析方法。Hanjalic等人提出了一种诱力-激励(Valence-Arousal)模型，来对视频的情感特征进行描述(参考文献1：Hanjalic，A.，Li-Qun，X.，Affective Video Content Representation and Modeling，IEEE Tran.on Multimedia，2005)。他们通过从视频中提取图像、音频上的部分特征，并将特征进行处理后投射于一个二维情感空间中。这些特征组成的曲线，即“情感曲线”，能够用来可靠地检测用户情感状态的变化。Sun等人通过使用高斯混合模型和模糊逻辑等方法，将这一方法进行了扩充和改进(参考文献2：Sun，K.，Yu，J.，Huang，Y.，An improved valence-arousal emotion space for video affective content representation and recognition.ICME 2009)。

视频推荐是一个根据视频特征相似度大小，将不同于当前播放视频，但是从某些特征角度而言与当前视频相似的视频筛选出来的过程。已有的一些视频推荐方法，如Dimitrova等人提出的方法，利用两个视频间对应帧的平均距离作为相似度，并规定视频帧序列遵守时间顺序，以此给出所推荐视频(参考文献3：Nevenka Dimitrova and Mohamed Abdel-Mottaleb.Content-based video retrieval by example video clip.SPIE 3022.1997)。Koren等人提出的解决Netflix推荐问题的方法，则利用已有的用户观看历史数据推测用户喜好，并给出相应的相似度和推荐结果(参考文献4：Yehuda Koren.Factorization meets the neighborhood：a multifaceted collaborative filtering model.SIGKDD2008.)。这些方法达到了较好的效果，但是他们考量的因素均较为有限，如以大量样本作为依据，而较少考虑用户个人的喜好。

随着近年来在线视频数量的爆炸式增长，视频本身作为一种信息量更大的媒体，越来越多的出现在了网站、微博上。被互联网视频网站所使用的个性化推荐系统，基本使用源自于用户个人观看记录的数据和视频描述信息进行视频相似度的比较和视频推荐。这些系统利用的视频信息包括视频的来源、标题文本相似度等，但是对视频本身内容则很少进行分析。传统的互联网视频分享网站，例如Youtube、优酷等，大量利用视频的元数据和相关的文本描述信息，如视频标题、人工标注的标签、分类名称等，来进行相似视频的分辨和推荐工作。其他的一些网站，如Netflix等，借助于大量用户的行为数据进行聚类和推荐，而这种分类往往忽略了视频的内容，以及用户对于视频在满足其观看情感程度上的需求。

发明内容

本发明针对目前的视频推荐方法往往忽略了视频的内容，也忽略了用户对于视频在满足其观看情感程度上的需求的问题，提出了一种基于视频情感特征与会话模型的视频推荐方法。

本发明提出的基于视频情感特征与会话模型的视频推荐方法，采用视频的情感特征作为比较的基础，具体视频推荐方法包括以下步骤：

步骤1：对视频库中的每个视频，从该视频及其附属音轨中提取情感特征，包括帧运动量、镜头切变、声音能量和平均声音基频，根据获得的情感特征确定情感诱力和激励函数，合成诱力-激励(Valence-Arousal)曲线图，简称为V-A图。步骤2：将视频产生的V-A图进行均一化操作，通过使V-A图中所有像素按照一定比例缩放，并落在同一区间内，产生均一化V-A图。