[发明专利]一种基于模糊综合评价的视频情感内容识别方法

说明书

技术领域

本发明属于视频内容分析领域，特别是一种基于模糊综合评价的视频情感内容识别方法。

背景技术

随着多媒体技术与网络技术的发展，数字视频逐渐成为现代信息系统的主要媒体形式。在海量的视频数据和快节奏的生活环境中，人们没有时间也没有兴趣将所有的视频文件挨个观看，往往只根据个人的爱好寻找感兴趣的、令人兴奋或令人恐怖的视频或视频片断，这些特征表明人们需要一个个性化情感视频应用服务技术。自从Picard教授提出“情感计算”(Affective Computing)概念以来，视频情感内容计算被众多学者认为是实现个性化视频服务技术(Personalization Service Technology)和缩短“语义鸿沟”的一个有效途径，有助于进一步完善多媒体内容描述接口MPEG-7。目前，视频情感内容分析技术已经成为多媒体内容分析领域研究的热点问题。

现有的技术中，如文献“Affective content detection using HMMs”[Hong-Bong Kang，ACM internationalconference on Multimedia 2003，PP：259-262]所述，视频情感内容分析的一般方法是首先进行视频结构化处理，包括镜头边界检测、关键帧选择、场景边界检测，以镜头或场景作为视频情感内容分析基本结构单元；然后在每个镜头内部提取关键帧来表示镜头的视觉内容，从关键帧提取颜色、纹理、形状等低层特征，同时提取镜头对应的音频片段的低层特征，从而获得镜头或场景低层特征向量用于情感内容分析；最后，利用分类器或规则推理等方法建立低层特征空间和情感类型空间之间的链接桥梁。这类方法存在的问题是：大部分从低层特征层次来考虑情感内容问题，但是人们根本无法根据低层特征重构镜头或场景诱发的情感类型，也即是他们之间存在“情感鸿沟”，因此，直接建立低层特征和情感空间之间的桥接模型难以解决“情感鸿沟”问题，识别精确度(介于50％与71％之间)还不能满足人们的要求。另外，在2007年，文献“Videoaffective content representation and recognition using video affective tree and Hidden Markov Model”[Sun K andYu J Q，ACII，2007，PP：594-605]用视频情感树高层特征来表示视频内容，在高层特征空间上使用HMM模型建立两者之间的映射模型，识别精确度有所提高。但是，由于视频情感内容具有模糊属性，而目前提出的方法都没有考虑到该属性。

发明内容

针对现有视频情感内容分析技术存在的缺陷，本发明的目的是提出一种基于模糊综合评价的视频情感内容识别方法，该方法不仅考虑情感的模糊属性，而且在高层上考虑视频情感内容，能够提高视频情感内容的识别精确度和识全率，有助于推动个性化视频服务，有助于缩短“语义鸿沟”和改善多媒体内容描述接口MPEG-7。

为实现上述目的，本发明包括以下步骤：

(1)将RGB颜色空间转变为HSL颜色空间，用符合人类视觉感知的颜色空间来表示视觉内容；

(2)对视频数据库进行镜头分割，以镜头作为基本结构单元，进一步提取镜头低层特征向量；

(3)对镜头边界进行检测以识别场景边界，以场景作为研究单元，进一步提取场景低层特征向量；

(4)改进模糊综合评价模型，计算出能够反映场景情感信息的场景高层特征向量；

(5)利用高层特征向量和人工神经网络识别该场景诱发观众产生的基本情感类型。

进一步来说，步骤(2)中对视频数据库进行镜头分割的方法最好为鲁棒性好的算法，低层特征提取模型设为y_i(t)＝F_i(x_i(t))，其中t表示第t个镜头，x_i(t)表示第t个镜头第i个低层特征基本数据，y_i(t)表示第t个镜头第i个低层特征值，i＝1，2，...，m；