[发明专利]基于判别光流张量和HMM的视频语义单元检测方法

说明书

技术领域

本发明涉及图像与视频处理技术领域，特别涉及视频运动特征提取和视频语义分析。具体地讲是一种基于判别光流张量和隐马尔可夫模型HMM的视频语义单元检测方法，可用于视频的内容分析和语义提取。

背景技术

近年来，随着多媒体通信，多媒体压缩、存储以及计算机网络枝术的飞速发展，各种多媒体信息尤其是视频信息在科研、教育、工业生产和人们的日常生活中得到了广泛的应用，并起到了越来越重要的作用。与传统的文本信息相比，视频信息的数据量巨大，因此为了使人们能准确、快速地获取所需信息，基于内容的视频信息检索技术一经提出，便成为了研究的热点问题；但由于视频内容的丰富和复杂性，使其很难用简单的文字方式进行表达，因此有效地对视频信息进行组织和检索，就必须采用有针对性的、符合视频结构特性并与人类主观感知相一致的方式来分析和表达视频内容。

视频语义单元检测是视频内容分析的主要方法，其目的是通过对视频固有特征的分析，如颜色、纹理、形状、运动特征等，提取高层语义信息，以符合人的主观认知与需求。因此该研究方向也是人们研究的热点与难点所在。

视频语义单元检测方法按不同的语义粒度可分为：1、镜头的分类：镜头是组成视频的最基本的物理单元以及语义单位，由于其连续性的物理特性，镜头往往构成特定的语义，或是某个更高层语义单位的组成部分，因此镜头的分类是视频语义分析的一项重要内容。2、事件的检测：视频事件是一种高级的语义概念，它往往表达了一个完整的语义信息，是人类从视频中获取语义信息的基本单元。由于事件的检测通常是针对人们所感兴趣的视频片断的分析与提取，因此其具有相当重要的研究价值，并被广泛应用于体育及新闻视频的语义分析中。

由于视频是一种上下文相关的时序型多媒体形式，较适合采用时间动态模型对其进行语义分析。而HMM作为一种有限状态的统计模型，最成功的应用就是对时间序列进行建模，例如对语音信号的处理与识别。因此，HMM被逐渐引入视频内容分析领域，用于对语义单元进行建模与分析，并进一步用于分类与识别。近年来，HMM在视频语义分析领域，尤其是针对体育视频，获得了广泛的应用，并取得了一定的研究成果。例如，将HMM用于检测足球比赛中的射门、角球、任意球等事件。但是它们都缺乏统一的框架，并且获得的语义较单一。微软亚洲研究院的Xu G和Zhang H J等人在IEEE上发表的一篇文章“Xu G，Ma Y F，Zhang H J，Yang S Q.An HMM-based framework for video semanticanalysis[J].IEEE Trans on Circuits and Systems for Video Technology，2005，15(11)：1422-1433”中提出将HMM用于基于运动特征提取的视频语义分析方法，为视频内容理解提供了一个较满意的解决方案。但是由于其特征选择单一，因此无法充分利用时间以及空间信息，从而影响了事件分析与识别的效果。因此需要对视频特征的提取方法进行改进，以便更好地利用视频中的时空信息进行进一步的视频语义分析。

视频语义单元建模中的一个最基本与首要的问题是提取合适的特征作为模型的输入，这种特征应当能很好地表征语义，从而建立起底层特征与高层语义间的桥梁。常用的视频特征可分为：1、颜色、纹理、形状等反映视频静态视觉特性的底层特征；2、视频的运动特征，由于运动特性是视频区别于其它多媒体信息的最显著的特征，它是镜头、事件等语义概念存在的基础，如何很好地利用视频的运动特征表征语义信息，是视频语义分析的关键技术，它将有效地加强利用HMM等模型进行语义分析的效果。

光流场分析一直被认为是对视频进行运动分析的有效手段，关于如何准确、有效地计算光流的方法也得到了广泛的研究。已有的光流场计算方法可大致分为以下四种：1、基于差分的方法；2、基于相位的方法；3、基于区域的方法；4、基于能量的方法。其中以第一种方法的计算效果最好，且计算代价最小，同时也易于实现。其代表算法是Lucas-Kanade算法，并由此改进为Hierarchical Lucas-Kanade方法。