[发明专利]一种自动分割和分类体育视频镜头的方法和装置

说明书

技术领域

本发明涉及视频镜头分割方法及其装置，特别是涉及一种对于体育视频镜头自动分割和分类的方法和装置。

背景技术

在体育视频中，镜头是体育视频的基本结构单元，体育视频镜头通常指的是由单一相机视角拍摄所形成一组连续的图像帧。不同类型的体育视频镜头表现了不同的语义内容，如远景镜头通常反映的是比赛的全局情况，而中景镜头通常是对比赛队员的动作跟踪，而特写镜头通常是对队员和裁判的近距离特写，一般出现在比赛的暂停阶段。体育视频的镜头分割可以采用一般视频的分割方法，通过相邻帧的相似程度得到镜头的边界，但是现有方法没有考虑体育视频镜头的特殊性，即运动快，结构具有重复性等特点，因此镜头分割结果并不准确。对于体育视频镜头分类，现有的一些方法主要采用领域知识和特定的规则，如根据草色比例和人员大小对足球视频镜头分割和分类，这些方法能够对特定的体育视频取得很好的效果，但是不具有通用性，不用的体育视频要根据各自的特点推导出不同的分类规则。

另一方面，体育视频的类型众多，但是大致可以分成远景、中景和特写三种镜头类型。体育视频镜头分割和分类的目的就是从体育视频中将这三类镜头分割出来并标注其镜头类型，从而为体育视频建立结构化的索引。但是鉴于不同的体育视频的镜头具有不同的表现形式，要求所选取的镜头特征既能代表不同镜头类型的特点，又具有通用性以便能够适用在不同的体育视频上。

发明内容

本发明的目的是提供一种通用的体育视频镜头分割和分类方法，能够自动的对体育视频镜头进行分割和分类，从而为体育视频建立结构索引，进一步的用于体育视频的语义内容分析。

为此，本发明选取了颜色和运动两个特征作为通用的镜头特征，通过提取颜色和运动信息的差分得到更为精准的镜头特征。由于镜头是由一组连续的视频帧构成，也就是一段时序信号流，因此对体育视频镜头进行分割和分类需要建立合适的时序模型来模拟镜头中的时序信号的转换。而隐马尔可夫模型能够很好的解释时序信号的变化，本发明采用隐马尔可夫模型为每种镜头类型建模。而一段体育视频可以看作是不同类型镜头之间的连接和转换，所以对于一段未知的体育视频流，镜头分割和分类任务可以看成找到一条最佳的镜头模型连接和转换序列。为此，本发明构造了一种镜头网络，它包括所有可能的镜头模型序列，其中网络中的每条路径对应一种镜头模型序列，找到最佳的路径也就找到了最佳的镜头分割和分类结果。实现了镜头分割和分类的同时进行，提高了镜头分割和分类的处理速度。

根据本发明的第一方面，提供了一种体育视频镜头自动分割和分类的方法，该方法包括下列步骤：1)将一个镜头分成多个镜头采样单元(Shot Sample Unit-SSU)的序列；2)根据每个SSU中的视频帧计算每个SSU的颜色相关特征和运动相关特征；3)根据HMM(隐马尔可夫模型)镜头模型通过镜头网络计算每个镜头模型的对数概率；4)选取对数概率(log概率)和最大的模型序列，其中，该序列中的各个模型的状态序列与相应的SSU序列对应。

根据本发明的第二方面，提供了一种体育视频镜头自动分割和分类的装置，包括下列部件：1)将一个镜头分成多个镜头采样单元(SSU)的序列的部件；2)根据每个SSU中的视频帧计算每个SSU的颜色相关特征和运动相关特征的部件；3)根据HMM(隐马尔可夫模型)镜头模型通过镜头网络计算每个镜头模型的对数概率(log概率)的部件；4)选取对数概率之和最大的模型序列的部件，其中，该序列中的各个模型的状态序列与相应的SSU序列对应。

本发明的优点在于：

1、将每类镜头分成连续的SSU序列，更好的反映了镜头的边界和时序特征；

2、采用隐马尔可夫模型为每类镜头建模，能够更好的模拟镜头中的SSU序列的变化；

3、采用颜色和运动相关的信息，易于特征计算和提取；

4、建立镜头网络来识别体育视频流实现了镜头的自动分割和分类。

附图说明

图1示意三类镜头模型，(a)为远景镜头，(b)为中景镜头，(c)为特写镜头；

图2表示镜头采样单元(SSU)序列；

图3表示从左向右无跳转的5状态隐马尔可夫模型；

图4示意一个镜头网络。

具体实施方式

体育视频都可以分为以下三类镜头，即远景镜头，中景镜头和特写镜头，如图1所示。本发明的目的就是自动分割和分类体育视频中的这三类镜头。下面结合附图对本发明作进一步的描述。