[发明专利]一种基于全局运动统计特征的团队体育视频关键帧提取方法

权利要求书

1.一种基于全局运动统计特征的团队体育视频关键帧提取方法，其特征在于，包括下列步骤：

步骤1：通过一种基于颜色特征的团队体育视频比赛镜头提取方法提取比赛镜头视频片段；

输入：原始团队体育视频

输出：比赛镜头视频片段集合；

步骤2：提取每个镜头视频片段中视频帧的混合光流并估计全局运动；

输入：比赛镜头视频片段的视频帧

输出：视频帧对应的全局光流场；

步骤3：计算视频帧对应的全局运动统计特征，包括镜头缩放量和平移量；

输入：视频帧四个角点的全局光流值

输出：全局运动统计特征，包括镜头的缩放量和平移量；

其中矩形P_tlP_blP_brP_tr代表原始镜头范围，矩形P’_tlP’_blP’_brP′_tr代表变换后的镜头范围；

式中X_zoom，Y_zoom分别为镜头在X，Y方向上的缩放向量，MAG_zoom则是镜头的合缩放量；(x_tl，y_tl)，(x_br，y_br)分别为视频帧左上和右下角点的全局运动向量；

X_trans＝x_tl-X_zoom

Y_trans＝y_tl-Y_zoom

式中X_trans，Y_trans分别为镜头在X，Y方向上的平移向量，DIS_trans则是镜头的合平移量；

步骤4：基于镜头的水平平移量，将镜头视频片段进一步切分为细粒度视频片段；

输入：比赛镜头视频片段集合

输出：细粒度视频片段集合

Trans_con＝SGN(X_trans(FFame_i)·X_trans(FFame_i+1))

其中SGN(x)函数返回x的符号，x＞0，则SGN(x)＝1；x＝0，则SGN(x)＝0；x＜0，则SGN(x)＝-1；X_trans(FFame_i)，X_trans(Frame_i+1)分别为第i帧，第i+1帧对应镜头在X方向上的平移向量；

具体操作：在每个镜头视频片段中，逐一计算第i帧与第i+1帧对应的Trans_con，如果Trans_con＝-1，则分隔开第i帧与第i+1帧，直至计算到每个镜头视频片段的倒数第二个视频帧为止；之后将第一个间隔之前的帧存为第一个细粒度视频片段，之后将每两个间隔之间的帧存为相应的细粒度视频片段，最后一个细粒度视频片段由最后一个间隔之后的所有帧组成；

步骤5：绘制镜头合平移量和合缩放量的曲线，依据曲线的极大值提取每个细粒度视频片段中的候选关键帧；

输入：细粒度视频片段集合的所有视频帧

输出：候选关键帧集

步骤一)：对每个细粒度视频片段，绘制视频帧序列的合缩放量变化曲线MAG_zoom(f)以及合平移量变化曲线DIS_trans(f)，f为视频帧序列对应的帧号；

步骤二)：同时扫描合平移量与合缩放量变化曲线；以合缩放量变化曲线为例，找到f₁，f₃，f₂为连续的三个视频帧，如果MAG_zoom(f₃)＞MAG_zoom(f₁)且MAG_zoom(f₃)＞MAG_zoom(f₂)，则f₃为MAG_zoom(f)曲线的一个极大值对应的帧号；DIS_trans(f)曲线同理；若同帧号的f₃既为MAG_zoom(f)曲线的极大值对应的帧号，又是DIS_trans(f)曲线的极大值对应的帧号，则把f₃对应的帧选为关键帧；

步骤三)：重复步骤二)直至查找完毕；

步骤四)：遍历已经提取出的初步关键帧集，找到两帧k₁，k₂，如果k₂-k₁≥med则提取原细粒度视频片段帧集中帧号(表示对x向下取整)的视频帧，并存入按帧号大小排列的候选关键帧集中；

med取值：

篮球：35

足球：88

橄榄球：53

曲棍球：160

步骤五)：重复步骤四)直至查找完毕；

步骤6：结合时空一致性与层次聚类从候选关键帧集中提取代表性关键帧，得到最终的关键帧集合；

输入：候选关键帧集

输出：最终关键帧集

基于时空一致性的代表性关键帧提取：

步骤一：将所有候选关键帧对应的全局光流场进行彩色编码，得到全局光流图像；

步骤二：将所有全局光流图像从RGB颜色空间转换至HSI颜色空间；

步骤三：将所有HSI颜色空间的全局光流图像按对应关键帧的时间序列进行排序；

步骤四：计算所有HSI颜色空间的全局光流图像对应的HI通道二维直方图；

步骤五：计算相邻图像HI通道二维直方图的巴氏距离B；

巴氏距离用于测量两个离散数据的概率分布；在直方图相似度计算时，巴氏距离具有很好的效果，其计算直方图相似度的公式如下：

其中，h₁和h₂为两个直方图，n为直方图组数，h_i[m]表示第m组对应的频率；值越小，相关度越高，完全匹配为0，完全不匹配则为1；

步骤六：如果B＞TH_B，检测这两幅相邻图像对应的关键帧是否被提取，如果未被提取，则提取未被提取的关键帧；

基于层次聚类的代表性关键帧提取：

步骤七：将所有全局光流图像按对应关键帧此前所在的细粒度视频片段进行分组，且按时间序列进行排序；

步骤八：计算每幅全局光流图像对应的RGB三通道直方图，并横向拼接为一个包含768个特征值的数组；

步骤九：对每组中所有全局光流图像对应的数组进行层次聚类，将簇间距离阈值设置为TH_HC；

步骤十：提取聚类后每一簇中，与每个数组距离最小的数组对应的关键帧；

步骤十一：检测每个细粒度视频片段的首末候选关键帧是否被提取，如果未被提取，则提取未被提取的关键帧；

步骤十二：将上述提取出的关键帧取并集，移除重复的关键帧；得到最终的关键帧集；

TH_B,TH_HC推荐取值：

高召回率：

篮球：TH_B＝0.22，TH_HC＝4.00

足球：TH_B＝0.36，TH_HC＝8.00

橄榄球：TH_B＝0.17，TH_HC＝9.00

曲棍球：TH_B＝0.14，TH_HC＝3.50

高F值：

篮球：TH_B＝0.26，TH_HC＝3.80

足球：TH_B＝0.40，TH_HC＝7.00

橄榄球：TH_B＝0.20，TH_HC＝6.50

曲棍球：TH_B＝0.24，TH_HC＝3.00

在统计比赛技术数据时，采用高召回率模式保证数据准确度，尽可能少地遗漏关键事件；而在快速浏览比赛内容以及存储视频时，则采用高F值模式。

2.根据权利要求1所述的一种基于全局运动统计特征的团队体育视频关键帧提取方法，其特征在于，

步骤1具体如下：

S＝{S₁，S₂，......，S_S}：经过视频切分后的镜头视频片段集合；

F：镜头视频片段的视频帧集合；

AM_R：视频帧中所有像素点对应R通道取值的算术平均值；

AM_G：视频帧中所有像素点对应G通道取值的算术平均值；

AM_B：视频帧中所有像素点对应B通道取值的算术平均值；

R_R：镜头视频片段中AM_R的极差；

R_G：镜头视频片段中AM_G的极差；

R_B：镜头视频片段中AM_B的极差；

镜头视频片段中所有视频帧对应AM_R的算术平均值；

镜头视频片段中所有视频帧对应AM_G的算术平均值；

镜头视频片段中所有视频帧对应AM_B的算术平均值；

A_RGB：将按行顺序堆叠的数组；

C_max：经过K-means聚类后拥有镜头视频片段最多的一类；

TH_BS：用于区分候选基准镜头和所有其他镜头的阈值；

CBS：候选基准镜头视频片段集合；

S_FM：CBS中具有视频帧数最多的镜头视频片段；

镜头视频片段S_FM对应的

镜头视频片段S_FM对应的

镜头视频片段S_FM对应的

与的百分误差；

与的百分误差；

与的百分误差；

TH_GS：用于区分比赛镜头和非比赛镜头的阈值；

S’：比赛镜头视频片段集合；

步骤一：切分视频为视频镜头片段，并将视频按图片形式逐帧保存，得到S

步骤二：计算所有视频帧的AM_R,AM_G,AM_B

步骤三：计算所有镜头视频片段的R_R,R_G,R_B；和A_RGB

步骤四：对所有镜头视频片段对应的A_RGB进行K-means聚类，并找出C_max

步骤五：对C_max中所有镜头视频片段进行如下操作：如果R_R,R_G,R_B中至少有一个小于等于TH_BS，则将该镜头视频片段存入CBS

步骤六：找到

步骤七：计算所有镜头视频片段的并对所有镜头视频片段进行如下操作：如果均小于等于TH_GS，则将其存入S’；

取值：TH_BS＝100,TH_GS＝15％。