[发明专利]级联手工特征与深度特征的视频关键帧检测方法在审
申请号: | 201911079839.8 | 申请日: | 2019-11-07 |
公开(公告)号: | CN110826491A | 公开(公告)日: | 2020-02-21 |
发明(设计)人: | 毋立芳;赵宽;简萌 | 申请(专利权)人: | 北京工业大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京思海天达知识产权代理有限公司 11203 | 代理人: | 刘萍 |
地址: | 100124 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 级联 手工 特征 深度 视频 关键 检测 方法 | ||
一种手工特征与深度特征相结合的视频关键帧检测方法用于体育视频内容分析领域。基于深度特征的方法因为网络结构复杂,导致效率不高。广播视频还包括很多其他类型的镜头如中场休息、渐变镜头等。检测结果包含大量无关帧。针对这一问题,提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,该方法能够快速、可靠地提取关键帧。
技术领域
本发明主要用于体育视频内容分析领域,具体涉及图像特征提取,镜头分割,神经网络分析等数字图像处理技术。可快速有效的检测出体育视频中的关键帧,进而进行视频内容的分析。
背景技术
视频关键帧提取即在一段成千上万帧的视频中自动提取出需要的某一帧。人工操作会耗费大量的时间和精力,关键帧检测算法的出现可根据视频的帧间特征和自身特性将关键帧快速准确的检测出来。常用的关键帧检测方法包括背景差分法、光流法等。背景差分法通过背景建模,与视频中的各帧进行比较,以此来检测运动目标。该方法检测速度较快,但受背景影响大,在背景变化剧烈的情况下会使背景建模难度增大,从而影响运动目标检测效果。光流法对于运动目标的检测效果显著,将图像中每一个像素点作为一个运动矢量,通过提取光流,检测出每个点的运动过程,从而判断运动状态,进行关键帧的检测,但光流法自身计算复杂度较大,对于上万帧的视频实用性较差。颜色直方图特征统计颜色组成利用某种距离度量策略即可判断相邻两帧的相似度,在视频关键帧检测、镜头分割领域应用比较广泛。曲阳提出了HOG和HSV相结合的方法能得到较高的查全率,但查准率比较低,而且HOG特征计算量大,耗时较多。
目前深度学习在图像处理领域应用广泛,对一些典型问题如图像分类等远超传统人工特征。Wu等人面向举重视频关键姿态检测提出FCN和CNN相结合的方法,取得不错的效果。但其采用两种深度框架相结合,处理速度很慢,不能实时化。因此将手工特征和深度特征相结合是一个合理的思路。杨非凡等人采用了SIFT特征进行关键点检测,得到很多候选局部图像,进一步,在每一张图像上提取少量区域作为候选,并通过AlexNet提取候选区域的深度特征,在文中铁路视频中取得较好的效果,但因采用SIFT特征,并且每帧图像均要送入神经网络进行分类,因此速度上无法实现实时性。
发明内容
为解决上述问题,发明了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征对一场比赛视频进行镜头边界检测,获取镜头最后一帧。进一步基于直方图相似性得到候选关键帧。最后基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。冰壶比赛视频通常是二到三个小时,包含数十万帧图像,通过利用简单有效的颜色直方图来进行视频的镜头分割,从20万左右的视频帧得到700个左右的候选关键帧,利用本文提出的筛选方法过滤掉大量的负样本。进一步基于深度神经网络分类模型能够准确地提取图像特征,保证了关键帧提取正确率。
本发明的具体步骤如下:
1.视频的选择
选择一场完整比赛的视频,比如篮球比赛视频、冰壶比赛视频等,该视频作为本发明的输入。
2.镜头分割
本步骤是基于颜色直方图特征的镜头分割。主要是通过提取视频每一帧的颜色直方图特征,通过比较相邻两帧的特征值的距离,当此距离大于设定的阈值时,则判断此时发生了镜头跳变,保存每一镜头的最后一帧。
颜色直方图特征提取 颜色直方图即R、G、B三个颜色通道上各种颜色出现的概率。每个颜色通道上均是256维的向量,为了减少计算的复杂度,提高检测速度,本发明将每个颜色通道上特征维度量化成16维的向量。比如蓝色通道为原256维颜色向量,按照每相邻16个颜色统计值相加组合成1维,最终蓝色通道称为16维的向量。量化公式为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911079839.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:电池包箱体截面设计方法
- 下一篇:一种家用的风湿病理疗仪器