[发明专利]基于卷积神经网络的镜头边界检测方法

说明书

本发明公开一种基于卷积神经网络的镜头边界检测方法，所述方法将视频分段，计算各段局部阈值，排除段内亮度距离低于阈值的段，对高于阈值的段进行两次二分处理，根据候选段和二分处理得到的小段的段内亮度距离的关系排除不含镜头边界的段，并对衡量结果进行分类得到突变边界候选段和渐变边界候选段；用卷积神经网络提取段内每帧的特征并利用特征间的余弦距离衡量帧间相似度；对突变边界候选段，根据连续两帧的帧间相似度和候选段首末帧的帧间相似度的关系确定该段是否存在突变边界及位置；对渐变边界候选段，计算绝对距离差并绘制曲线，进而确定该段是否为渐变边界并将相邻的渐变边界融合。本发明能准确的检测突变镜头边界和渐变镜头边界。

技术领域

本发明涉及的是一种可用于视频分析与检索中的镜头边界检测技术，具体是一种基于卷积神经网络的镜头边界检测方法。

背景技术

视频镜头边界检测是指检测视频镜头边界的位置。镜头被定义为用单一摄像机在未被干扰的情况下拍摄的一段视频帧序列。镜头边界分为两种类型：一种是突变镜头边界，突变镜头边界存在于连续两帧间，由上个镜头的最后一帧和下个镜头的第一帧所组成；另一种是渐变镜头边界，渐变镜头边界一般不止有两帧，它通常由一些帧间相关的帧组成，从上个镜头到下个镜头会存在较温和的过渡段。

视频镜头边界检测可以帮助分析视频的内容与结构，可以作为其他视频处理任务的预处理步骤，如视频标注和视频检索等，同时可以提高这些处理任务的精度与速度。因此，视频镜头边界检测具有重要意义。

现有的大部分镜头边界检测注重于突变镜头边界检测。突变镜头边界检测主要利用相邻镜头之间帧序列会发生剧烈变化这一特征。因此，这些检测方法会根据帧序列之间的图像信号层的特征的变化：像素的亮度值差，边界纹理特征变化，灰度直方图差等。与突变镜头边界检测相比，渐变镜头边界检测难度更大。Y.Li,Z.Lu,and X.Niu等人2009年在IET Image Process发表的“Fast video shot boundary detection frameworkemploying pre-processing techniques”一文中提出了一种基于像素亮度距离的镜头边界候选段检测的预处理和对帧间亮度距离的三角形模式匹配的渐变边界检测方法，在当时大幅度缩短了视频边界检测的时间，但它有两个缺点：一是准确率不高，二是还不能满足实时处理的要求。Z.Lu and Y.Shi等人2013年在IEEE Trans.Image Processing发表的“Fastvideo shot boundary detection based on SVD and pattern matching”一文中使用了类似的预处理方法，同时它利用了综合颜色分布、纹理特征等表达能力较强的的新特征并通过SVD(奇异值分解)对特征进行降维处理，最后提出了一种基于倒三角模式匹配的渐变边界检测方法，实现了实时处理和较高的精度，但当处理背景相似的渐变边界时，它的精度较低。Tong等人2015年在IEEE International Symposium on Broadband MultimediaSystems and Broadcasting发表的“CNN-based shot boundary detection and videoannotation”一文中考虑帧的内容信息，通过内容信息帮助检测镜头边界，但当处理背景相似的渐变边界时，由于训练数据库的有限性，提取得到的内容信息几乎一致，这时检测效果会比较差。

这些方法考虑了帧的最低级特征，即信号特征，也考虑了最高级特征，即帧的语义信息。近年来，卷积神经网络被证明能够很好地理解图片的内容信息。作为一种深度学习模型，卷积神经网络具有多层，底层能够学习到图片信号层的信息，例如边界和角等，中层则能学习到底层边界的组合和抽象信息，最高层则学习到图片中物体的类别。因此，中层特征信息表达能力较底层更强，信息内容也更丰富。通过卷积神经网络学习视频帧的中层特征信息，高效的中层特征可以帮助提升视频镜头边界检测的精度。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于卷积神经网络的视频镜头边界检测方法，它能够准确的检测突变镜头边界和渐变镜头边界。