[发明专利]基于对象分割和特征加权融合的视频语义提取方法

说明书

技术领域

本发明涉及的是一种视频搜索技术领域的方法，具体是一种基于对象分割和特征加权融合的视频语义提取方法。

背景技术

随着互联网和多媒体技术的迅速发展，网络视频的数量日趋庞大，已经成为最为主要的互联网信息传递媒介之一。对这些海量视频数据进行预览、分析、分类和搜索成为了一个重要的研究课题。通常把视频图像表示为具有特征一致性的区域，该区域称为视频对象，对其进行压缩和搜索，可以提高压缩比和搜索效率。在基于内容的视频搜索中，语义是一个非常重要的概念。一般而言，视频中具有语言学意义的物体称为语义，以区分于普通的视频对象。如飞机、教室、行人等都是语义。用户能够通过具有语义信息的关键词对视频进行搜索以得到期望的结果，这相对于传统的文本关键词搜索方法，在速度和准确度上有相当大的提升。因此，在视频搜索领域中，视频语义提取技术具有极大的研究价值。

经对现有技术检索发现，中国专利文献号CN101650728，公开了一种“视频高层特征检索系统及其实现”，该技术提取视频关键帧图像的底层特征(诸如颜色、形状、纹理等)，并利用支持向量机(Support Vector Machine，SVM)对所提取的特征进行分类，进而提取相应的视频语义；

进一步检索发现，北京邮电大学学报(2006年4月，第29卷，第2期)，题为：基于支持向量机的视频关键帧语义提取，提出了一种提取视频关键帧的彩色直方图和边缘直方图特征，使用多类支持向量机对特征进行分类，从而获得关键帧的语义的方法。

上述文献在视频语义提取技术上提出了一些较好的方法，但仍存有一些缺陷，其主要问题是这些方法是对关键帧的整幅图像提取全局特征和局部特征。然而，由于关键帧一般是由背景和视频对象所组成，所以对于语义而言，提取的整幅图像的特征是含有背景噪声的特征，影响了视频语义提取的准确性。

发明内容

本发明的目的在于克服现有技术的不足并针对视频语义提取的精度要求，提供一种基于对象分割和特征加权融合的视频语义提取方法，通过分别提取镜头关键帧和视频对象的图像特征，然后使用支持向量机对特征进行分类和加权融合，最后确定视频语义的方法。

本发明是通过以下技术方案实现的，本发明通过将基于背景帧构造的视频对象语义分类和基于关键帧特征的视频语义分类进行加权计算，即对于每一种语义所对应的视频对象的快速鲁棒特征(Speeded Up Robust Features，SURF)、关键帧的SURF特征、颜色直方图、边缘直方图和局部二进制特征对应的分类结果分别设置为r₀，r₁，r₂，r₃和r₄，其中r_i的值为0或1，其权重分别为w₀，w₁，w₂，w₃和w₄，其中：0≤w_i≤1，w_i是预先对每一种语义的每种特征进行的小样本训练和测试所得的结果；然后根据与阈值T_c进行比较确定镜头中是否具有测试的语义，当则该镜头中包含所测试的语义，反之则镜头中不包含该语义。

所述的基于背景帧构造的视频对象语义分类，通过以下方式获得：

第一步，通过检测镜头内相邻帧对应的像素点间的变化来构造背景帧，具体为：

1.1)读取待检测的镜头，将其第一帧作为初始化背景帧，设视频帧的长为m，宽为n；

1.2)设置两个的m×n矩阵，一个为计数矩阵A，一个为标志矩阵B，初始阶段两个矩阵都是零矩阵，其中：计数矩阵记录帧间变化检测中像素点连续不变的次数；标志矩阵记录像素点是否已被初始化；

1.3)将第k帧和第k+1帧转换成灰度图像并相减：当在位置(i，j)上的像素点灰度值的差为0，那么计数矩阵A的元素a_ij的值加1，反之a_ij＝0；

1.4)搜索计数矩阵A的所有元素，当a_ij＞T，则标志矩阵B相应位置的元素b_ij＝1，同时把位置(i，j)上的像素点的值赋给背景帧的相应位置的像素点；

1.5)当标志矩阵B所有的元素都为1或者该镜头结束时，背景帧构造完毕。

第二步，提取被检测镜头中的关键帧，查找关键帧中与背景帧不同的区域，以此作为视频对象候选区域。

第三步，采用静态图像阴影检测方法消除视频对象候选区域中的阴影区域。