[发明专利]视频序列结构的自动提取方法

说明书

发明领域

本发明涉及一种用于自动提取对应于连续帧的视频序列的结构的方法。本发明还涉及一个用于索引包含所说定义方法的数据的一种方法、涉及执行所说索引方法的一个装置、以及其中实施所说方法的一个图像检索系统。本发明在与MPEG-7标准关联应用中非常有用。

发明背景

MTEG-7标准力图提供一种灵活和可扩展的结构，用于定义那些可用于描述各种类型的多媒体文件的描述的一个标准设置。与给定内容相关的描述允许实现快速及有效地搜索用户感兴趣的资料。本发明更具体地涉及视频序列的表现情况。

一个图像序列是一系列顺序排列的图像(按时间排序)。在存储在一个数据库之前，对应图像数据流分段成基本单元(即拍摄镜头，一个拍摄镜头是在一个连续操作过程中产生的连续帧，并且表示时间和空间中的一个连续动作)，被随后标识和索引。一个图像索引技术在例如文献″经过目标运动分析的自动图像索引″(J.D.Courtney，Pattem Recognition，1997，4月，第4期，卷30 pp.607-625)中描述。如在该文件中阐明的那样，利用一个分级分割确定视频序列的逻辑结构，以同样方式把文本细分为章和段落。然而在大多数情况下，时间分段似乎不是完全适当，例如在体育(足球、网球比赛)的应用中，图像拍摄镜头能够很长。

本发明概要

本发明的一个目的是建议一种能够自动创建一个图像序列的描述的方法，即根据一个新的、具体的判据创建所说序列的一个目录。

为此目的，本发明涉及在本说明书的开头段落中描述的一种方法，并且该方法包括：

(1)一个拍摄镜头检测步聚，用于检测连续拍摄镜头之间的边界，一个拍摄镜头是一组无编辑效果的连续帧；

(2)一个分段(partitioning)步骤，用于把每一拍摄镜头分解成称为小段(micro-segments)的子实体；

(3)一个集群步聚，用于创建该已经处理的图像序列的一个最终分级结构。

这种方法允许获得已经处理成称为微段的子实体的图像序列的每一拍摄镜头的一个分区。根据建议的判据，这些微段最好表现出关于已经捕获了原始图像(这些图像已经转换成构成所说已处理的视频序列的一个图像比特数据流)的摄像机的运动参数的高水平的均匀性。

更精确地说，每一微段的均匀性是根据一个运动直方图计算的，每一条块示出具有一个具体运动类型的帧的百分比。当表示沿所有帧的摄像机运动参数的单一组合时，一个微段是完全均匀的，该直方图条块等于1或0。相反，如果该直方图的条块不等于1或0，则当前的中间值指示一个微段不是完全均匀的，以便分段一个拍摄镜头，根据分段连接的均匀性计算两个部分之间的距离。所说均匀性是从一个微段的直方图和不同运动类型的本身推断而来的，一个拍摄镜头的均匀性等于由其每一长度加权的微段的均匀性，根据相对于一个预定阈值T(H)的拍摄镜头的均匀性的值并且假定选择部分已经被合并，确定是否在任何部分对之间的一个结合，当不存在能够合并的进一步的相邻微段对时，这种可能的微段之间的合并过程结束。

本发明的另一目的是建议一个图像索引装置，包括用于执行这种方法的装置以及用于把一个标记添加到由本方法定义的分级结构的每一单元的相关索引装置。

本发明的另一目的是建议一个图像检索系统，包括这样的一个图像索引装置和相关的用于执行索引的装置，使用此图像的一个或几个特征而根据从所说的索引操作得出的分类而执行任何图像的检索。

附图的简要描述

现在参照附图举例来更详细地描述本发明，其中：

图1示出根据本发明定义的方法的一个方框图；

图2示出用于一个给定帧序列的mDFD曲线；

图3示出一个说明该分段均匀性的测量的直方图的例子；

图4示出初始的超分段分区创建的处理；

图5示出一个二进制树形，例如由在所说定义方法中提供的合并子步骤的一个拍摄镜头的实施方案产生的二进制树形；

图6示出在一个树形重建子步骤之后产生的树形；

图7示出用于索引已经根据本发明处理的数据的一个方法；

图8示出实施所说的索引方法的一个图像检索系统，以及借助适当的相关装置，根据从这样一个索引操作给出的分类而实现图像检索的执行。

本发明的详细说明

用于视频序列的一个内容表的目的是以一个分级方式，可能以一个文本文档方式，定义此顺序的构造。因此该原始序列被细分为子序列，其还可以进一步分成更短的子序列。在分段处理的结束后，要描述的最短实体将是微段。