[发明专利]基于非监督学习和语义匹配特征交互式体育视频检索方法

权利要求书

1. 一种基于非监督学习和语义匹配特征的交互式体育视频检索方法，其特征在于，包括步骤如下：

步骤1：在视频数据库的视频图像帧层次提取图像底层特征；

步骤2：在图像底层特征的视频序列层次提取模型匹配序列特征；

步骤3：在图像底层特征的高级语义层次提取语义匹配特征；

步骤4：对提取模型匹配序列特征和语义匹配特征进行非监督学习，建立基于非监督学习的检索机制；

步骤5：通过相关反馈技术形成交互检索界面，优化检索性能。

2. 根据权利要求1所述的检索方法，其特征在于，模型匹配序列特征包括：加权T-Bin直方图和模型匹配相关图，用于反映视频对象的时空序列信息加权，T-Bin直方图包括：每一维表示视频对象引用某一模型的频率，权重反映不同模型匹配序列的重要程度。

3. 根据权利要求1所述的检索方法，其特征在于，模型匹配序列特征的提取步骤包括如下：

步骤21：将整个数据库视为图像帧集合，对整个图像帧数据库进行下采样得到采样帧，将采样帧底层特征向量构造成矩阵形式生成训练集；

步骤22：采用竞争学习算法学习得到模型集；

步骤23：对视频对象中每一帧从模型集中找到N个最佳匹配模型，将视频的图像帧序列生成N条最佳匹配模型序列；

步骤24：对N条最佳匹配模型序列提取加权T-Bin直方图和模型匹配相关图。

4. 根据权利要求2所述的检索方法，其特征在于，模型匹配相关图包括：给定视频对象的最佳语义匹配序列为S，任意两序列成员为m₁和m₂∈S，模型集为MS，模型集所含模型数目为Num_MS，像素跨度为D；则该视频对象的模型匹配相关图为Num_MS×D维的向量；对于第i个模型Model_i∈MS和某像素跨度k∈D，模型匹配相关图的第(i-1)×D+k维如下所述：

其物理意义为：对于某视频对象的模型匹配序列S，给定任一使用Model_i的序列成员，MMC^(k)_{Model_i}(S)给出了k个像素跨度以外的序列成员也使用Model_i的概率，MMC同时描述视频对象的模型引用频率信息和序信息。

5. 根据权利要求1所述的检索方法，其特征在于，语义匹配特征提取，包括如下步骤：

步骤2a：选取具有代表性的带标注的视频对象组成小规模训练集，该训练集表征在当前底层特征描述能力的条件下数据库所涵盖运动主题；

步骤2b：使用训练集，将N条最佳模型匹配序列进一步映射到语义标记层，得到了N条最佳标记序匹配列；

步骤2c：对N条最佳标记匹配序列进行直方图提取并加权，得到视频对象的高层语义特征即语义匹配直方图。

6. 根据权利要求1所述的检索方法，其特征在于，基于非监督学习的检索机制包括：采用主导集聚类算法对视频数据库进行非监督学习，将大部分相似度的计算转化为离线操作，用一致性函数来衡量每个生成的主导集的质量和制约总的主导集个数，其具体步骤包括：

步骤31：将视频数据库作为无向边权图，其中每个视频对象作为无向边权图的结点，使用模型匹配相关图或语义匹配直方图，计算任意两段视频的相似度作为此结点对的权值，并生成全相似度矩阵A；

步骤32：利用主导集聚类算法，取局部最优解中非零分量的标号集生成主导集；

步骤33：将属于现有主导集的结点从当前图中删除，重复上述步骤直到结点图为空。

7. 根据权利要求1所述的检索方法，其特征在于，交互式检索界面，用于对视频序列层次和语义层次实施相关反馈，包括如下：

采用最优查询相关反馈技术通过人机交互方式，用于帮助计算机了解用户需求，获得优化的查询向量，适用于直接检索机制；

采用关系矩阵相关反馈，用于调整各数据聚类间相互关系来涵盖数据聚类间的全局语义关系，适用于基于非监督学习的检索机制；

语义校正相关反馈技术，用于对数据对象进行在线的语义校正、扩充数据库，适用于使用语义匹配直方图的检索过程。