[发明专利]一种基于镜头间上下文的视频概念标注方法

摘要

本发明提供了一种基于镜头间上下文的视频概念标注方法，包括：为训练集中标注的每一概念训练得到一个检测子，把训练集和测试集中的镜头输入概念检测子，输出镜头包含相应概念的预测概率；指定一目标概念，按照训练集镜头中概念和目标概念的关系，把镜头分为不同类型，提取类型特征；按照训练集视频镜头中镜头类型特征和类型标注间关系，及相邻镜头类型标注间的关系构建模型，提取测试集视频镜头的类型特征，输入模型，得到镜头标注为某一类型的概率，作为目标概念优化后的预测概率；依次优化所有概念，若优化后的预测概率大于给定阈值，用相应概念标注镜头。本发明方法由于充分考虑了视频中镜头之间的不同关系能够更为有效地优化概念标注的结果。

主权项

一种基于镜头间上下文的视频概念标注方法，包括以下步骤：1)给定具有人工标注结果的视频训练集，为标注的每一个语义概念训练得到一个概念检测子，把训练集和待标注测试集中的视频镜头输入到概念检测子，输出每个镜头中包含相应概念的预测概率；2)将某一给定的语义概念作为目标概念，按照训练集视频镜头中包含的概念和目标概念的关系，把镜头分类为不同类型，并提取镜头类型特征；3)基于步骤2)中的镜头分类和提取的类型特征，对训练集视频中镜头之间的相互关系进行建模，构建的关系模型表示某一镜头的类型特征和类型标注之间的关系，同时表示相邻镜头的类型标注之间的关系，提取测试集视频镜头的类型特征，输入关系模型，得到镜头标注为某一类型的概率，并由此作为目标概念优化后的预测概率；4)重复步骤2)和步骤3)，直到测试集中所有的概念都作为目标概念被优化过为止，这时，如果一个镜头包含某个概念的概率大于给定阈值，则用这个概念对该镜头进行标注。