[发明专利]一种用于可视媒体语义索引的精度增强方法

说明书

本发明涉及一种用于可视媒体语义索引的精度增强方法，属于视觉媒体处理技术领域。首先，对可视媒体中包含的物体和场景进行语义索引，构建置信度矩阵，通过阈值判断筛选出部分元素，应用加权非负矩阵分解的方法对筛选后的矩阵进行重新估计，完成全局精度增强。根据全局精度增强后的结果采用相似度传播的方法，利用样本间的相似度关系进行局部精度增强。本发明的优点是利用多种语义关系，增强了可视媒体语义索引的准确率。本方法不依赖于大量标注数据集和知识库，具有很强的灵活性和适应性。全局精度增强与局部精度增强有机结合，提高了方法的灵活性和效果。算法的计算复杂度低，可扩展性强，适合于实际工业应用。

技术领域

本发明涉及一种用于可视媒体语义索引的精度增强方法，属于视觉媒体处理技术领域。

背景技术

基于内容分析的方法对可视媒体进行语义索引已经超出了若干独立概念探测器的简单应用，而是通过结合多种概念信息及对概念探测结果进行后期处理的方法进行更加有效的语义检索。由于训练样本集本身的局限性，如人工标注的稀疏性、不准确性等特点，基于特定训练样本集的方法用于对可视媒体进行精度的提高往往面临着概念相关性难以准确获取(如概念同时出现的规律、本体关联等)的问题。

目前一类利用概念之间关系的可视媒体索引方法为多标签训练的方法。在这种方法中，对不同语义概念相关性的建模和概念分类是同时进行的，即将概念的关系结合在多概念的分类器中。由于所有的概念都是从一个集成的模型中学习得到，一个典型的缺点是缺乏灵活性。这就意味着一旦索引词汇集合发生变化，语义概念学习的整个过程需要重复实施。同时，在训练学习过程中对概念两两关系进行建模也会大大提高计算复杂度。这也很大程度上影响方法向大规模词汇集合以及复杂概念关系上的移植和扩展。

作为另一种替代方法，对单个概念探测器的输出结果进行后期处理的方法由于允许对每个概念分别设计实施探测器而大大提高了方法的灵活性。例如基于标注集或预先构建的知识图谱(语义本体)，将从中获得的概念相关性用于后期概念探测结果的处理，都能在不同程度上对索引结果进行提高。然而这种方法同样依赖于训练数据集(标注集)和外部知识(如本体)。当进行索引的概念没有构建在词汇本体中，或者标注集的数量或质量不足以准确学习概念的相关性的情况下(如样本不足或标注稀疏等)，这一类方法很难适应这种问题。

综上所述，可视媒体语义索引的精度增强是利用概念相关性对索引结果进行进一步改善的关键技术。这种索引增强技术的作用是给出可视媒体进行概念探测的结果，对概念探测的结果应用概念的量化关系进行调整和改善，以达到对大量可视媒体有效索引的目的。随着图像、视频等可视媒体在互联网上体量的快速增长，这种索引的增强方法不可避免地需要满足如下要求：1)对语义概念索引的灵活性；2)对不同数量和质量的标注数据的适应性；3)对大规模样本数据的扩展性。在可视媒体语义索引增强的过程中，应该尽量保证上述三点，这样才能保证增强方法在视觉大数据上的灵活应用，否则在进行索引增强的过程中，很难利用好语义概念的相关性，从而影响预期的效果。因此，可视媒体语义索引的精度增强算法需要尽可能的保证以上三点要求。

发明内容

本发明的目的是提出一种用于可视媒体语义索引的精度增强方法，以应对当前单类概念探测器造成的概念探测精度低及不均衡的问题，既可应对普通的索引精度增强任务，也可处理由于外部知识或标注数据不足造成的概念相关性构建缺陷，并且可以用于为不同应用域中的语义索引结果进行精度增强。

本发明提出的用于可视媒体语义索引的精度增强方法，包括以下步骤：

(1)对初始可视媒体中包含的物体和场景进行语义索引，得到初始可视媒体语义索引的探测置信度值，根据探测置信度值，构建一个矩阵C，矩阵C中的行对应于可视媒体中的一个样本c_i，1≤i≤N，矩阵C中的列对应一个物体或场景v_j，1≤j≤M，矩阵C中的任意一个元素c_ij表示样本c_i包含的物体或场景v_j的探测置信度值，其中，N表示样本的个数，M表示物体或场景的个数；