[发明专利]一种基于语义索引精度增强的可视媒体处理方法

说明书

本发明涉及一种基于语义索引精度增强的可视媒体处理方法，属于视觉媒体处理技术领域。首先，对可视媒体中包含的物体和场景进行语义索引，构建置信度矩阵，通过阈值判断筛选出部分元素，应用带外部相关性平滑的加权非负矩阵分解的方法对筛选后的矩阵进行重新估计，完成全局精度增强。根据全局精度增强后的结果采用相似度传播的方法，利用样本间的相似度关系进行局部精度增强。本发明利用多种语义关系，增强了可视媒体语义索引的准确率，并且充分利用了概念的外部相关性，提高了语义索引精度增强的效果。本方法中基于外部相关性平滑的全局精度增强与局部精度增强有机结合，计算复杂度低，可扩展性强，适合于实际工业应用。

技术领域

本发明涉及一种基于语义索引精度增强的可视媒体处理方法，属于视觉媒体处理技术领域。

背景技术

可视媒体语义索引的精度增强是利用概念的相关性对索引结果进行进一步改善的关键技术。这种索引增强技术的作用是给出可视媒体进行概念探测的结果，对概念探测的结果应用概念的量化关系进行调整和改善，以达到对大量可视媒体有效索引的目的。发明名称为“一种用于可视媒体语义索引的精度增强方法”(申请号：201610108055.3)的专利申请公开了一种全局增强和局部增强相结合的方式，对可视媒体语义索引的结果进行改善。但是在增强过程中，该方法无法有效地利用从外部输入得到的可视媒体中语义概念之间的相关性，故在可视媒体语义索引精度增强的过程中还存在改善的空间。尤其随着互联网可用数据体量的快速增长，采用数据挖掘、统计、知识建模的方法得到的语义概念之间的相关性对可视媒体的有效索引具有很高的应用价值。

对基于外部相关性平滑的可视媒体语义索引的精度增强方法同样需要满足如下要求：1)对语义概念索引的灵活性；2)对不同数量和质量的标注数据的适应性；3)对大规模样本数据的扩展性。在时序可视媒体语义索引增强的过程中，应该尽量保证上述三点，这样才能保证增强方法在视觉大数据上的灵活应用，从而达到预期的效果。

发明内容

本发明的目的是提出一种基于语义索引精度增强的可视媒体处理方法，对已有的可视媒体处理方法作出改进，以应对当前单类概念探测器造成的概念探测精度低及不均衡的问题，既可应对普通的索引精度增强任务，也可以在外部知识或标注数据可用时充分利用所得到的概念相关性，用于为不同应用域中的语义索引结果进行精度增强。

本发明提出的基于语义索引精度增强的可视媒体处理方法，包括以下步骤：

(1)对初始可视媒体中包含的物体和场景进行语义索引，得到初始可视媒体语义索引的探测置信度值，根据探测置信度值，构建一个矩阵C，矩阵C中的行对应于可视媒体中的一个样本c_i，1≤i≤N，矩阵C中的列对应一个物体或场景v_j，1≤j≤M，矩阵C中的任意一个元素c_ij表示样本c_i包含的物体或场景v_j的探测置信度值，其中，N表示样本的个数，M表示物体或场景的个数；

(2)设定一个探测置信度阈值，将上述矩阵C中的探测置信度值与设定的探测置信度阈值进行比较，若矩阵C中的探测置信度值大于或等于探测置信度阈值，则保留该探测置信度值，若矩阵C中的探测置信度值小于探测置信度阈值，则将该探测置信度值置为0，并将该比较更新后的矩阵记为C″，矩阵C″的每个元素记为c″_ij，1≤i≤N，1≤j≤M；

(3)利用基于外部相关性平滑的加权非负矩阵分解方法，对上述比较更新后的矩阵C″进行全局精度增强，具体过程如下：

采用以下方法对上述比较更新后的矩阵C″进行加权非负矩阵分解，得到C′，具体包括以下步骤：

(3-1)构建两个初始非负矩阵L_N×d及R_d×M，其中d≤min(M，N)；