[发明专利]基于多示例多标记学习的数字图像标注方法

说明书

技术领域

本发明涉及数字图像标注技术领域，特别是涉及一种基于多示例多标记学习的数字图像标注方法。

背景技术

随着数码产品的普及以及各类社交网站的流行，每天都有海量的数字图像产生并传播。要在如此大规模的图像数据上提供相关的服务，一个最核心也是最困难的任务是让计算机理解图像的语义，而图像标注则是其中的关键技术。

自动图像标注装置的任务是基于数字图像的视觉特征来预测图像的语义标记。具体的，标注装置首先会从数字图像中抽取视觉特征来表示这些图像，然后基于这些特征表示，从已有语义标记的图像数据集合中训练出一个标注模型。当将没有标记的数字图像的特征表示输入标注模型后，模型就能预测出它们的语义标记。

目前的自动图像标注技术往往将图像表示成单一的示例。但是图像往往具有复杂的语义，包含多个对象实体，这样单示例的表示会造成信息损失，无法准确描述图像的语义，从而无法准确预测图像标记。更有效方法是基于多示例多标记机器学习（简称MIML）的输入表示方式，用多个特征示例组成的集合来表示一幅图像，其中每一个示例则往往对应一个比较简单的实体和语义。目前有少数基于MIML输入表示的图像自动标注技术，但是它们的模型复杂度随着表示空间的变大而急剧增大，导致这些技术非常低效，无法应用在大规模的图像标注任务上。因此，一种能够基于MIML输入表示的高效自动图像标注技术亟待提出。

发明内容

技术问题：针对数字图像往往具有复杂语义，而基于单示例的技术无法对其进行有效表达和学习，以及标注效率低下等技术问题，本发明提出了一种基于多示例多标记学习的数字图像标注方法。

技术方案：基于多示例多标记学习的数字图像标注方法，包括如下步骤，

（1）初始化标注模型；

（2）从数据集合中随机选择一幅图像以及该图像的一个相关标记，并确定该标记的代表示例；

（3）通过随机采样获得一个排在相关标记前面的不相关标记，并确定该不相关标记的代表示例；

（4）针对图像，相关标记以及不相关标记构成的三元组进行梯度下降更新模型；

（5）判断该模型是否达到要求，若是则返回（2）；否则结束并输出标注模型。

本发明采用上述技术方案，具有以下有益效果：本发明基于多示例多标记学习框架，对图像的每一个标记，从多示例多标记机器学习输入表示中选择一个当前模型最认可的代表示例来表示该图像，从而能够充分利用多示例多标记机器学习带来的更多的信息。同时，利用随机梯度下降算法进行在线学习，大大降低了时间和内存开销，从而既保证了标注的精确度，又提高了标注效率。

附图说明

图1为本发明实施例的训练标注模型的流程图；

图2为本发明实施例的方法流程图；

图3为本发明实施例的采样图像及确定其相关标记的代表示例的流程图；

图4为本发明实施例的采样不相关标记及确定其代表示例的流程图；

图5为本发明实施例的更新标注模型的流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图1为本发明实施例的数字图像自动标注装置训练标注模型的流程图。假设训练图像数据集合由N幅图像组成，每幅图像都已经打上标记。装置对数据集合中的图像提取符合多示例多标记学习输入的特征，每一幅图像由一组特征向量表示，每个特征向量称为一个示例。作为优选，特征提取可以使用机器学习教科书中的经典方法生成适用的图像特征，例如先进行图像分割，再对每个图像块提取颜色、纹理、形状等特征。用这个数据集合训练出来标注模型后，装置将对输入的无标记图像进行同样的特征提取，并用标注模型进行预测，输出相关标记作为标注结果。