[发明专利]一种基于扩展的sLDA模型对图像进行标题注释的方法

说明书

本发明涉及一种基于扩展的sLDA模型对图像进行标题注释的方法，是为了解决现有的图像注释方法会遇到可伸缩性问题，只能处理一个小的注释词汇表，缺乏通用型和易用性的缺点而提出的，包括：对于输入的图像，提取图像的局部特征，并利用K‑means算法得到图像的N个视觉词汇；使用LDA模型表示给定文档隐藏变量的后验分布；引入响应变量并将响应变量分布定义成多变量伯努利分布；使用基于凸性的LDA推理变分算法进行公式近似；求取变分参数值；估计模型参数；预测响应变量的分布。本发明适用于图像标题注释系统。

技术领域

本发明涉及图像注释方法领域，具体涉及一种基于扩展的sLDA模型对图像进行标题注释的方法。

背景技术

在过去的几十年里，图像和视频检索的问题一直处于计算机视觉研究的前沿。尽管如此，由于最近大量的图片和视频在网上可以找到，人们对一种高效的算法在大规模收集中搜索和导航的需求也在不断增长。当前最先进的图像搜索引擎严重依赖于使用带注释的文本或标题来识别和检索图像。虽然这种方法允许进行高级语义查询，但对于基于文本的搜索技术的成功至关重要的标题信息，通常是手动获得的，而这一过程不能随着当今多媒体语料库不断增长的规模而扩展。因此，需要自动化这个注释过程。由于它对涉及数字媒体档案的大量应用程序的潜在影响，近年来人们对设计和开发注释图像和视频的自动化工具的关注度与日俱增。

在没有标题的情况下，注释算法的任务是通过学习图像和文本之间的关联模式来预测缺失的标题。以前在这个领域的工作可以大致分为两组。在第一组工作中，图像注释的问题被转换成一个监督学习问题，在这个问题中，注释将被当作概念类。对于词汇表中的每个单词，类条件密度是从所有标记的图像中学习的。在注释过程中，计算出类标签的后验分布，然后使用最高概率的概念作为预测的标题。在实践中，这种方法会遇到可伸缩性问题，并且只能处理一个小的注释词汇表，因为每个单词都必须学习类条件密度。

另一组通过对两个数据类型之间的联合统计相关性建模，在更平等的基础上处理注释和图像数据。这些模型使用一个潜在的变量框架，通过假设每个文档都有一组隐藏的因子来控制图像特征和相应的标题词之间的关联，从而了解文本和图像特征的联合概率分布。

发明内容

本发明的目的是为了解决现有的图像注释方法会遇到可伸缩性问题，只能处理一个小的注释词汇表，缺乏通用型和易用性的缺点，而提出一种基于扩展的sLDA模型对图像进行标题注释的方法，能够处理注释数据的多维二元响应变量，包括：

步骤一、对于输入的图像，提取图像的局部特征，并利用K-means算法得到图像的N个视觉词汇w_n，其中w_n∈{1,2...,N}。

步骤二、使用LDA模型表示给定文档隐藏变量的后验分布。

其中α和β是模型参数，z和θ分别是主题变量和主题比例。

步骤三、在步骤二中引入响应变量y以及响应变量的参数η和δ，同时将并将响应变量分布定义成多变量伯努利分布，即将公式(3)表示为：

步骤四、根据基于凸性的LDA推理变分算法将式(5)近似成其中狄利克雷参数γ和多项参数(φ₁,φ₂,...,φ_N)均为自由的变分参数；z_n为第n个主题词；将logp(θ,z,w|α,β,η,δ)和q(θ,z|γ,φ)期望的差值记作L。

步骤五、求取能够使L的下界达到最大值的变分参数γ和φ。

步骤六、估计模型参数ψ＝{α,β,η,δ}。

步骤七、根据模型参数ψ和变分参数γ和φ预测响应变量y的分布p(y|w)。

进一步，步骤三具体为：