[发明专利]一种基于上下文序列记忆网络的个性化图像字幕生成方法

说明书

技术领域

本发明涉及图像标签预测领域，尤其是涉及了一种基于上下文序列记忆网络的个性化图像字幕生成方法。

背景技术

由机器阅读图像并判定图像内容、用简要文字输出图像主体内容与人类进行交互，是近年来为数不多的新兴领域，主要融合了图像识别、文字检索等技术，它的目的是收集大量特定用户的图像及其标签、字幕内容，对即将面临的新图像进行具有该用户特性的个性化字幕预测，这种方法的成功将对人力进行极大的解放，尤其在海量信息处理和远程反馈等领域，如在兴趣用户分类与标注、社会群体学等方面具有高度的发展前景。

如今判定图像内容并输出预测内容是一个具有挑战性的任务，由于缺乏可靠的训练图像库进行图像与标签的配对，同时图像质量与大小的参差不齐、关键词检索与图像内容分割融合难以同步，导致关键词匹配度的过低，影响字幕与标签的预测，尤其在图像内容连通区域模糊且颜色空间层相似的情况下，对图像的分类及标注造成了难度。

本发明提出了一种基于记忆深度卷积网络的新框架。使用社交媒体内部应用接口及爬虫装置构建图像数据库并过滤冗余信息，使用图像记忆矢量、上下文记忆矢量和文字输出矢量进行标签与字幕的预测，从关键词字典中找寻高频词，从而生成具有最高匹配度的针对该用户的个性化新词语。本发明可以处理标签与字幕的同步预测，提供一个上下文记忆网络的框架来解决文字匹配问题，同时提高了对应图像字幕的预测精度。

发明内容

针对解决在图像中生成个性化字幕的问题，本发明的目的在于提供一种基于上下文序列记忆网络的个性化图像字幕生成方法，提出了一种基于记忆深度卷积网络的新框架。

为解决上述问题，本发明提供一种基于上下文序列记忆网络的个性化图像字幕生成方法，其主要内容包括：

(一)数据库构建；

(二)上下文记忆网络；

(三)基于状态的序列生成；

(四)网络训练。

其中，所述的数据库构建，利用社交媒体内接的应用程序接口生成爬虫装置来抓取社交媒体所发布的帖子中10类最常见的标签；

(1)从17813名用户分享的帖子中抓取到3455021张添加标签的原始图像，这些标签涉及图片分享网站中如娱乐、食物、旅行等27种最常见的图像类别，保留这些帖子的图像与标签或字幕一一对应的关系；

(2)对冗余信息进行过滤，做出以下条件限定：每个用户中的帖子被使用的最小数量为50，最大数量为1000；每个帖子的单词数最短为3，最长为15；经过过滤后所构建的数据库，共有字幕帖子721176份和标签帖子518116份；

(3)挑选数据库中的高频词V建立关键词字典对全贴内容挑选40000个关键词V，对标签预测挑选60000个关键词V，并且，关键词V必须不含有网址元素、字符编码和特殊字符。

进一步地，所述的上下文记忆网络，包括图像记忆、用户上下文记忆和文字输出记忆。

进一步地，所述的图像记忆，利用ImageNet图像库在深度学习网络中预训练的权值来表征图像，提取深度学习网络中的第5层残差值，其特征图大小为7×7，则图像记忆矢量m_im可表达为：

其中，j＝1,…,49，ReLU是指修正线性单元函数。

进一步地，所述的用户上下文记忆，利用用户曾经发布过的帖子内容，加上关键词的影响，增加预测中的精确比重，具体地：

(1)选取用户前文发帖中D个最常用的高频词组成然后依次将这些关键词以频率由高至低排序输入到用户上下文记忆；

(2)在对关键词筛选的过程中，利用“检索词频率与逆向频率”算法计算关键词的得分，剔除掉低分选项，即剔除掉一些大众常用的关键词，从而更能体现独立用户个性化的任务需求；

(3)上下文记忆矢量可表示为：

其中，u_j是对第j个活跃词的一位热编码。

进一步地，所述的文字输出记忆，在记忆网络中插入前文已经生成过的词语y_j，文字输出矢量可表示为：

其中，y_j是第j个前序生成词语的一位热编码，当每次生成一个新词语，都要被更新一遍，根据公式(1)至(6)，所有的记忆矢量可以表征为m＝m_im+m_us+m_ot。

进一步地，所述的基于状态的序列生成，包括序列生成和记忆卷积神经网络。