[发明专利]一种基于上下文序列记忆网络的个性化图像字幕生成方法

权利要求书

1.一种基于上下文序列记忆网络的个性化图像字幕生成方法，其特征在于，主要包括数据库构建(一)；上下文记忆网络(二)；基于状态的序列生成(三)；网络训练(四)。

2.基于权利要求书1所述的数据库构建(一)，其特征在于，利用社交媒体内接的应用程序接口生成爬虫装置来抓取社交媒体所发布的帖子中10类最常见的标签；

(1)从17813名用户分享的帖子中抓取到3455021张添加标签的原始图像，这些标签涉及图片分享网站中如娱乐、食物、旅行等27种最常见的图像类别，保留这些帖子的图像与标签或字幕一一对应的关系；

(2)对冗余信息进行过滤，做出以下条件限定：每个用户中的帖子被使用的最小数量为50，最大数量为1000；每个帖子的单词数最短为3，最长为15；经过过滤后所构建的数据库，共有字幕帖子721176份和标签帖子518116份；

(3)挑选数据库中的高频词V建立关键词字典v，对全贴内容挑选40000个关键词V，对标签预测挑选60000个关键词V，并且，关键词V必须不含有网址元素、字符编码和特殊字符。

3.基于权利要求书1所述的上下文记忆网络(二)，其特征在于，包括图像记忆、用户上下文记忆和文字输出记忆。

4.基于权利要求书3所述的图像记忆，其特征在于，利用ImageNet图像库在深度学习网络中预训练的权值来表征图像，提取深度学习网络中的第5层残差值，其特征图大小为7×7，则图像记忆矢量m_im可表达为：

mim,ja=ReLU(WimaIjr5c+bima)---(1)]]>

mim,jc=ReLU(WimcIjr5c+bimc)---(2)]]>

其中，j＝1,…,49，ReLU是指修正线性单元函数。