[发明专利]一种基于联合神经网络模型的图像内容描述自动生成方法

权利要求书

1.一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，包括如下步骤：

S1：构建卷积神经网络与循环神经网络的联合神经网络；

S2：利用误差反向传播算法对联合神经网络多层映射参数进行训练；

所述步骤S2还包括如下子步骤：

S21：先行预训练LSTM部分的网络，进行模型稳定性训练；

S22：利用数据集Flickr30k对整体模型进行训练，完成联合神经网络中的特征映射；

S23：训练步骤S21和S22中的形成的稳定效果的模型，最终完成联合神经网络的训练；

所述步骤S22还包括如下子步骤：

S221：对每层输入数据进行标准化，使其以较小的方差集中在均值附近，需要满足：

其中，μ_B是输入数据的均值；是输入数据的方差；x是最小batch中的值，其中B是一个最小批，m是B的尺寸，即B＝{x₁······x_m}，同时在正向传播的时候对数据进行标准化处理，即满足：

求随机下降的一个batch进行正规化，以减少计算量后进行规模和位置的线型转变得到y_i，满足：

其中，为输入数据的标准化处理结果，∈为噪声项，y_i为batch正则化后进行规模和位置的线性转变结果，γ和β分别表示权重和偏置项，两个参数需要通过神经网络进行训练，完成特征映射的全部环节，

S222：根据映射运算中获取的连续矩阵，在LSTM网络的训练中，引入字典集与元矩阵进行匹配，获取最大概率，根据文本描述和连续分块矩阵的匹配度进行捕获关键词，同时删除在字典集已经被捕获的关键词；

S3：图像预处理得到图像的特征向量；

S4：特征向量输入联合神经网络进行类别判定。

2.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，构建联合神经网络包括如下子步骤：

S11：利用Flickr30k获得最大的图像字幕数据集，包括训练，验证，测试三部分；

S12：其中数据集中的训练集中的图像处理作为卷积神经网络的输入；

S13：将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测，其中卷积核规格分别为7*7,1*1，3*3，5*5；

S14：在卷积层每层中将会复制输出向量进行映射运算，提取每层中的特征簇；

S15：构建2层的LSTM，将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算，根据LSTM神经网络长短期记忆训练，完成联合神经网络的构建。

3.根据权利要求2所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，映射运算模型构建包括如下子步骤：

S141：构建恒等快捷连接映射结构；

S142：在恒等快捷连接映射结构中的增加首端和末端的1*1卷积层；

S143：利用ResNet网络结构将卷积网络进行拼接组合。

4.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于：所述图像预处理，包括以下子步骤：

S31：使用Flickr30k数据集中训练集图片作为ResNet网络的输入；

S32：将训练集中的图像根据较小的边缩放至规格为256*480的图像，满足scale算法输入；

S33：随机剪裁224*224的图像规格，同时对图像进行随机水平镜像，同时减去均值，作为神经网络的输入值。

5.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，所述类别判定，包括以下步骤：将图像预处理中得到的特征向量输入训练后的神经网络中，经过多层卷积层卷积、通过修改的特征映射连接，最终通过LSTM网络解码解析出图像叙述文本。