[发明专利]一种提高视频文本描述准确性的编码器网络模型设计方法

权利要求书

1.一种提高视频文本描述准确性的编码器网络模型设计方法，其特征在于，按照以下步骤实施：

步骤1、构建视频的视觉特征提取编码器，

步骤2、构建视频的语义特征提取编码器，

步骤3、获取语义特征，

步骤4、训练S-LSTM网络模型。

2.根据权利要求1所述的提高视频文本描述准确性的编码器网络模型设计方法，其特征在于：所述的步骤1中，具体过程是，

1.1)建立训练数据集，

选用已经公开发表的MSVD数据集视频样本和MSRVTT数据集若干个视频的视觉特征作为语义特征提取网络的训练集的样本；在MSRVTT数据集中，随机选出作为训练集的数据样本之后，留下的部分视频样本作为验证集的样本；

1.2)建立语义词典，

从训练集的样本和验证集的样本的标注中选择最常用的K个单词，组成语义概念集合，

假设训练集的样本总数为N，对其中的第i个视频样本，i＝1,2,...,N，利用选择的K个单词对训练集的样本进行语义词典标注，语义属性标注的计算公式如下：

Y_i＝[y_i,1,y_i,2,...,y_i,K]，i＝1,2,...,N (1)

其中，

1.3)构建视觉特征提取编码器，

本步骤构建的视觉特征提取编码器的基本模型结构是二维卷积网络ResNeXt和三维卷积网络ECO，取二维卷积网络ResNeXt中的conv5/block3的池化层输出的M₁维特征向量描述视频的二维视觉特性；取三维卷积网络ECO的全局池化层输出的M₂维特征向量描述视频的三维视觉特性；将这两个特征向量拼接后，作为视频的视觉特征，每个视频对应的视觉特征向量是M＝M₁+M₂维，这样，训练集的N个样本的视觉特征表达式如式(3)：

X_i＝[x_i,1,x_i,2,...,x_i,M]，i＝1,2,...,N。 (3) 。