[发明专利]基于帧选择的视频内容描述方法和系统

权利要求书

1.一种基于帧选择的视频内容描述方法，其特征在于，包括：

以前馈神经网络构建筛选模型，该筛选模型根据视频帧的视觉丰富度和语义一致度对该视频帧进行筛选；

构建用于对待描述视频的内容进行描述的描述模型；

以训练数据对该筛选模型和该描述模型进行训练；

通过该筛选模型在该待描述视频中选取描述帧；提取该描述帧的视觉特征并输入该描述模型，获得该待描述视频的描述语句。

2.如权利要求1所述的视频内容描述方法，其特征在于，所述筛选模型包括两层前馈神经网络，根据输入产生一个挑选概率值，若该挑选概率值大于挑选阈值，则该筛选模型的输出为1，反之则为0。

3.如权利要求2所述的视频内容描述方法，其特征在于，所述选取描述帧包括：在该待描述视频中提取视频帧转换为灰度图，缩小该灰度图的分辨率得到观察图；将当前视频帧的观察图与前一幅视频帧的观察图相减，得到二维的差分图；以该差分图生成一维的判别向量，将该判别向量作为该筛选模型的输入进行筛选，若该筛选模型的输出为1，则以该当前视频帧为该描述帧。

4.如权利要求1所述的视频内容描述方法，其特征在于，所述描述模型包括编码器和解码器，其中该编码器通过长短期记忆网络构建，用于将接收的该视觉特征编码为视觉内容表示；该解码器通过门循环单元网络构建，用于对该视觉内容表示解码以生成该描述语句。

5.如权利要求1所述的视频内容描述方法，其特征在于，还包括：

对训练视频等间隔提取多个训练视频帧，将所有该训练视频帧缩放为224×224分辨率的训练帧，使用152层的残差网络对每个该训练帧抽取表观特征，以该残差网络的最后一个卷积层获得的表观特征为特征向量，获得多个2048维的该特征向量；

将该训练视频的文本标注语句的所有单词转化为小写模式，并进行分词处理和删除所有标点符号，将所有出现频次小于3次的单词移除后，剩余单词构成词汇表，并将该词汇表中的每个单词以独热向量进行表示；

以所有该特征向量和该词汇表构成该训练数据。

6.一种基于帧选择的视频内容描述系统，其特征在于，包括：

模型构建模块，用于构建筛选模型和描述模型；其中以前馈神经网络构建该筛选模型，且该筛选模型根据视频帧的视觉丰富度和语义一致度对该视频帧进行筛选；该描述模型用于对待描述视频的内容进行描述；

模型训练模块，用于以训练数据对该筛选模型和该描述模型进行训练；

帧筛选模块，用于通过该筛选模型在该待描述视频中选取描述帧；

描述模块，用于提取该描述帧的视觉特征并输入该描述模型，获得该待描述视频的描述语句。

7.如权利要求6所述的视频内容描述系统，其特征在于，所述筛选模型用于根据视频帧信息量进行视频帧筛选，包括两层前馈神经网络，根据输入产生一个挑选概率值，若该挑选概率值大于挑选阈值，则该筛选模型的输出为1，反之则为0。

8.如权利要求7所述的视频内容描述系统，其特征在于，所述帧筛选模块具体包括：

判别向量生成模块，用于根据当前视频帧生成判别向量，其中将在该待描述视频中提取视频帧并转换为灰度图，缩小该灰度图的分辨率以得到观察图；将当前视频帧的观察图与前一幅视频帧的观察图相减，得到二维的差分图，以该差分图生成一维的判别向量；

描述帧判别模块，用于根据该判别向量判断该当前视频帧是否可作为该描述帧；其中将该判别向量作为该筛选模型的输入进行筛选，若该筛选模型的输出为1，则以该当前视频帧为该描述帧。

9.如权利要求6所述的视频内容描述系统，其特征在于，所述描述模型包括编码器和解码器，其中该编码器通过长短期记忆网络构建，用于将接收的该视觉特征编码为视觉内容表示；该解码器通过门循环单元网络构建，用于对该视觉内容表示解码以生成该描述语句。

10.如权利要求6所述的视频内容描述系统，其特征在于，还包括：

训练数据生成模块，用于选取训练视频的训练视频帧并生成特征向量，并从训练视频的文本标注语句中选取单词构成词汇表，并以所有该特征向量和该词汇表构成该训练数据。