[发明专利]视频描述生成方法、装置、视频播放方法、装置和存储介质

权利要求书

1.一种视频描述生成方法，其特征在于，所述方法包括：

提取视频特征，获得对应于视频流中视频编码时刻的视频特征序列；

通过前向和后向递归神经网络编码所述视频特征序列，获得对应于每个视频编码时刻的前向隐状态序列和后向隐状态序列；

根据所述前向隐状态序列和后向隐状态序列，定位每个视频编码时刻所对应的事件以及在所述视频编码时刻上事件对应的区间；

根据所述视频编码时刻上事件对应的区间预测所述事件的视频内容描述，生成所述事件在所述视频编码时刻所对应的词；

通过所述事件对应于视频编码时刻的所有词，构建所述视频流中事件的自然语言描述。

2.根据权利要求1所述的方法，其特征在于，所述提取视频特征，获得对应于视频流中视频编码时刻的视频特征序列，包括：

按照指定时间间隔提取所述视频流在每一视频编码时刻的视频特征，对应于视频编码时刻的所述视频特征顺序形成视频特征序列。

3.根据权利要求1所述的方法，其特征在于，所述根据所述前向隐状态序列和后向隐状态序列，定位每个视频编码时刻所对应的事件以及在所述视频编码时刻上事件对应的区间，包括：

通过所述前向隐状态序列和后向隐状态序列进行前向预测和后向预测，为每个视频编码时刻获得前向候选区间和所对应的可信度，后向候选区间和所对应的可信度；

针对于每个视频编码时刻，根据所对应的可信度进行所述前向候选区间和后向候选区间的合并预测，所述合并预测所得到的合并可信度定位所述视频编码时刻对应的事件，且所述事件所对应预测合并的前向候选区间和后向候选区间形成所述视频编码时刻上事件对应的区间。

4.根据权利要求1所述的方法，其特征在于，所述根据所述视频编码时刻上事件对应的区间预测所述事件的视频内容描述，生成所述事件在所述视频编码时刻所对应的词，包括：

在所述视频编码时刻上事件对应的区间，为所述事件进行事件特征的融合检测获得所述视频编码时刻上事件所对应的事件特征；

通过所述视频编码时刻上事件所对应的事件特征和所述区间映射的上下文信息，解码所述视频编码时刻，生成所述事件在所述视频编码时刻对应的词。

5.根据权利要求4所述的方法，其特征在于，所述在所述视频编码时刻上事件所对应的区间，为所述事件进行事件特征的融合检测获得所述视频编码时刻上事件所对应的事件特征，包括：

检测所述视频编码时刻上事件所对应区间中的视觉特征；

在注意力机制下根据所述区间映射的上下文信息整合所述视觉特征，获得所述视频编码时刻上事件所对应的事件特征。

6.根据权利要求5所述的方法，其特征在于，所述在注意力机制下根据所述区间映射的上下文信息融合所述视觉特征，获得所述视频编码时刻上事件所对应的事件特征，包括：

在所述区间映射的上下文信息辅助下，相对于所述事件生成上一视频编码时刻所对应词的状态信息，计算与所述视觉特征之间的相关度；

根据所述视觉特征与所述事件在上一视频编码时刻所预测视频内容的相关度，运算所述事件在所对应区间中每一视觉特征的权重；

根据所对应权重进行所述事件在所对应区间中视觉特征的整合，生成所述事件在所述视频编码时刻上对应的事件特征。

7.根据权利要求4所述的方法，其特征在于，所述通过所述视频编码时刻上事件所对应的事件特征和所述区间映射的上下文信息，解码所述视频编码时刻，生成所述事件在所述视频编码时刻对应的词，包括：将视频编码时刻上事件所对应的事件特征和所对应区间映射的上下文信息映射至同一逻辑空间；

对映射于同一逻辑空间的事件特征和上下文信息执行门控操作，自适应构建所述视频编码时刻上所述事件向解码器输入的特征；

通过所述视频编码时刻上所述事件经由门控操作而向解码器输入的特征，由所述解码器预测生成所述事件在所述视频编码时刻对应的词。