[发明专利]视频描述生成方法、装置、设备及存储介质

权利要求书

1.一种视频描述生成方法，其特征在于，所述方法包括：

通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；

通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；

通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；

根据所述第一选取概率和所述第一选取概率对应的第一权重，以及所述第二选取概率和所述第二选取概率对应的第二权重，计算各个所述候选词汇的目标选取概率；

将最高目标选取概率对应的所述候选词汇确定为所述候选词汇中的解码词；

根据若干个所述解码词生成所述目标视频对应的视频描述。

2.根据权利要求1所述的方法，其特征在于，所述通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，包括：

当进行第t次解码时，获取第t-1次解码得到的第t-1解码词以及第t-1隐藏状态，所述第t-1隐藏状态是所述基础解码器进行第t-1次解码时输出的隐藏状态，t为大于或等于2的整数；

根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率，包括：

根据所述目标视觉特征和所述第t-1隐藏状态，生成进行第t次解码时的目标视觉上下文信息；

根据所述目标视觉上下文信息和所述参考视觉上下文信息，确定所述候选词汇的第一匹配度；

获取所述记忆结构中所述候选词汇对应的第一词特征向量以及所述第t-1解码词的第二词特征向量；

根据所述第一词特征向量和所述第二词特征向量，确定所述候选词汇的第二匹配度；

根据所述第一匹配度和所述第二匹配度，确定所述候选词汇的所述第二选取概率。

4.根据权利要求2所述的方法，其特征在于，所述记忆结构中还包括各个所述候选词汇对应的辅助信息；

所述根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率，包括：

根据所述辅助信息、所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法包括：

对于各个所述候选词汇，根据样本视频对应的样本视频描述，确定所述候选词汇对应的I条所述相关视频，所述相关视频的所述样本视频描述中包含所述候选词汇，I为大于或等于1的整数；

对于各条所述相关视频，确定所述相关视频中的k个关键视觉特征，所述关键视觉特征与所述候选词汇的匹配度高于所述相关视频中其它视觉特征与所述候选词汇的匹配度，k为大于等于1的整数；

根据I条所述相关视频对应的各个所述关键视觉特征，生成所述候选词汇对应的所述参考视觉上下文信息；

将各个所述候选词汇对应的所述参考视觉上下文信息存储到所述记忆结构。

6.根据权利要求5所述的方法，其特征在于，所述确定所述相关视频中的k个关键视觉特征，包括：

通过所述基础解码器，获取所述相关视频中各个视觉特征对所述候选词汇的特征权重，其中，各个所述特征权重之和为1；

将前k个所述特征权重对应的所述视觉特征确定为所述关键视觉特征。