[发明专利]用于标记视频片段的方法及装置

权利要求书

1.一种用于标记视频片段的方法，包括：

间隔设定图像帧，分别从待标记视频中提取图像序列和对应图像序列的音频信息序列，建立图像信息序列中的图像和音频信息序列中对应图像的音频信息之间的对应关系，得到视频特征信息序列，其中，所述视频特征信息用于表征所述待标记视频的图像特征和音频特征，所述图像特征为图像包含的内容，所述音频特征为音频中特定的音频信息；

将所述视频特征信息序列内相邻的设定数量的视频特征信息分组，得到视频特征片段序列；

对于所述视频特征片段序列中的视频特征片段，将该视频特征片段导入预先训练的视频标记模型，得到对应该视频特征片段的标识信息，所述视频标记模型用于匹配与视频特征片段对应的标识信息，标识信息用于表征视频特征片段处于事件的开始状态、中间状态或终止状态；

响应于得到对应所述视频特征片段序列的标识信息序列，通过所述标识信息序列中的标识信息对所述待标记视频的视频片段进行标记。

2.根据权利要求1所述的方法，其中，所述视频标记模型通过以下步骤训练得到：

获取多个样本视频特征片段和对应所述多个样本视频特征片段中每个样本视频特征片段的样本标识信息；

将所述多个样本视频特征片段中每个样本视频特征片段作为输入，将所述多个样本视频特征片段中每个样本视频特征片段所对应的样本标识信息作为输出，训练得到视频标记模型。

3.根据权利要求2所述的方法，其中，所述将所述多个样本视频特征片段中每个样本视频特征片段作为输入，将所述多个样本视频特征片段中每个样本视频特征片段所对应的样本标识信息作为输出，训练得到视频标记模型，包括：

执行以下训练步骤：将所述多个样本视频特征片段中每个样本视频特征片段依次输入至初始化视频标记模型，得到所述多个样本视频特征片段中每个样本视频特征片段所对应的预测标识信息，将所述多个样本视频特征片段中每个样本视频特征片段所对应的预测标识信息与该样本视频特征片段所对应的样本标识信息进行比较，得到所述初始化视频标记模型的预测准确率，确定所述预测准确率是否大于预设准确率阈值，若大于所述预设准确率阈值，则将所述初始化视频标记模型作为训练完成的视频标记模型。

4.根据权利要求3所述的方法，其中，所述将所述多个样本视频特征片段中每个样本视频特征片段作为输入，将所述多个样本视频特征片段中每个样本视频特征片段所对应的样本标识信息作为输出，训练得到视频标记模型，还包括：

响应于不大于所述预设准确率阈值，调整所述初始化视频标记模型的参数，并继续执行所述训练步骤。

5.根据权利要求3所述的方法，其中，所述将所述多个样本视频特征片段中每个样本视频特征片段依次输入至初始化视频标记模型，得到所述多个样本视频特征片段中每个样本视频特征片段所对应的预测标识信息，包括：

对于所述样本视频特征片段包含的图像和对应该图像的音频信息，对该图像进行图像识别，得到对应该图像的图像内容信息，对该音频信息进行音频识别，得到对应该音频信息的音频内容信息；

响应于图像内容信息序列中存在相邻两帧图像的图像内容信息不同，且音频内容信息序列中存在对应该相邻两帧图像的音频内容信息不同，确定样本视频特征片段的预测标识信息为事件的开始状态或终止状态。

6.根据权利要求5所述的方法，其中，所述确定样本视频特征片段的预测标识信息为事件的开始状态或终止状态，包括：

响应于所述相邻两帧图像中前一帧图像的图像内容信息包括指定图像内容，与该前一帧图像对应的音频内容信息包括指定音频内容，且后一帧图像不包括所述指定图像内容，与该后一帧图像对应的音频内容信息不包括指定音频内容，则设置样本视频特征片段的预测标识信息为事件的终止状态。