[发明专利]视频的情感标注方法、装置、电子设备及存储介质

权利要求书

1.一种视频的情感标注方法，其特征在于，包括：

从待处理视频中获取图像与音频信息；

对所获取的图像进行人脸识别，将同一人的、时间上相邻的人脸图像构建成人脸图像序列；

根据所述人脸图像序列中的图像以及所述人脸图像序列所对应的音频信息，为每一个人脸图像序列确定情感类别；

确定所述人脸图像序列的情感分数；其中，所述情感分数用于描述情感的强烈程度；

根据所述人脸图像序列的情感类别与情感分数，结合所述待处理视频的时间信息，确定所述待处理视频所包含的情感类别以及所述待处理视频所包含的情感类别的时间信息；

其中，所述根据所述人脸图像序列的情感类别与情感分数，结合所述待处理视频的时间信息，确定所述待处理视频所包含的情感类别以及所述待处理视频所包含的情感类别的时间信息，包括：

人脸图像序列选取步骤，包括从当前未处理的人脸图像序列中选取情感分数最高的人脸图像序列；

标注时间信息步骤，包括将所选取的人脸图像序列所对应的时间段标记为该人脸图像序列的情感类别，判断所选取的人脸图像序列所对应的时间段是否与其他人脸图像序列所对应的时间段重合，如果有重合，在情感分数较低的人脸图像序列中去除重合时间段的图像；

重复执行所述的人脸图像序列选取步骤和标注时间信息步骤，直至待处理视频中的所有人脸图像序列都已经被处理；

根据待处理视频中的时间段所标记的情感类别，得到所述待处理视频所包含的情感类别以及所述待处理视频所包含的情感类别的时间信息。

2.根据权利要求1所述的视频的情感标注方法，其特征在于，所述根据所述人脸图像序列中的图像以及所述人脸图像序列所对应的音频信息，为每一个人脸图像序列确定情感类别包括：

根据所述人脸图像序列中的图像提取所述人脸图像序列的图像情感特征；其中，所述图像情感特征是图像中用于反映人类情感的特征；

根据所述人脸图像序列所对应的音频信息提取人脸图像序列的音频情感特征；其中，所述音频情感特征是音频中用于反映人类情感的特征；

根据所述人脸图像序列的图像情感特征和音频情感特征为所述人脸图像序列计算多个候选情感类别的分数，根据所述多个候选情感类别的分数的比较结果确定所述人脸图像序列的情感类别。

3.根据权利要求2所述的视频的情感标注方法，其特征在于，所述确定所述人脸图像序列的情感分数包括：

将确定为所述人脸图像序列的情感类别的候选情感类别的分数作为所述人脸图像序列的第一情感分数；

根据所述人脸图像序列的第一情感分数以及所述人脸图像序列所对应的人物的权重计算所述人脸图像序列的情感分数。

4.根据权利要求3所述的视频的情感标注方法，其特征在于，还包括：

将所述人脸图像序列的第一情感分数与可信度阈值进行比较，根据比较结果去除第一情感分数低于可信度阈值的人脸图像序列。

5.根据权利要求3所述的视频的情感标注方法，其特征在于，所述人物的权重根据所述人物在待处理视频中的角色以及在待处理视频中的出场时间确定。