[发明专利]视频的情感标注方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种视频的情感标注方法、装置、电子设备及存储介质。方法包括：从待处理视频中获取图像与音频信息；对所获取的图像进行人脸识别，将同一人的、时间上相邻的人脸图像构建成人脸图像序列；根据所述人脸图像序列中的图像以及所述人脸图像序列所对应的音频信息，为每一个人脸图像序列确定情感类别。本发明实施例提供的视频的情感标注方法、装置、电子设备及存储介质能够从待处理的视频中区分出不同的人物，并为这些人物实现了个性化的情感标注。

技术领域

本发明涉及视频技术领域，尤其涉及一种视频的情感标注方法、装置、电子设备及存储介质。

背景技术

随着数字媒体处理技术和计算机网络技术的快速发展以及智能设备的不断普及，数字图像、音频、视频已经逐渐成为信息传播的主要方式。视频由于具有直观生动的特点，应用越来越广泛。

视频内容不仅包含事件和动作,还包含丰富的情感语义信息。而对视频情感语义的研究,既可以提升数字媒体的检索、标注效率,又能够提高数字娱乐产品的情感交互能力和促进人工智能的发展。

现有技术中存在多种情感标注方法，如基于单帧进行情感识别与标注，又如使用3D卷积或者LSTM方法对整个视频或者视频中片段进行情感识别与标注。

现有技术中的情感标注方法通常只针对整个视频进行情感标注，但在一个视频中往往存在着多种情感，特别是视频中的不同人物会有不同的情感。现有技术中的情感标注方法无法针对视频中的人物进行个性化的情感标注。

发明内容

本发明实施例提供一种视频的情感标注方法、装置、电子设备及存储介质，用以解决现有技术中的视频情感标注方法无法针对视频中的人物进行个性化的情感标注的缺陷。

本发明第一实施例提供一种视频的情感标注方法，包括：

从待处理视频中获取图像与音频信息；

对所获取的图像进行人脸识别，将同一人的、时间上相邻的人脸图像构建成人脸图像序列；

根据所述人脸图像序列中的图像以及所述人脸图像序列所对应的音频信息，为每一个人脸图像序列确定情感类别。

上述技术方案中，还包括：

确定所述人脸图像序列的情感分数；其中，所述情感分数用于描述情感的强烈程度；

根据所述人脸图像序列的情感类别与情感分数，结合所述待处理视频的时间信息，确定所述待处理视频所包含的情感类别以及所述待处理视频所包含的情感类别的时间信息。

上述技术方案中，所述根据所述人脸图像序列中的图像以及所述人脸图像序列所对应的音频信息，为每一个人脸图像序列确定情感类别包括：

根据所述人脸图像序列中的图像提取所述人脸图像序列的图像情感特征；其中，所述图像情感特征是图像中用于反映人类情感的特征；

根据所述人脸图像序列所对应的音频信息提取人脸图像序列的音频情感特征；其中，所述音频情感特征是音频中用于反映人类情感的特征；

根据所述人脸图像序列的图像情感特征和音频情感特征为所述人脸图像序列计算多个候选情感类别的分数，根据所述多个候选情感类别的分数的比较结果确定所述人脸图像序列的情感类别。

上述技术方案中，所述确定所述人脸图像序列的情感分数包括：

将确定为所述人脸图像序列的情感类别的候选情感类别的分数作为所述人脸图像序列的第一情感分数；

根据所述人脸图像序列的第一情感分数以及所述人脸图像序列所对应的人物的权重计算所述人脸图像序列的情感分数。

上述技术方案中，还包括：