[发明专利]情绪数据标注方法、装置、计算机设备和存储介质

权利要求书

1.一种情绪数据标注方法，所述方法包括：

获取视频流；

提取所述视频流的各视频帧图像数据，对各所述视频帧图像数据中的人脸图像对应的情绪进行标注，得到人脸情绪标注结果；

提取所述各视频帧图像数据对应的音频数据，对所述音频数据对应的情绪进行标注，获得语义情绪标注结果；

将所述人脸情绪标注结果与所述语义情绪标注结果进行比较，根据比较结果确定所述视频流对应的情绪数据标注结果。

2.根据权利要求1所述的方法，其特征在于，所述对各所述视频帧图像数据中的人脸图像对应的情绪进行标注，包括：

提取各所述视频帧图像数据中的人脸特征，所述人脸特征包括人脸几何特征和人脸表征特征中的至少一种；

采用预先训练的人脸情绪识别模型，根据所述人脸特征对各所述视频帧图像中的人脸图像对应的情绪进行标注。

3.根据权利要求1所述的方法，其特征在于，所述对所述音频数据对应的情绪进行标注，获得语义情绪标注结果，包括：

采用预先训练的语句转换模型将各所述音频数据转换为各语句，对各所述语句对应的情绪进行标注，获得语义情绪标注结果。

4.根据权利要求3所述的方法，其特征在于，所述语句转换模型的训练过程，包括：

获取训练样本集，所述训练样本集包括：原始音频数据，以及对所述原始音频数据进行转换后得到的语句；

对所述训练样本集进行特征提取，训练获得所述语句转换模型，所述语句转换模型用于将输入的音频数据进行转换并输出为语句。

5.根据权利要求3所述的方法，其特征在于，所述对各所述语句对应的情绪进行标注，包括：

提取各所述语句的语义特征，所述语义特征包括语气、语境和语义要素中的至少一种；

采用预先训练的语义情绪识别模型，基于所述语义特征对各所述语句对应的情绪进行标注。

6.根据权利要求1所述的方法，其特征在于，所述根据比较结果确定所述视频流对应的情绪数据标注结果，包括：

当所述人脸情绪标注结果与所述语义情绪标注结果一致时，将所述人脸情绪标注结果或所述语义情绪标注结果作为所述视频流对应的情绪数据标注结果；

当所述人脸情绪标注结果与所述语义情绪标注结果不一致时，计算所述人脸情绪标注结果与所述语义情绪标注结果的置信度，根据所述置信度确定所述视频流对应的情绪数据标注结果。

7.根据权利要求6所述的方法，其特征在于，所述计算所述人脸情绪标注结果与所述语义情绪标注结果的置信度，根据所述置信度确定所述视频流对应的情绪数据标注结果，包括：

获取所述人脸情绪标注结果和所述语义情绪标注结果中的各情绪权重和各信任度；

根据各所述情绪权重和各所述信任度，分别计算所述人脸情绪标注结果和所述语义情绪标注结果中存在的不同情绪标注结果的置信度；

将所述人脸情绪标注结果和所述语义情绪标注结果中相同的情绪标注结果的置信度相加得到所述情绪标注结果的综合置信度；

将所述综合置信度最高的情绪标注结果作为所述视频流对应的情绪数据标注结果。

8.一种情绪数据标注装置，其特征在于，所述装置包括：

视频流获取模块，用于获取视频流；

人脸情绪标注模块，用于提取所述视频流的各视频帧图像数据，对各所述视频帧图像数据中的人脸图像对应的情绪进行标注，得到人脸情绪标注结果；

语义情绪标注模块，用于提取所述各视频帧图像数据对应的音频数据，对所述音频数据对应的情绪进行标注，获得语义情绪标注结果；

标注结果确定模块，用于将所述人脸情绪标注结果与所述语义情绪标注结果进行比较，根据比较结果确定所述视频流对应的情绪数据标注结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。