[发明专利]情绪数据标注方法、装置、计算机设备和存储介质

说明书

本申请涉及一种情绪数据标注方法、装置、计算机设备和存储介质。所述方法包括：获取视频流；提取视频流的各视频帧图像数据，对各视频帧图像数据中的人脸图像对应的情绪进行标注，得到人脸情绪标注结果；提取各视频帧图像数据对应的音频数据，对音频数据对应的情绪进行标注，获得语义情绪标注结果；将人脸情绪标注结果与语义情绪标注结果进行比较，根据比较结果确定视频流对应的情绪数据标注结果。采用本申请实施例方法，能够有效提高情绪数据标注效率，避免人工标注的主观性，能够有效提高情绪数据标注准确性。

技术领域

本申请涉及生物识别技术领域，特别是涉及一种情绪数据标注方法、装置、计算机设备和存储介质。

背景技术

情绪是一种综合主观认知经验，是人对客观事物的态度体验和行为反应，在人与人之间的交流中发挥着重要的作用。随着生物识别技术的发展，对于情绪数据的识别和分析，是神经科学、认知科学、计算机科学、心理学和人工智能等领域一项重要的交叉学科研究课题。

传统方法中对于情绪的分析识别，主要基于生理信号和非生理信号。生理信号主要基于自主神经系统和中枢神经系统，通过测量心率、人体阻抗、呼吸、大脑皮层信号等获取对应的情绪。非生理信号主要基于人脸、音频数据，通过深度学习构建函数关系推断对应的情绪。

然而，获取生理信号需要特定的仪器和设备。针对于语音数据对应的情绪的分析识别，在通过非生理信号进行深度学习时，缺少带有情绪标注的训练数据，需要人工根据语音数据进行标注，但是直接根据语音数据标注对应的情绪十分困难，因此导致情绪数据标注效率低，而且人工标注的主观性还会导致情绪数据标注准确性低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高情绪数据标注效率和准确性的情绪数据标注方法、装置、计算机设备和存储介质。

一种情绪数据标注方法，所述方法包括：

获取视频流；

提取所述视频流的各视频帧图像数据，对各所述视频帧图像数据中的人脸图像对应的情绪进行标注，得到人脸情绪标注结果；

提取所述各视频帧图像数据对应的音频数据，对所述音频数据对应的情绪进行标注，获得语义情绪标注结果；

将所述人脸情绪标注结果与所述语义情绪标注结果进行比较，根据比较结果确定所述视频流对应的情绪数据标注结果。

在其中一个实施例中，所述对各所述视频帧图像数据中的人脸图像对应的情绪进行标注，包括：

提取各所述视频帧图像数据中的人脸特征，所述人脸特征包括人脸几何特征和人脸表征特征中的至少一种；

采用预先训练的人脸情绪识别模型，根据所述人脸特征对各所述视频帧图像中的人脸图像对应的情绪进行标注。

在其中一个实施例中，所述对所述音频数据对应的情绪进行标注，获得语义情绪标注结果，包括：

采用预先训练的语句转换模型将各所述音频数据转换为各语句，对各所述语句对应的情绪进行标注，获得语义情绪标注结果。

在其中一个实施例中，所述语句转换模型的训练过程，包括：

获取训练样本集，所述训练样本集包括：原始音频数据，以及对所述原始音频数据进行转换后得到的语句；

对所述训练样本集进行特征提取，训练获得所述语句转换模型，所述语句转换模型用于将输入的音频数据进行转换并输出为语句。

在其中一个实施例中，所述对各所述语句对应的情绪进行标注，包括：

提取各所述语句的语义特征，所述语义特征包括语气、语境和语义要素中的至少一种；

采用预先训练的语义情绪识别模型，基于所述语义特征对各所述语句对应的情绪进行标注。