[发明专利]基于多模态特征的情绪定量方法、装置、设备及存储介质

说明书

本申请公开了一种基于多模态特征的情绪定量方法、装置、设备及存储介质，本申请获取到待测对象在设定谈话场景下的音频、视频数据、识别文本，该三种模态的数据全面覆盖待测对象的整体状态，所提供的信息更加丰富，为准确分析得到情绪参考数据提供了很好的数据基础。分别提取三种模态的数据的特征，得到文本特征、音频局部特征和视频局部特征，采用可学习的聚类模块分别对音频局部特征和视频局部特征进行维度压缩和聚类，获取更有价值的高维的音频全局特征和视频全局特征，将文本特征、音频全局特征和视频全局特征进行融合，并基于融合特征确定待测对象的情绪参考数据，实现了对待测对象的自动化检测，大大提升了检测效率。

技术领域

本申请涉及情绪判定技术领域，更具体的说，是涉及一种基于多模态特征的情绪定量方法、装置、设备及存储介质。

背景技术

情绪对人类的身心健康具有直接的影响，积极的情绪会使整个人身心处于良好状态，而消极的情绪则容易引起身心疾患，常见的情绪问题如抑郁症、焦虑症、狂躁症等。情绪问题不同于通常的情绪波动和对日常生活中挑战产生的短暂情绪反应，用户可能会受极大影响，在工作中以及在学校和家中表现不佳。

目前对用户情绪问题的检测一般会依据一些检测量表（HAMD-17,PHQ-9,BDI-II,SDS等），工作人员（如医生）依据一些场景询问用户一些问题，通过用户的回答以及反馈来确定用户是否存在指定类型的情绪问题（如抑郁症等），以及问题的严重程度，每个用户每次问诊需要耗时20-30分钟，效率非常低，而社会上存在情绪问题的用户数量庞大，有些甚至还未意识到自己已经存在情绪问题，在专业人员（如医生）资源紧缺的情况下，这种低效的检测方式进一步导致了难以普及情绪问题的筛查、检测工作。

发明内容

鉴于上述问题，提出了本申请以便提供一种基于多模态特征的情绪定量方法、装置、设备及存储介质，以实现高效、准确地获取对象的情绪参考数据，以辅助确定对象是否存在情绪问题，以及问题的严重程度。具体方案如下：

第一方面，提供了一种基于多模态特征的情绪定量方法，包括：

获取对待测对象采集的音频、视频数据，及所述音频数据对应的识别文本，其中，所述音频、视频数据为对所述待测对象在设定谈话场景下所采集的数据；

提取所述识别文本的文本特征、提取所述音频数据的音频局部特征，以及提取所述视频数据的视频局部特征；

采用可学习的聚类模块分别对所述音频局部特征和所述视频局部特征进行维度压缩和聚类，得到聚类后的高维的音频全局特征和视频全局特征；

将所述文本特征、所述音频全局特征和所述视频全局特征进行融合，并基于融合特征确定所述待测对象的情绪参考数据。

第二方面，提供了一种基于多模态特征的情绪定量装置，包括：

多模态数据获取模块，用于获取对待测对象采集的音频、视频数据，及所述音频数据对应的识别文本，其中，所述音频、视频数据为对所述待测对象在设定谈话场景下所采集的数据；

文本特征提取模块，用于提取所述识别文本的文本特征；

局部特征提取模块，用于提取所述音频数据的音频局部特征，以及提取所述视频数据的视频局部特征；

聚类单元，用于采用可学习的聚类模块分别对所述音频局部特征和所述视频局部特征进行维度压缩和聚类，得到聚类后的高维的音频全局特征和视频全局特征；

特征融合单元，用于将所述文本特征、所述音频全局特征和所述视频全局特征进行融合；

结果预测模块，用于基于融合特征确定所述待测对象的情绪参考数据。

第三方面，提供了一种基于多模态特征的情绪定量设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如前所述的基于多模态特征的情绪定量方法的各个步骤。