[发明专利]基于视频的表情分析方法、装置、电子设备及存储介质

说明书

本发明提供一种基于视频的表情分析方法、装置、电子设备及存储介质。所述基于视频的表情分析方法能够在接收到基于视频的表情分析指令后，接收带有指定人物的视频，并提取所述视频中所述指定人物的语音，对所述语音进行自然语言处理，得到处理后的目标语音，并结合预先配置的语音数据集，从所述语音数据集中自动、快速地确定语音分析数据，进一步提取所述视频中所述指定人物的目标表情数据，并结合预先配置的表情数据集，从所述表情数据集中自动确定表情分析数据，并根据所述语音分析数据及所述表情分析数据，确定分析结果，从而将表情识别技术与自然语言处理技术相结合，实现自动分析，自动化的处理过程提高了分析效率，为医生看诊提供辅助参考。

技术领域

本发明涉及智能分析技术领域，尤其涉及一种基于视频的表情分析方法、装置、电子设备及存储介质。

背景技术

现有技术方案中，表情观察和语言分析是医生就诊的很重要的手段，例如，抑郁症作为当前社会关注度比较高的精神科类疾病，其初始诊断主要就是依靠患者与医生的面对面沟通，医生通过观察病人的表情、分析病人的语言等来判定病人的情况是消极性抑郁症、积极性抑郁症，还是其他情况。

因此，为了保证诊断的准确性，医生在就诊过程中，需要尽可能的关注到病人的所有表情、动作、语言等细节，这将给医生的诊断带来一定的挑战，只要一时注意不到或疏忽，极有可能造成错误诊断，给病人和医生均带来困扰。

发明内容

鉴于以上内容，有必要提供一种基于视频的表情分析方法、装置、电子设备及存储介质，能将表情识别技术与自然语言处理技术相结合，实现自动分析，自动化的处理过程提高了分析效率，能够为医生看诊提供辅助参考。

一种基于视频的表情分析方法，所述方法包括：

在接收到基于视频的表情分析指令后，接收带有指定人物的视频；

提取所述视频中所述指定人物的语音；

对所述语音进行自然语言处理，得到处理后的目标语音；

获取预先配置的语音数据集，所述语音数据集中存储着所有语音与相应分析结果间的对应关系；

根据所述目标语音，从所述语音数据集中确定语音分析数据；

提取所述视频中所述指定人物的目标表情数据；

获取预先配置的表情数据集，所述表情数据集中存储着所有表情与相应分析结果间的对应关系；

根据所述目标表情数据，从所述表情数据集中确定表情分析数据；

根据所述语音分析数据及所述表情分析数据，确定分析结果。

根据本发明优选实施例，所述提取所述视频中所述指定人物的目标表情数据包括：

将所述视频做分帧处理，得到至少一个视频段；

提取每个视频段中所述指定人物的每个表情数据；

将每个表情数据加权以确定所述目标表情数据。

根据本发明优选实施例，所述根据所述目标表情数据，从所述表情数据集中确定表情分析数据包括：

从所述目标表情数据中获取目标微表情数据；

从所述表情数据集中，确定与所述目标微表情数据对应的微表情分析数据；

从所述目标表情数据中获取目标面相数据；

从所述表情数据集中，确定与所述目标面相数据对应的面相分析数据；

根据所述微表情分析数据及所述面相分析数据，确定所述表情分析数据。

根据本发明优选实施例，所述根据所述语音分析数据及所述表情分析数据，确定分析结果包括：