[发明专利]情绪类型识别方法、装置及电子设备

说明书

本申请提供一种情绪类型识别方法、装置及电子设备，所述方法包括：获取监控视频图像；对监控视频图像进行特征提取，得到目标人员的表情关键信息和行动关键信息，行动关键信息用于指示目标人员的类型；在表情关键信息中识别出与行动关键信息关联的特征，得到第一关联特征向量，并在行动关键信息中识别出与表情关键信息关联的特征，得到第二关联特征向量；根据第一关联特征向量和第二关联特征向量，对表情关键信息和行动关键信息进行调整；根据调整后表情关键信息和调整后行动关键信息，确定目标人员的情绪分类信息。如此可以实现更准确的情绪分类识别。

技术领域

本申请涉及大数据处理领域，具体而言，涉及一种情绪类型识别方法、装置及电子设备。

背景技术

从视频图像中识别出人员的情绪对人员监控十分重要，传统的情绪识别方案中，通常仅通过对人脸关键信息进行识别，以确定人员情绪类型，但是这种分类方式较为粗放，识别准确度低。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种情绪类型识别方法，包括：

获取监控视频图像，所述监控视频图像包括至少一个目标人员；

对所述监控视频图像进行特征提取，得到所述目标人员的表情关键信息和行动关键信息，所述行动关键信息用于指示所述目标人员的类型；

在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量；

根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整；

根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息。

可选地，所述在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括：

获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征；

根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量；

根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量。

可选地，所述获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征，包括：

获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，得到所述表情关键信息对应的第一位置关键点信息和所述行动关键信息对应的第二位置关键点信息；

根据所述第一位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述表情关键信息对应的第一候选框位置特征；

根据所述第二位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述行动关键信息对应的第二候选框位置特征。

可选地，所述根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，包括：

在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第一映射特征向量和第一特征值向量；

在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第一索引特征向量；

获取所述表情关键信息的特征处理通道数量；

将所述第一映射特征向量与第一索引特征向量进行融合，得到第一中间特征向量；

计算所述第一中间特征向量与所述特征处理通道数量的比值，得到所述第一关联特征向量；