[发明专利]情绪类型识别方法、装置及电子设备

权利要求书

1.一种情绪类型识别方法，其特征在于，包括：

获取监控视频图像，所述监控视频图像包括至少一个目标人员；

对所述监控视频图像进行特征提取，得到所述目标人员的表情关键信息和行动关键信息，所述行动关键信息用于指示所述目标人员的类型；

在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量；

根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整；

根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息。

2.根据权利要求1所述的情绪类型识别方法，其特征在于，所述在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括：

获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征；

根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量；

根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量。

3.根据权利要求2所述的情绪类型识别方法，其特征在于，所述获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征，包括：

获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，得到所述表情关键信息对应的第一位置关键点信息和所述行动关键信息对应的第二位置关键点信息；

根据所述第一位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述表情关键信息对应的第一候选框位置特征；

根据所述第二位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述行动关键信息对应的第二候选框位置特征。

4.根据权利要求2所述的情绪类型识别方法，其特征在于，所述根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，包括：

在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第一映射特征向量和第一特征值向量；

在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第一索引特征向量；

获取所述表情关键信息的特征处理通道数量；

将所述第一映射特征向量与第一索引特征向量进行融合，得到第一中间特征向量；

计算所述第一中间特征向量与所述特征处理通道数量的比值，得到所述第一关联特征向量；

将所述第一关联特征向量与所述第一候选框位置特征进行融合，得到第二中间特征向量；

对所述第二中间特征向量进行归一化处理，得到第一权重，所述第一权重用于指示所述表情关键信息中的特征与所述行动关键信息的关联关系；

根据所述第一权重，对所述第一特征值向量进行加权，得到所述第一关联特征向量。

5.根据权利要求2所述的情绪类型识别方法，其特征在于，所述根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括：

在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第二映射特征向量和第二特征值向量；

在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第二索引特征向量；

将所述第二映射特征向量与第二索引特征向量进行特征关联，得到第二关联特征向量，并将所述第二关联特征向量、第二候选框位置特征和第二特征值向量进行融合，得到第二关联特征向量。