[发明专利]情绪分类方法和情绪分类模型的训练方法、装置及设备

权利要求书

1.一种情绪分类方法，包括：

确定视频帧序列中第一目标对象的第一生理信号；

基于所述第一生理信号，确定所述视频帧序列中的第一目标视频帧，其中，所述第一目标视频帧中所述第一目标对象的第一生理信号的变化满足预定变化条件；

基于所述第一目标视频帧，确定针对所述第一目标对象的第一情绪分类信息；以及

基于所述第一情绪分类信息，确定所述第一目标对象的情绪类别。

2.根据权利要求1所述的方法，还包括：

基于所述第一生理信号，确定针对所述第一目标对象的第二情绪分类信息；

其中，基于所述第一情绪分类信息，确定所述第一目标对象的情绪类别包括：基于所述第一情绪分类信息和所述第二情绪分类信息，确定所述第一目标对象的情绪类别。

3.根据权利要求1或2所述的方法，还包括：

针对视频数据中的每个视频帧，确定所述每个视频帧中所述第一目标对象所在的区域，作为第一目标区域；

从所述每个视频帧中截取所述第一目标区域的图像，得到针对所述第一目标对象的视频帧；以及

将针对所述第一目标对象的视频帧按时序排列，得到所述视频帧序列。

4.根据权利要求3所述的方法，其中，所述确定视频帧序列中第一目标对象的第一生理信号包括：

针对所述视频帧序列中的每一帧，确定所述每一帧中所述第一目标对象的目标部位所在的区域，作为所述每一帧的第二目标区域；以及

基于所述第二目标区域，确定所述视频帧序列中第一目标对象的第一生理信号。

5.根据权利要求4所述的方法，其中，所述基于所述第二目标区域，确定所述视频帧序列中第一目标对象的第一生理信号包括：

基于所述视频帧序列中视频帧的排列顺序，以预定帧数为窗口长度划分所述视频帧序列；

对于划分得到的每个窗口内的视频帧组，对所述视频帧组中各视频帧的第二目标区域进行影像放大处理，得到一个处理后视频帧组；以及

基于得到的至少一个处理后视频帧组，确定所述第一目标对象的目标生理指标随时间变化的信息，作为所述第一生理信号。

6.根据权利要求2所述的方法，其中，所述基于所述第一生理信号，确定针对所述第一目标对象的第二情绪分类信息包括：

提取所述第一生理信号的特征数据；以及

将所述第一生理信号中各个时间点的目标生理指标与所述特征数据拼接后输入分类网络，得到针对所述第一目标对象的第二情绪分类信息，

其中，所述第一生理信号包括所述第一目标对象的目标生理指标随时间变化的信息。

7.根据权利要求1所述的方法，其中，所述基于所述第一目标视频帧，确定针对所述第一目标对象的第一情绪分类信息包括：

将所述第一目标视频帧输入微表情识别模型，得到针对所述第一目标对象的第一情绪分类信息。

8.根据权利要求2所述的方法，其中，所述基于所述第一情绪分类信息和所述第二情绪分类信息，确定所述第一目标对象的情绪类别包括：

基于预定权重，确定所述第一情绪分类信息和所述第二情绪分类信息的加权和；以及

基于所述加权和，确定所述第一目标对象的情绪类别。

9.一种情绪分类模型的训练方法，其中，所述情绪分类模型包括信号提取网络和第一情绪识别网络；所述方法包括：

采用所述信号提取网络得到视频帧序列样本中第二目标对象的第二生理信号；其中，所述视频帧序列样本包括所述第二目标对象的实际情绪类别；

基于所述第二生理信号，确定所述视频帧序列中的第二目标视频帧，其中，所述第二目标视频帧中所述第二目标对象的第二生理信号的变化满足预定变化条件；

基于所述第二目标视频帧，采用所述第一情绪识别网络确定针对所述第二目标对象的第三情绪分类信息；

基于所述第三情绪分类信息，确定所述第二目标对象的预测情绪类别；以及

基于所述预测情绪类别和所述实际情绪类别，对所述情绪分类模型进行训练。