[发明专利]基于边框注意力网络的表情识别方法、装置、设备及介质

权利要求书

1.一种基于边框注意力网络的表情识别方法，其特征在于，所述基于边框注意力网络的表情识别方法包括：

响应于表情识别指令，获取初始视频；

以预设时长对所述初始视频进行拆分，得到至少一个视频段；

对所述至少一个视频段进行特征截取，得到训练样本；

基于边框注意力机制，以所述训练样本训练预设残差网络，得到表情识别模型；

获取待检测视频段，并对所述待检测视频段进行预处理，得到帧图片；

建立预设数量的进程，并在执行每个进程时，每隔预设时间间隔将对应的帧图片输入至所述表情识别模型进行处理，得到每个进程的预测表情与对应的预测概率；

根据每个进程的预测表情与对应的预测概率确定所述待检测视频段的表情识别结果。

2.如权利要求1所述的基于边框注意力网络的表情识别方法，其特征在于，所述获取初始视频包括：

确定配置表情类别；

采用网络爬虫技术，基于所述配置表情类别进行数据的爬取，得到所述初始视频；及/或

采用指定工具，根据所述配置表情类别进行视频模拟，得到所述初始视频。

3.如权利要求1所述的基于边框注意力网络的表情识别方法，其特征在于，所述对所述至少一个视频段进行特征截取，得到训练样本包括：

获取所述至少一个视频段所包含的所有初始帧图片；

将所述所有初始帧图片中的每张初始帧图片输入至YOLOv3网络中进行识别，得到每张初始帧图片的面部区域；

以每张初始帧图片的面部区域截取对应的每张初始帧图片，得到每个子样本；

整合得到的子样本作为所述训练样本。

4.如权利要求1所述的基于边框注意力网络的表情识别方法，其特征在于，所述基于边框注意力机制，以所述训练样本训练预设残差网络，得到表情识别模型包括：

以所述预设残差网络对所述训练样本进行特征提取，得到初始特征；

将所述初始特征输入至每个颜色通道对应的全连接层，输出特征向量；

以第一sigmoid函数处理所述特征向量，得到第一注意力权重；

基于所述第一注意力权重对所述特征向量进行转化，得到初始全局边框特征；

并接所述特征向量与所述第一全局边框特征，得到并接特征；

以第二sigmoid函数处理所述并接特征，得到第二注意力权重；

基于所述第二注意力权重对所述并接特征进行转化，得到目标全局边框特征；

以softmax函数处理所述目标全局边框特征，输出预测结果及损失；

当检测到所述损失收敛时，停止训练，得到所述表情识别模型。

5.如权利要求4所述的基于边框注意力网络的表情识别方法，其特征在于，采用下述公式基于所述第一注意力权重对所述特征向量进行转化，得到初始全局边框特征：

其中，f′_v为所述初始全局边框特征，α_i为所述第一注意力权重，f_i为所述特征向量，i为所述特征向量所属的帧数，n为最大帧数。

6.如权利要求5所述的基于边框注意力网络的表情识别方法，其特征在于，采用下述公式基于所述第二注意力权重对所述并接特征进行转化，得到目标全局边框特征：

其中，f_v为所述目标全局边框特征，β_i为所述第二注意力权重，[f_i：f′_v]为所述并接特征。

7.如权利要求1所述的基于边框注意力网络的表情识别方法，其特征在于，所述根据每个进程的预测表情与对应的预测概率确定所述待检测视频段的表情识别结果包括：

从所述预测概率中获取最大预测概率作为目标预测概率；

获取所述目标预测概率对应的预测表情作为目标预测表情；

以所述目标预测概率及所述目标预测表情生成所述表情识别结果。