[发明专利]基于边框注意力网络的表情识别方法、装置、设备及介质

说明书

本发明涉及人工智能领域，提供一种基于边框注意力网络的表情识别方法、装置、设备及介质，能够以视频段作为训练样本，由于视频段能够比图片更有优势地捕抓到有代表性的人脸情绪状态，有效解决了采用单一图片进行表情识别造成的识别不准确问题，同时，基于边框注意力机制适应性地聚合边框特征来实现模式识别，更具有稳定性，且精度更高，建立预设数量的进程，根据每个进程的预测表情与对应的预测概率确定待检测视频段的表情识别结果，进而基于人工智能手段实现对表情的自动识别。本发明还涉及区块链技术，表情识别结果可存储于区块链。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于边框注意力网络的表情识别方法、装置、设备及介质。

背景技术

随着移动互联网与智能机器人在线交互的普及与发展，线上客户体验的反馈变得越来越重要，能够让线上机器人感知客户的情绪状态也是系统交互的重要一环。因此，相较于传统的让客户填写服务反馈信息的方式，通过线上感知客户办业务时的情绪状态来获得客户体验更加真实且直接。

现有技术中，通常采用单一的图片进行表情识别，虽然一些单一的图片具有代表性，但人脸情绪的状态往往不是单一时间点能够反映出来的，而且，现有技术也很难在人脸表情视频检测上达到商业应用的精度与速度要求，也就无法满足线上作业的要求。

发明内容

鉴于以上内容，有必要提供一种基于边框注意力网络的表情识别方法、装置、设备及介质，能够有效解决了采用单一图片进行表情识别造成的识别不准确问题，同时，基于边框注意力机制适应性地聚合边框特征来实现模式识别，更具有稳定性，且精度更高，进而基于人工智能手段实现对表情的自动识别。

一种基于边框注意力网络的表情识别方法，所述基于边框注意力网络的表情识别方法包括：

响应于表情识别指令，获取初始视频；

以预设时长对所述初始视频进行拆分，得到至少一个视频段；

对所述至少一个视频段进行特征截取，得到训练样本；

基于边框注意力机制，以所述训练样本训练预设残差网络，得到表情识别模型；

获取待检测视频段，并对所述待检测视频段进行预处理，得到帧图片；

建立预设数量的进程，并在执行每个进程时，每隔预设时间间隔将对应的帧图片输入至所述表情识别模型进行处理，得到每个进程的预测表情与对应的预测概率；

根据每个进程的预测表情与对应的预测概率确定所述待检测视频段的表情识别结果。

根据本发明优选实施例，所述获取初始视频包括：

确定配置表情类别；

采用网络爬虫技术，基于所述配置表情类别进行数据的爬取，得到所述初始视频；及/或

采用指定工具，根据所述配置表情类别进行视频模拟，得到所述初始视频。

根据本发明优选实施例，所述对所述至少一个视频段进行特征截取，得到训练样本包括：

获取所述至少一个视频段所包含的所有初始帧图片；

将所述所有初始帧图片中的每张初始帧图片输入至YOLOv3网络中进行识别，得到每张初始帧图片的面部区域；

以每张初始帧图片的面部区域截取对应的每张初始帧图片，得到每个子样本；

整合得到的子样本作为所述训练样本。

根据本发明优选实施例，所述基于边框注意力机制，以所述训练样本训练预设残差网络，得到表情识别模型包括：

以所述预设残差网络对所述训练样本进行特征提取，得到初始特征；