[发明专利]一种基于深度学习的实时视频情感分析方法及系统

说明书

本发明公开了一种基于深度学习的实时视频情感分析方法及系统。分析方法包括以下步骤：S1、获取训练数据集；S2、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；S3、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值；S4、将步骤S3所获得的心率值与步骤S2中的表情预测值进行比对，并输出与步骤S3所获得的心率值相同的表情。本发明将机器视觉中的人脸识别、图像分类算法应用于微表情和心率的检测中，利用深度学习算法实现微表情的识别，可应用在临床领域、司法领域和安全领域中。

技术领域

本发明涉及情感分析技术领域，更具体地说，特别涉及一种基于深度学习的实时视频情感分析方法及系统。

背景技术

在当今社会，每天成千上万的乘客穿过地铁、火车站、机场的安全检查站，或通过边境检查站出入国境而安检人员则需要通过与他们进行交互来判别谈话内容的真伪，以辨识出哪些人可能具有高风险性，会危害到其他人或国家的安全。将这样的工作完成好几乎是不可能的。因为人的认知资源是有限的，时间也是有限的，识别谎言的能力更是非常有限的，其识别率仅略高于机率水平。安检人员不可能去挡住这几乎永无止境的人流，不计代价地进行互动以保证谈话的真实性。人必须依赖工具才能完成这样的任务。因此，能帮助人准确识别撒谎行为的工具，特别是自动谎言识别系统，在国际反恐、国家安全、司法侦讯等领域，具有非常重大的应用价值。事实上，虽然测谎仪早已应运而生。但是它的结果却在司法判决中得不到认可，因为大量研究表明测谎仪的结果并不可靠。

微表情反映了人试图压抑与隐藏的真实情感，是一种有效的非言语线索。在临床领域，临床心理学家或许可以仔细观察患者，发现其微表情，了解患者对特定事或人的真正态度和想法，从而对症治疗，缩短治疗时间；在司法领域，法官或许可以藉由犯罪嫌疑人脸上的微表情，判断犯罪嫌疑人是否在撒谎：在安全领域，安全人员或许可以藉由微表情判断对方是否有攻击的意图，从而防患于未然。

现今，人脸识别在个人使用、商业和政府应用中都具有巨大潜力。这项技术还在不断进步和发展中，其应用越来越普及。

发明内容

本发明的目的在于提供一种基于深度学习的实时视频情感分析方法及系统。

为了达到上述目的，本发明采用的技术方案如下：

一种基于深度学习的实时视频情感分析方法，包括以下步骤：

S1、获取训练数据集；

S2、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；

S3、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值；

S4、将步骤S3所获得的心率值与步骤S2中的表情预测值进行比对，并输出与步骤S3所获得的心率值相同的表情。

进一步地，所述步骤S3的心率算法包括以下步骤，

S31、采用拍摄设备对人的表情进行拍摄，同时再利用物理测量仪器测量参与者的脉搏拍摄的视频皆以24位RGB真彩色、15帧/秒的帧速、1920×1080的像素分辨率采集；

S32、利用深度神经网络检测人脸区域作为ROI，将读取彩色视频的每一帧ROI内的图像，然后对其彩色信号实施三基色分离得到R、G、B三个通道的颜色分量，并将其保存成一个三维数字矩阵，其中第三个维度代表R、G、B三个颜色通道,余下两维的矩阵中的每一个位置上都是ROI内每个相应位置的R、G、B通道的像素值；

S33、将每帧R、G、B三个颜色通道所对应的各自二维矩阵取空间平均，作为该帧视频图像所处时刻的PPG信号样本值；