[发明专利]一种基于视频眼动和心率分析的恐惧紧张情绪识别方法

说明书

本发明公开了一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，利用视频中人眼动以及远距离非接触式心率估计相结合的方式，提出将Relief特征选择法用于该两种生理信号的优化选择分析。最后分别采用k近邻(kNN)算法和最小乘支持向量机(LS‑SVM)算法进行人员的恐惧紧张精神状态的识别和判断，本发明涉及视频分析技术领域。该基于视频眼动和心率分析的恐惧紧张情绪识别方法，能够解决现有技术中的异常情绪识别方法受检测人配合程度制约、测试方法不隐秘和测试效率低的问题，通过眼动数据分析引入的异常数据处理机制，提高了算法效率，并采用特征选择方法，降低了特征维度，在改善训练时间的同时，有效提高类似犯罪知情者的异常情绪识别。

技术领域

本发明涉及视频分析技术领域，具体涉及一种基于视频的眼动数据分析以及非接触式心率分析的恐惧紧张情绪识别方法。

背景技术

恐惧紧张情绪是一种人在生活表现出对特殊场景以及目标的负面情绪，恐惧是指人们在面临某种危险情境，企图摆脱而又无能为力时所产生的担惊受怕的一种强烈压抑情绪体验，恐惧心理就是平常所说的“害怕”，按照凯利的观点，恐惧类似威胁但在程度上较轻，当一个人的建构系统的边缘要素而不是核心建构被证明无效时，恐惧就会产生，躯体症状多系交感神经出现反应性症状，如气短，气促，心慌等。

目前，利用生理信号参数进行人的特定情绪状态识别的结果更为客观真实，但，由于基于生理信号的采集都基于接触式设备，需要在受检人员身上带上各种生理指标采集设备，所以，由于涉及到人身自由和隐私，该方式很难得到普遍应用。

Pichard带领的MIT实验室记录了五种生理参数，提取了40种特征，探索基于多生理参数进行情绪识别的可行性，Kim利用音频材料以及视频片段作为诱发材料，采集200被试的四种生理参数，采用支持向量机算法来对四种情绪进行分类识别，发现利用同样的算法当情绪识别种类增加时，识别率有所下降，这些方法在多特征优化处理时，在保证识别准确率的同时，降低整个识别算法模型的复杂度，但是，这些算法往往占据更大的计算资源，对于恐惧紧张的识别判断，目前多集中于问卷和观察的方式，但，该方式不利用用于人机交互以及公共安全场景下对人恐惧紧张情绪的捕获。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，利用视频中人眼动以及远距离非接触式心率估计相结合的方式，提出将Relief特征选择法用于该两种生理信号的优化选择分析，最后分别采用k近邻(kNN)算法和最小乘支持向量机(LS-SVM)算法进行人员的恐惧紧张精神状态的识别和判断。

（二）技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，具体包括以下步骤：

S1、拍摄采集受测者正对镜头的视频样本；

S2、首先检测人脸以及眼部所在位置，利用已训练好的深度卷积神经网络（DCNN）进行视线方向的估计，输出人脸在三维世界下的视线方向估计，得到视线方程；

S3、检测人脸额头天庭位置，采用rPPG远程光电体积扫描技术进行远距离非接触式心率估计，rPPG利用反射的周围光来测量皮肤的细微亮度变化，而皮肤的细微亮度变化是因为心脏跳动导致了血液流动，因此，通过rPPG技术能够得到类似血容量脉搏（BVP）的信号，此信号用于预测心率，具体地，当一定波长的光照到活体皮肤的表面，光将通过反射或透射传送出人体皮肤表面，在这个过程里，光因为受了血液、组织、肌肉和皮肤的吸收，强度会发生减弱，皮肤、组织、肌肉对特定的波长光的吸收在血液的循环中保持恒定不变，仅由皮肤内血液容积随心脏跳动导致光强的吸收呈现出搏动性的变化，由于人体组织所吸收的光没有血容量对光的吸收多，因此血容量的变化将由从皮肤表面反射或透射出来的光强度变化来反映，然后提出基于深度学习的心率估计模型；

S4、将步骤S1至步骤S3得到眼部位置信息以及心率特征信息向量输入Relief-SVM算法框架中进行处理；