[发明专利]基于数据可靠性评价的非接触式负性心境检测方法和装置

说明书

本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，涉及负性心境检测技术领域。本发明实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。

技术领域

本发明涉及负性心境检测技术领域，具体涉及一种基于数据可靠性评价的非接触式负性心境检测方法和装置。

背景技术

心境是一种内在的、主观的、不易被特定事件刺激的较持久而又微弱的情绪状态。心境分为积极心境和消极心境，消极心境主要包括紧张、压抑、愤怒、疲劳等方面。

由于人类会同时存在多种心境状态，目前的基于面部特征的心境状态识别研究是对于单一负性心境状态的识别，如抑郁心境状态、焦虑心境状态、压力心境状态等等，

目前的负性心境检测在数据特征融合时，特征向量拼接融合方法未能够考虑数据的可靠性，无法有效区分不同模态数据对于负性心境检测的重要性，模型的鲁棒性不高。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，解决了目前的特征向量拼接融合方法未能够考虑数据的可靠性的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，该方法包括：

获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；

基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列V_ij和热红外人脸图像序列T_ij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；

分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；

将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。

进一步的，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：

将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；

对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值将图像质量平均值作为每个通道人脸图像序列对应的动态可靠性；

且每个通道人脸图像序列的总体可靠性TDR为：