[发明专利]一种基于自监督和终身学习的非接触式多模态生理信号检测方法

权利要求书

1.一种基于自监督和终身学习的非接触式多模态生理信号检测方法，其特征在于，包括以下步骤：

步骤1，获取人脸视频数据建立大规模无标签自监督训练集，少部分有标签数据作为测试集；

步骤2，对无标签自监督训练集进行预处理；

步骤3，建立基于自相似性的自监督Teacher模型；

步骤4，建立基于自相似性的自监督Student模型；

步骤5，Teacher和Student模型初始化；

步骤6，使用无标签训练集对Teacher和Student模型进行深度学习训练；

步骤7，对完成自监督预训练的Teacher模型或Student模型基于不同的下游任务进行微调；

步骤8，对完成微调的Teacher模型或Student模型在有标签测试集上进行评估测试，测试达标后将基于自监督学习的非接触式多模态生理信号检测模型应用于非接触式多模态生理信号检测。

2.一种基于自监督和终身学习的非接触式多模态生理信号检测方法，其特征在于，包括以下步骤：

步骤1，在PC端基于自监督学习预训练非接触式多模态生理信号检测模型；

步骤2，构建基于终身学习的非接触式生理信号测量系统；

步骤3，在边缘计算平台上部署预训练非接触式多模态生理信号检测模型；

步骤4，远程摄像头实时输入用户视频，经过人脸识别和差分计算后将数据流打包上传云端数据库；

步骤5，边缘计算平台通过云端数据库实时下载输入视频帧，基于终身学习方法微调非接触式多模态生理信号检测预训练模型，在微调的同时实时输出生理信号检测结果。

3.根据权利要求1所述的一种基于自监督和终身学习的非接触式多模态生理信号检测方法，其特征在于，步骤2中无标签自监督训练集预处理包含空域变换和频域变换，空域变换操作为随机裁剪，随机水平镜像和随机垂直镜像；频域变换操作为随机频率上采样或下采样；成数据增强后对人脸视频帧进行前向差分，具体步骤如下：

V_Residual(t)＝V_Real(t+1)-V_Real(t)

式中，V_Real为原始人脸帧序列输入，V_Residual为差分人脸帧序列输入。

4.根据权利要求1所述的一种基于自监督和终身学习的非接触式多模态生理信号检测方法，其特征在于，步骤3中基于自相似性的自监督Teacher模型具有预卷积模块、时空特征编码器模块、滑动窗口模块、投影模块、预测模块以及相似性计算模块；eacher模型输入原始人脸帧序列V_Real，预卷积模块的输出与步骤2所述人脸帧差分序列V_Residual进行融合。

5.根据权利要求1所述的一种基于自监督和终身学习的非接触式多模态生理信号检测方法，其特征在于，步骤4中基于自相似性的自监督Student模型输入为差分人脸帧序列V_Real，Student模型具有与Teacher模型结构完全一致的时空特征编码器模块、滑动窗口模块、投影模块以及相似性计算模块。

6.根据权利要求1所述的一种基于自监督和终身学习的非接触式多模态生理信号检测方法，其特征在于，步骤5中Teacher和Student模型初始化时将Student模型的全部参数设置为不求导数，整个预训练过程中仅使用Teacher模型更新Student模型参数。