[发明专利]基于Transformer的非接触式心率测量方法

权利要求书

1.一种基于Transformer的非接触式心率测量方法，该方法包括以下步骤：

步骤S10，获取设定时间段内包含人脸信息的待测视频帧序列；

步骤S20，基于所述待测视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；

步骤S30，对所述人脸感兴趣区域图像序列进行预处理，并基于预处理后的所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取设定时间段内的心率序列；

其中，所述端到端Transformer模型基于顺次连接的线性层、空间Transformer模块、时间Transformer模块和全连接层构建；

所述空间Transformer模块包括N个第一处理模块；所述第一处理模块基于多头注意力子模块、多层感知机子模块构建；

所述多头注意力子模块基于顺次连接的归一化层、多头注意力层构建；

所述多层感知机子模块基于顺次连接的归一化层、多层感知机结构构建；所述多层感知机结构基于顺次连接的全连接层、激活函数层、Dropout层、全连接层和Dropout层构建；

所述多头注意力子模块的输入和所述多头注意力子模块内多头注意力层的输出相加构成所述多头注意力子模块的输出；所述多头注意力子模块的输出和所述多层感知机子模块内多层感知机结构的输出相加构成所述多层感知机子模块的输出；

所述时间Transformer模块包括M个第二处理模块，所述第二处理模块与第一处理模块结构相同；

“对所述人脸感兴趣区域图像序列的预处理”其方法为：基于所述人脸感兴趣区域图像序列，按时间顺序均匀采集F张图像作为待处理采样帧；

“通过训练好的端到端Transformer模型获取所述设定时间段内的心率序列”，其方法为：

步骤S31，对F张所述待处理采样帧进行预处理，获得F个嵌入式向量，包括：将所述待处理采样帧分为F×N个大小为P×P的采样块，其中，每张待处理采样帧对应N个采样块；

将每个采样块拉成一个向量获得待处理向量，基于待处理向量，通过线性映射获得待处理嵌入式向量；

将对应于同一张待处理采样帧的待处理嵌入式向量进行堆叠，获得F个嵌入式向量；

步骤S32，基于所述嵌入式向量，通过空间Transformer模块获取F个第一待处理输出向量；

步骤S33，基于所述第一待处理输出向量，通过位置编码、堆叠获得第一输出向量；所述第一输出向量为F×D的矩阵，其中D为空间Transformer模块输出的维度；

步骤S34，基于所述第一输出向量，通过时间Transformer模块获取第二输出向量；

步骤S35；基于所述第二输出向量，通过全连接层，获得设定时间段内的心率序列。

2.根据权利要求1所述的基于Transformer的非接触式心率测量方法，其特征在于，所述多头注意力层的每个头所采用的注意力机制为，

将多头注意力子模块内的归一化层的输出与权重矩阵相乘得到q、k、v；

其中，表示第个多头注意力子模块的输入，表示多头注意力子模块内的归一化层所作的层归一化操作，表示第个多头注意力子模块的第个头；表示权重矩阵；

将q与k点积计算，对点积计算所得的结果依次经过激活函数层和Dropout层后作为系数与v相乘；

对相乘所得的结果经过线性层和归一化层后进行输出。

3.根据权利要求1所述的基于Transformer的非接触式心率测量方法，其特征在于，所述训练好的端到端Transformer模型，其训练方法为：

步骤A10，获取训练视频帧序列，基于训练视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；将训练视频帧序列所对应的人脸感兴趣区域图像序列及其标准心率序列作为训练样本，构建训练样本集；

步骤A20，对所述训练样本集中的人脸感兴趣区域图像序列进行预处理，预处理后输入至端到端Transformer模型中，得到预测的设定时间段内的心率序列；

步骤A30，基于端到端Transformer模型输出的设定时间段内的心率序列、标准心率序列，计算损失值，并调整所述端到端Transformer模型参数；

步骤A40，循环执行步骤A20-A30，直至得到训练好的端到端Transformer模型。