[发明专利]基于多模态数据特征化的安全监测方法及终端

权利要求书

1.一种基于多模态数据特征化的安全监测方法，其特征在于，包括步骤：

S0、实时获取近电手环采集到的多模态数据，所述多模态数据包括佩戴者的心率、佩戴者的血氧饱和度、所处的位置、佩戴者的六轴姿态、所处位置的气压、佩戴者的近电体温及佩戴者的血压；

S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，具体包括：

S11、将所述多模态数据以预设的特征数据进行表示，具体为：

设所述心率为A次/分钟；

设所述血氧饱和度为B；

设所述位置为P，格式记为(x,y,z)；

设所述六轴姿态为S，格式记为(S_R,S_K,S_H,S_x,S_y,S_z)，其中S_R为左右倾斜度、S_K为前后倾斜度、S_H为左右摇摆度、S_x为x轴方向加速度、S_y为y轴方向加速度、S_z为z轴方向加速度；

设所述气压为M，单位为kPa；

设所述近电体温为T℃；

设血压为Q，格式记为(Q₁,Q₂)，Q₁为收缩压，Q₂为舒张压；

S12、各所述多模态数据的特征嵌入记为A'、B'、P'、S'、M'、T'和Q'，嵌入表示为：Y=Embed(X)，其中X为各所述特征数据的原始输入，Y为各所述特征数据嵌入后的表示；

Embed方法如下：

（1）；

式中，W_m,n为所述特征数据的权重，采用随机正态分布初始化，范围为0到1，X_n为所述特征数据的原始输入，n表示所述特征数据的维数，N为所有所述特征数据中维度最大的所述特征数据的维数，0_m为所述特征数据嵌入后在n维度的输出，m∈(0,5)，不同模态的所述特征数据的维数不同，得到；

（2）；

即Y的矩阵大小为1×6；

S2、将嵌入后的各所述特征数据进行特征对齐，具体包括：

S21、将嵌入后的各所述特征数据映射到相同的数据空间：

（3）；

式中，c代表七种所述特征数据的种类A'、B'、P'、S'、M'、T'和Q'，c∈(0,6)，即矩阵Y映射形成7×6的矩阵Y'；

S22、对各所述特征数据进行特征交叉：

（4）；

式中，0=i6，得到结构为6×6的矩阵F；

S23、将矩阵F中的单个交叉特征进行堆叠，得到最终矩阵F'：

（5）；

式中，j∈(0,4)，即最终得到结构为5×6×6的矩阵F'；

S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；

S4、根据提取到的特征，进行事件研判。