[发明专利]一种基于可移动传感器组合设备的人体跌倒检测方法

权利要求书

1.一种基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述基于可移动传感器组合设备的人体跌倒检测方法包括：

步骤一，基于可穿戴传感器系统采集人体用户传感器数据；

步骤二，对采集的传感器数据进行数值归一化处理；

步骤三，采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类；

步骤四，通过腰部及腕部传感器收集数据分别构建分类器，并对分类结果加权组合得到跌倒类别判断结果。

2.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤一中基于可穿戴传感器系统采集人体用户传感器数据具体包括：

(1)采集用户数据的可穿戴传感器系统，为惯性测量单元IMU，IMU测量日常动作中三轴加速度、三轴角速度，通过蓝牙连接IMU与PC，实现数据的无线实时传输，采样频率设置为20Hz；

(2)两个传感器分别放置在腕部及腰部，腕部佩戴位置为右手桡骨接近腕骨处，腰部佩戴位置为髋骨前侧正中处位置；

(3)动作类别：动作划分为跌倒及日常动作，日常动作包含坐、站、躺、慢跑、快跑、上下楼梯的基本动作，以及接打电话、蹲下的日常活动。

3.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤二中对采集的传感器数据进行数值归一化处理具体包括：

信号数值归一化，将所有数据映射到0～1范围；采用线性函数归一化方法，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值；x是原始的传感器信号数据，x*是归一化后的结果。

4.如权利要求1所述的基于可移动传感器组合设备的人体跌倒检测方法，其特征在于，所述步骤三中采用基于时序多模态学习的CorrRNN模型对采集的传感器数据分类具体包括：

(1)输入数据，采集N位测试人员跌倒及日常动作数据作为训练样本，样本集记为T((X₁，Y₁，X₂，Y₂，c)¹...，(X₁，Y₁，X₂，Y₂，c)^N)，其中X₁，Y₁，X₂，Y₂分别代表两个可穿戴传感器收集的数据，X₁表示腰部传感器收集的加速度数据，Y₁表示腰部传感器收集的螺旋仪数据；X₂表示腕部传感器收集的加速度数据，Y₂表示腕部传感器收集的螺旋仪数据，c表示动作分类；

把腰部和腕部收集的数据，分别输入模型进行训练，最后两个分类器组合最终进行分类；后续步骤中，以腰部数据作为输入，腕部及腰部传感器数据采用的方法相同；由此后续步骤将X₁，Y₁简写为x，y；

将加速度数据、螺旋仪数据表示为长度T的序列；和表示X模态在时序t的m维特征；

(2)时序多模态学习

在t时融合两种模态，扩展表示为和l是历史时序范围；给定多模态数据序列对训练一个特征学习模型M，学习多维联合表示

(3)CorrRNN模型结构

包括两个重新生成的神经网络：多模态编码器和多模态解码器；

多模态编码器将两个输入序列映射到公共空间；多模态解码器从编码器获得的联合表示重构两个输入序列；编码器和解码器都是双层网络；

多模态输入在被送到称为融合层的公共层之前，首先映射到单独的隐藏层；在重构多模态输入之前，首先对联合表示进行解码以分离隐藏层；

使用一对多模态输入训练模型，在最后一步编码器中的融合层的激活被输出作为序列特征表示；根据模型输入可以获得两种类型的特征表示：如果两个输入模态都存在，获得它们的联合表示；如果仅存在一种形式，将获得“增强的”单模态表示；

(4)多模态编码器

多模态编码器将输入模态序列融合成公共表示，多模态编码器在每一时间使用三个主要模块；

动态加权模块DW：通过评估输入信号与最近历史记录的一致性，动态地对两种模态的信号进行加权；

GRU模块GRU：融合输入模态以生成融合表示；该模块还使用重置和更新门捕获序列的时序结构；

相关模块Corr：将GRU模块生成的中间状态作为输入，以计算基于相关性的损失；

其中动态加权模块根据其随时序的一致性评估，在给定时序步长为每个模态输入分配权重；分配给输入模态的动态权重基于当前输入与前一时序步骤的融合数据，表示之间的一致性；使用双线性函数来评估两种模态的一致性得分和

是在模块训练过程中学到的参数；这两种模态的权重是通过使用Laplace平滑对分数进行归一化获得的：

GRU模块包含不同的门单元，用于调制模块内的信息流；GRU模块在时序t处将x_t和y_t作为输入并且跟踪三个量，即融合表示和模态特定表示融合表示构成历史多模态输入的单个表示；模态特定表示被认为是维持模态输入的投影，计算它们的相关性的度量；该模块中的计算表达如下：

其中σ是逻辑S形函数，是双曲线正切函数，r和z是复位和更新门的输入，h和分别代表标准GRU的激活和候选激活；b是神经元的偏置；U_r为输出层第r个神经元的输入；

模型对不同的输入X和Y使用单独的权重，使得模型捕获模态关系和每种模态的特定方面；

Correlation模块计算从GRU模块获得的模态输入的投影之间的相关性；形式上，在时序t给定两个模态和的N个映射，相关性计算如下：

其中；

将基于相关的损失函数表示为通过这一函数使两种模态之间的相关性最大化；

(5)多模态解码器

多模态解码器从多模态编码器计算的联合表示同时重构各个模态输入序列x和y；通过最小化训练时的重构损失，得到的联合表示从两种模态中保留尽可能多的信息；在多模态解码器中引入两个额外的重构损失项：交叉重构和自我重构；最终，多模解码器包括三个重构损失：

融合重构损失，从联合表示重构的误差：

自我重构损失，从中重构从中重构误差：

交叉重构损失，从中重构从中重构误差：

其中β是用于平衡两个输入模态的损失函数值的相对比例的超参数，而f，g分别表示由多模态编码器和解码器实现的特征映射；用于训练模型的目标函数表示为：

其中λ是用于缩放相关损失项的贡献的超参数，N是训练阶段使用的小批量数据的大小；目标函数结合由解码器计算的不同形式的重构损失，其中相关损失作为编码处理的一部分被计算；使用具有自适应学习速率的随机梯度下降算法来优化上述目标函数；

(6)对收集的传感器数据进行分类

通过计算LSTM网络的最后一个卷积层的输出获得传感器特征，从获取的归一化后的数据提取特征；根据提取的特征，使用滑动窗口，从持续时序进行采样；运动序列用于训练CorrRNN模型，使用随机梯度下降，训练跌倒检测模型。