[发明专利]一种基于密集连接卷积神经网络的人体运动状态判别方法

权利要求书

1.基于密集连接卷积神经网络的运动状态判别方法，其特征在于包括：

A)进行步态数据采集，包括采用足底压力分析系统和惯性传感器相结合的方式进行数据采集，数据采集所借助的工具包括：

根据被试的鞋码大小剪裁足底压力分析系统的测量鞋垫，

腰上惯性传感器，其x、y、z轴正方向依次为上、左、右，

左腿上的惯性传感器，其x、y、z轴正方向依次为上、前、左，

右腿上的惯性传感器，其x、y、z轴正方向依次为上、后、右，

采集过程包括：

室内直行，记录被试者直行预定距离所需的时间，

左转向，其中被试者绕一定半径的圆连续左转预定时间，

右转向，其中被试者绕上述圆连续右转预定时间，

爬楼梯，其中被试者爬楼梯预定高度后不停歇回到出发点，记录全程时间,

并进行步态时相标记，包括由足底压力分析系统得到的地面垂直支反力曲线得到步态支撑相和摆动相的划分，作为运动时相划分的分类标记，

B)进行特征选择，包括通过训练决策树模型进行特征选择，其中：

在建立决策树时，先利用包括信息熵的原则，选取能优化分类效果的特征，优先建立决策树，

对通过决策树得到的特征重要性进行排序，基于步态对称性，通过比较腰上和右小腿上的惯性传感器的所得特征，进行特征选择，

对腰上的六轴数据进行特征重要性排序，

对右小腿上的六轴数据进行重要性排序，

选择左右小腿的角速度z轴、角速度y轴和加速度z轴共6个通道的特征作为密集连接卷积神经网络的输入，输出对应预测分类，其中该6个通道的动力学时间序列被截成固定长度的序列作为输入，

C)训练密集连接卷积神经网络：

所述密集连接卷积神经网络包括：

(1)输入层，其中:

用sklearn库中preprocessing模块的scale函数，将输入的6个通道数据沿时间方向归一化，使其均值为0、方差为1；

将预处理后的输入截取成固定长度的事件，每一事件分配和所属原始输入一样的分类标签，最终输入的数据形式为n*6*200*1,对应样本数*通道数*采样点数*1；

为实现跨通道的交互和信息整合、增加非线性特性，进行卷积核大小1*1的卷积，步长为1，得到45张特征图，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积运算；

为便于第二层的时间卷积，将输出特征图进行三维转置，此时输出大小为n*1*200*45；

(2)第二层，包括时间卷积层和空间卷积层两部分,其中：

时间卷积中，卷积核大小11*1，步长为1，输出25张特征图，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积运算；

空间卷积中，卷积核大小1*45，步长为1*1，在经过ReLU激活函数后进入池化层，池化大小为3*1，步长为3*1，采用maxpooling，即在相邻3个像素中选取最大值作为输出，最终输出25张特征图，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积运算；max(x)表示maxpooling，f()表示ReLU激活函数，即f(x)＝max(0,x),表示第l层的偏置；

(3)第三层,

在该层中先后通过卷积核大小为1*1、步长1*1的卷积输出100张特征图、ReLU激活函数、卷积核大小为7*1、步长1*1的卷积输出50张特征图、ReLU激活函数后，进入池化层，仍采用maxpooling，池化大小为3*1、步长3*1，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征图和第l层中第j张特征图的卷积核，表示第l层中连接l层中第j张特征图和第l+1层中第q张特征图的卷积核，M_j表示l-1层特征图的集合，M_q表示l-1层特征图的集合，代表卷积运算；max(x)表示maxpooling，f()表示ReLU激活函数，即f(x)＝max(0,x),表示第l+1层的偏置；

该层的最后，将该层的原始输入25张特征图和最终输出的50张特征图进行连接，输出75张特征图；

(4)第四层

第四层和第三层类似，先后通过卷积核大小为1*1、步长1*1的卷积输出200张特征图、ReLU激活函数、卷积核大小为7*1、步长1*1的卷积输出100张特征图、ReLU激活函数后，进入池化层，仍采用maxpooling，池化大小为3*1、步长3*1，该层的最后，同样将该层的原始输入75张特征图和最终输出的100张特征图进行连接，输出175张特征图；

(5)第五层，

该层中卷积核大小3*1，步长为1*1，在经过ReLU激活函数后进入池化层，池化大小为3*1，步长为3*1，采用maxpooling，最终输出4张特征图，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积运算；max(x)表示maxpooling，f()表示ReLU激活函数，即f(x)＝max(0,x),表示第l层的偏置；

(6)第六层

该层将上层输出展开为一维数据，标签有三类，所以输出层有三个神经元，输出结果为输入数据属于各个类别的概率值，

其中：

所述训练包括采用平方误差函数作为损失函数计算预测值与标签的误差，不断通过反向传播与随机梯度下降算法更新网络中每一层的参数，直至准确率开始下降，或大于1000次，停止训练，并保存模型，

D)测试密集连接卷积神经网络，包括：

判别包括直行、左转、右转的单人多任务的运动状态，运动状态包括直行、左转、右转，

使用所得数据集进行单人多任务的运动状态判别测试,同时用支持向量机进行结果对比；为了同样使用原始步态动力学序列而不提取特征，支持向量机的相关实验步骤包括：

分别对左右小腿的角速度z轴、角速度y轴和加速度z轴共六个通道数据进行运动时相划分，包括支撑相和摆动相的划分，将同步采集到的足底压力序列通过阈值划分转成0-1序列作为分类标记，通过时相划分结果间接得到运动状态判别结果。