[发明专利]一种基于双通道残差神经网络的人体动作识别方法

权利要求书

1.一种基于双通道残差神经网络的人体动作识别方法，其特征在于，包括以下步骤：

步骤1：获取记录了人体动作特征的传感器时序数据样本及其对应的人体动作类别；

步骤2：构建双通道残差神经网络模型；

所述双通道残差神经网络模型包括一个短通道、一个长通道、一个连接层和一个全连接层；短通道和长通道各包括一个依次连接的卷积层和残差层；两个残差层后连接一个连接层，连接层后连接一个全连接层；

设置短通道和长通道的滑动时间窗口长度，分别记为T1和T2，T1<T2，以使得短通道截取的数据长度小于长通道截取的数据长度；

双通道残差神经网络模型的数据数据处理过程为：首先短通道/长通道根据设置的滑动时间窗口长度，从输入的传感器时序数据中截取相应长度的数据；短通道/长通道截取的数据先由一个卷积层进行预处理，再由一个残差层进行深度特征提取，得到短通道/长通道的输出特征；短通道和长通道的输出特征共同输入一个连接层进行拼接，得到更为精细的动作特征；连接层输出的动作特征再输入全连接层进行整合，输出结果，该输出结果为一个向量，其维度等于分类标签总数，其第k维的元素值对应输入的传感器时序数据对应第k类人体动作的可能性大小；

步骤3：基于步骤1获取的传感器时序数据样本及其对应的人体动作分类标签对双通道残差神经网络模型进行训练；

步骤4：将未知类别的传感器时序数据输入经步骤3训练好的双通道残差神经网络模型，实现人体动作识别。

2.根据权利要求1所述的基于双通道残差神经网络的人体动作识别方法，其特征在于，双通道残差神经网络模型中两个残差层的结构相同；每个残差层包括依次串联的多个残差模块；每个残差模块包括依次串联的多个子残差块；每个子残差块包括依次串联的多个卷积层；每个子残差块中最后一个卷积层的输出与该子残差块的输入相加后，再经一个激活函数，得到该子残差块的输出。

3.根据权利要求2所述的基于双通道残差神经网络的人体动作识别方法，其特征在于，每个残差层包括依次串联的4个残差模块；各残差模块结构如下：

第一个残差模块包括依次串联的3个子残差块，其中每个子残差块包括依次串联的3个卷积层，3个卷积层的卷积核大小分别为1*1、3*1和1*1，卷积核个数分别为64、64和256；

第二个残差模块包括依次串联的4个子残差块，其中每个子残差块包括依次串联的3个卷积层，3个卷积层的卷积核大小分别为1*1、3*1和1*1，卷积核个数分别为512、512和256；

第三个残差模块包括依次串联的6个子残差块，其中每个子残差块包括依次串联的3个卷积层，3个卷积层的卷积核大小分别为1*1、3*1和1*1，卷积核个数分别为256、256和1024；

第四个残差模块包括依次串联的3个子残差块，其中每个子残差块包括依次串联的3个卷积层，3个卷积层的卷积核大小分别为1*1、3*1和1*1，卷积核个数分别为128、128和512。

4.根据权利要求1所述的基于双通道残差神经网络的人体动作识别方法，其特征在于，将全连接层的输出结果记为(z₁，z₂，...，z_K)，其维度K等于分类标签总数，第k个维度对应分类标签k，

在全连接层后设置有softmax分类器，softmax分类器基于全连接层的输出结果，采用softmax公式计算当前输入双通道残差神经网络模型的传感器时序数据x分类标签为k的概率p(k|x)；softmax公式如下：

若为p(k|x)，中的最大值，则模型判定训练样本x为第类人体动作。

5.根据权利要求1所述的基于双通道残差神经网络的人体动作识别方法，其特征在于，在双通道残差神经网络模型的训练过程中，损失函数采用以下交叉熵损失函数：

其中，l表示损失值，用于实际输出与期望输出的接近程度；p(k|x)双通道残差神经网络模型通过softmax分类器实际输出的训练样本x分类标签为k的概率；q(k|x)表示期望输出的训练样本x分类标签为k的概率，若训练样本x的真实分类标签为k，则q(k|x)＝1，否则q(k|x)＝0。