[发明专利]一种基于深度学习的按摩手法识别方法

权利要求书

1.一种基于深度学习的按摩手法识别方法，其特征在于，操作步骤如下：

步骤一：通过柔性分布式触觉传感器采集按摩动作对应的数据；

步骤二：通过上位机将传感器数据可视化为按摩点阵热力图；

步骤三：通过变分自编码器VAE构建一个从隐变量生成目标数据的模型来扩充原有采集数据；

步骤四：通过帧差法提取按摩点阵热力图的关键帧；

步骤五：用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征；

步骤六：在卷积神经网络之后引入帧注意力机制，给数据的视频帧维度赋予权重值；

步骤七：用循环神经网络来提取的各帧按摩力点阵图的时间域特征；

步骤八：将循环神经网络的输出接入线性层以降维数据，训练网络，实现按摩手法的识别。

2.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤二中，将采集按摩动作对应的数据按摩数据可视化，通过Matlab将触觉传感器的各传感单元按照其在手套上的实际分布位置可视化在上位机中，用热力图表示传感单元受力的大小，传感单元受力由小到大对应传感单元由冷到暖的颜色。

3.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤三中，变分自编码器VAE通过引入隐变量来间接获得真实样本数据的分布，并对隐变量插值并将其解码成生成样本，在不额外采集数据的情况下扩充按摩点阵热力图，实现数据增强。

4.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤四中，帧差法将一个按摩手法对应120帧点阵热力图的每10帧点阵热力图的像素求均值，并将均值图片与这10帧图片作对挑选出一帧与均值图片像素差最大的图片，保留这张差值最大的图片与均值图片，最后得到20帧的关键帧，将关键帧按照时间顺序排列好以作为神经网络的输入，实现数据关键帧提取。

5.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤五中，通过二维卷积神经网络提取按摩手法的空间域特征。

6.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤六中，帧注意力机制通过全局池化层、线性层、归一化层将数据维度转化为:(1,1,frames)，将视频帧以外的维度均转化为1，通过神经网络的反向传播算法训练出视频帧的权重值frames，然后再将权重值乘到数据的frames维度上，将数据维度复原成:(batch size,frames,CNN embed dim)，给视频帧维度frames赋予范围在0-1的权重值。

7.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤七中，通过循环神经网络提取按摩手法的时间域特征。

8.根据权利要求1所述的基于深度学习的按摩手法识别方法，其特征在于，在所述步骤七中，将循环神经网络的最后一层隐层输出接入一个线性层将数据降维成:(batch size,NCategories)，得到手法识别结果；用交叉熵函数计算识别结果与数据真实标签之间的损失；每训练一轮，均用反向传播算法更新网络的各权重参数；经过n轮的训练，最终得到可识别按摩手法的神经网络，实现按摩手法识别。