[发明专利]一种基于深度学习的按摩手法识别方法

说明书

本发明公开了一种基于深度学习的按摩手法识别方法，通过柔性触觉传感器采集按摩时手部的力分布及力大小信息，并采用神经网络提取手法特征，实现对按摩手法的识别；采用变分自编码器，实现数据增强；利用帧差法提取输入数据的关键帧，去除输入的冗余帧；通过二维卷积神经网络与循环神经网络，提取并训练按摩点阵热力图组的空间域、时间域特征；在卷积神经网络后引入帧注意力机制，提高网络对按摩手法识别精度。本发明在不增加采集数据成本情况下，扩充原有的传感器数据；提取图组数据的关键帧，减少网络过拟合现象，增加网络泛化能力；神经网络提取视频帧之间的时间域信息，获取按摩手法的时间域特征；通过引入帧注意力机制，有效提高识别精度。

技术领域

本发明属于人工智能领域，具体涉及一种基于深度学习的按摩手法识别方法。

背景技术

按摩是用手法作用于人体体表的特定部位以调节机体生理、病理状况，达到理疗目的的方法。传统人工按摩需按摩师的大量体力，同时需要大量的培训成本。

随着机器人技术发展，机器人可代替人工用于按摩服务。为实现机器人按摩，首先需要系统了解专业按摩师的按摩手法，探究按摩手法的特征，为机器人复现按摩师的按摩手法提供参考。

目前国内外手法识别，大多采用视觉传感器采集手法图像、给其打上标签，并用二维卷积神经网络训练单帧的手法图像数据已达到识别手法类别效果。然而视觉传感器只能采集到手法的动作信息，不能采集到按摩手法的力信息；二维卷积神经网络只能训练提取出按摩手法的空间域信息，而不能提取与按摩手法密切相关的时序信息；此外，传统的传感器数据采集也需大量的成本。因此，需要一种更有效的新型的按摩手法识别方法。

发明内容

本发明要解决的技术问题是提供一种识别医生按摩手法的方法，通过集成在手套上的柔性点阵式触觉传感器采集数据并给其打上标签，以及神经网络处理、训练数据来实现按摩手法识别的目的。

为达到上述发明创造目的，本发明的构思是：

一种基于深度学习的按摩手法识别方法，通过变分自编码器(Variational auto-encoder，VAE)来构建一个可以从隐变量生成目标数据的模型，在不增加人工采集数据的情况下通过对隐变量插值来获得额外的目标数据；通过帧差法来提取采集到的按摩手法图像的关键帧；通过二维卷积神经网络(Convolutional Neural Networks，2DCNN)与循环神经网络(Recurrent Neural Network，RNN)相结合来提取按摩力点阵图的空间域与时间域的特征；通过引入帧注意力机制给按摩力点阵图增加权重并通过神经网络来训练此权重以优化模型性能。

根据上述发明构思，本发明采用下述技术方案：

一种基于深度学习的按摩手法识别方法，操作步骤如下：

步骤一：通过柔性分布式触觉传感器采集按摩动作对应的数据；

步骤二：通过上位机将传感器数据可视化为按摩点阵热力图；

步骤三：通过变分自编码器VAE构建一个从隐变量生成目标数据的模型来扩充原有采集数据；

步骤四：通过帧差法提取按摩点阵热力图的关键帧；

步骤五：用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征；

步骤六：在卷积神经网络之后引入帧注意力机制，给数据的视频帧维度赋予权重值；

步骤七：用循环神经网络来提取的各帧按摩力点阵图的时间域特征；

步骤八：将循环神经网络的输出接入线性层以降维数据，训练网络，实现按摩手法的识别。

优选地，本发明基于深度学习的按摩手法识别方法分为三大模块：数据采集模块、数据处理模块、深度学习模块。