[发明专利]基于MediaPipe手势识别模型的安卓人机交互方法

权利要求书

1.基于MediaPipe手势识别模型的安卓人机交互方法，包括以下步骤：

S1：开启手机摄像头，获取手的每一帧图像；

S2：对步骤S1中获取的手的图像，输入到手势识别模型中，实时返回手的关键点的位置信息；

S3：对步骤S2中获取的关键点信息，判断做出何种动作，获取动作信息；

S4：对步骤S3中获取的动作信息，转换为手机的操作指令，对手机进行实时操作。

2.根据权利要求1所述的基于MediaPipe手势识别模型的安卓人机交互方法，其特征在于：步骤S2所述的手势识别模型分为两部分，手掌检测模型和手关键点检测模型，具体包括：

S2-1：将单帧图像输入到手掌检测模型中，检测图像中是否存在手，如果存在，获取手掌所处位置的方形边界框，其中手掌检测模型为Encoder-Decoder架构，Encoder为6层的卷积神经网络，将图片信息进行编码为低维向量表示，Decoder为3层神经网络，将低维向量表示进行解码，最终表示为11136个锚点信息；

S2-2：在对整个图像进行手掌检测后，以获取到的手掌所处位置的方形边界框为固定位置，切割出整个手的边界框，将其输入到手关键点检测模型中，得到手部区域内的21个2D指关节坐标精确的关键点定位，其中手关键点检测模型为一个回归模型，首先将真实图片和生成图片卷积为256*256的RGB图片，然后将其输入到特征提取神经网络，提取出手部区域内的21个2D指关节坐标精确的关键点定位。

3.根据权利要求1所述的基于MediaPipe手势识别模型的安卓人机交互方法，其特征在于：步骤S3所述的判断做出何种动作，获取动作信息，具体包括：

S3-1：设置标志flag用于检测是否做过动作，若flag＝False，判断为未做过动作，转入步骤S3-2，若flag＝True，判断为做过动作，转入步骤S3-5；

S3-2：将flag设置为flag＝True，代表做出动作，循环获取每一帧指关节关键点定位，计算两帧之间关键点的偏移量，循环15次，不断叠加偏移量，得到最终偏移量offset，若offset大于规定偏移量阈值，代表做出动态动作，转入步骤S3-3，若offset小于规定偏移量阈值，代表做出静态动作，转入步骤S3-4；

其中，叠加偏移量的公式如下所示：

其中，offset为最终偏移量,P_i代表关键点定位；

S3-3：若offset0，则表示手掌向右滑动，做出向右滑动动作，若offset0，则表示手掌向左滑动，做出向左滑动动作；

S3-4：循环获取每一帧指关节关键点定位，输入到静态手势识别模型中，获取静态手势，循环15次，若最后5次静态手势相同，则把此静态手势作为最终动作；

S3-5：当手掌检测模型检测出图像中不存在手时，将参数设置为flag＝False，offset＝0。

4.根据权利要求3所述的基于MediaPipe手势识别模型的安卓人机交互方法，其特征在于：步骤S3-4所述的静态手势识别模型，具体包括：

S3-4-1：通过手关键点检测模型，得到手部区域内的21个2D指关节坐标精确的关键点定位，将关键点定位存储在文件中，并为其标注动作标签；

S3-4-2：将关键点定位从文件取出，进行坐标变换并标准化，对数据进行处理，具体公式如下：；

其中，P代表21个2D指关节坐标，P_(i,1)代表第i个指关节第1个坐标，P_(i,2)代表第i个指关节第2个坐标；

S3-4-3：将处理后的数据输入到静态手势识别模型中，获取静态手势，静态手势识别模型为一个4层多层感知机，第1层为输入层，第2层和第3层为两个隐藏层，每层使用dropout避免过拟合，并且使用ReLU作为激活函数，第4层为输出层，采用softmax为激活函数，最终将关键点坐标位置信息提取出来，转换为静态手势类别。