[发明专利]一种基于级联深度神经网络的穴位精准定位方法

权利要求书

1.一种基于级联深度神经网络的穴位精准定位方法，其特征在于：包括以下步骤：

S1：采集不同光照程度以及不同肤色下的手部数据，得到I类样本；

S2：采集不同手势下的手部数据，得到Ⅱ类样本；

S3：对I类样本进行数据前处理，并按比例进行训练集和验证集的划分；

S4：对Ⅱ类样本进行数据前处理，并按比例进行训练集和验证集的划分；

S5：采取目标检测算法构建I类模型，采用基于I类样本得到的训练集和验证集对I类模型进行训练和验证，得到I类优化模型；

S6：采取关键点检测算法构建Ⅱ类模型，采用基于Ⅱ类样本得到的训练集和验证集对Ⅱ类模型进行训练和验证，得到Ⅱ类优化模型；

S7：通过摄像头获取手部实时画面，将检测到的画面通过I类优化模型定位到手部区域，然后将手部区域输入Ⅱ类优化模型获取手部21个关键点的信息；根据获取的手部21个关键点的信息，确定手心或手背；

S8：根据获取的手部21个关键点的信息，结合中指同身寸法定位手部穴位，然后将穴位信息映射至手部区域中。

2.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：在步骤S1和S2中，采取Ha-GRID开源手部数据集和11k Hands开源手掌数据集作为初始样本，其包含不同手势、不同光照程度以及不同肤色的手部数据，但不包含生理缺陷类型的手部数据。

3.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：对I类样本的数据前处理为：使用标注软件将I类样本中含手部的位置进行标注，其中左手标签设为“L-Hand”，右手标签设为“R-Hand”。

4.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：对Ⅱ类样本的数据前处理为：使用标注软件将Ⅱ类样本中的手部21个关键点坐标进行标注，其中21个关键点及其标签设置分别为手腕“0.WRIST”、第一腕掌“1.THUMB_CMC”、拇指掌指“2.THUMB_MCP”、拇指指间关节“3.THUMB_IP”、拇指指尖“4.THUMB_TIP”、食指掌指“5.INDEX_FINGER_MCP”、食指近端指间关节“6.INDEX_FINGER_PIP”、食指远端指间关节“7.INDEX_FINGER_DIP”、食指指尖“8.INDEX_FINGER_TIP”、中指掌指“9.MIDDLE_FINGER_MCP”、中指近端指间关节“10.MIDDLE_FINGER_PIP”、中指远端指间关节“11.MIDDLE_FINGER_DIP”、中指指尖“12.MIDDLE_FINGER_TIP”、无名指掌指“13.RING_FINGER_MCP”、无名指近端指间关节“14.RING_FINGER_PIP”、无名指远端指间关节“15.RING_FINGER_DIP”、无名指指尖“16.RING_FINGER_TIP”、小指掌指“17.PINKY_MCP”、小指近端指间关节“18.PINKY_PIP”、小指远端指间关节“19.PINKY_DIP”、小指指尖“20.PINKY_TIP”。

5.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：步骤S3和S4中进行数据前处理后，进行格式转换，具体为将数据前处理后的XML格式转为YOLO格式。

6.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：训练集和验证集按8：2比例划分。

7.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：在步骤S5中，采取改进YOLOv5目标检测算法构建I类模型，训练权重选取官方权重，迭代次数为300；改进YOLOv5目标检测算法在YOLOv5目标检测算法的原有检测头框架中添加160x160的检测特征图，用于检测4x4以上的目标，在原有主干网络框架中添加注意力机制，将原先的部分C3模块替换成C3SE模块，Anchors参数利用K-means聚类算法重新计算。