[发明专利]一种远红外热成像人体经络关键点定位方法

权利要求书

1.一种远红外热成像人体经络关键点定位方法，其特征在于：所述定位方法包括以下步骤：

步骤I：构建数据集；步骤II、搭建网络模型；步骤III、制作标签；步骤IV、数据增强与图像预处理；步骤V、训练模型；步骤VI、模型推理；步骤VII、计算全部经络点并输出图像；

所述步骤II、搭建网络模型的具体过程为：在深度学习框架Pytorch上搭建基于深度学习的远红外人体关键点定位网络；基础网络结构为编码器解码器结构，采用两个子网络级联组成整体网络，子网络一为修改后的UNet网络，子网络二为改造的HRnet结构；

所述子网络二由两部分组成，一部分是HRnet部分结构，另一部分是子网络二的后半部分；其中，HRnet部分结构为：图像经过两个减小尺寸的卷积，再经过四个Bottleneck即两个3*3的卷积，得到一个feature map1，形成第一分支；对featuren map1进行下采样得到feature map2，形成第二分支；feature map1、feature map2输入到由四个BasicBlock组成的残差单元，输出特征图feature map1.1、feature map2.1的尺度不变，通道数改变；feature map1.1下采样融合到第二分支、feature map2.1上采样融合第一分支；对featuremap2.1进行下采样得到feature map3，形成第三分支；feature map1.1、feature map2.1、feature map3输入到由四个BasicBlock组成残差单元，输出特征图feature map1.2、feature map2.2、feature map3.1的尺度不变，通道数改变；feature map1.2下采样融合到第二、第三分支，feature map2.2上采样融合到第一分支，下采样融合到第三分支，featuremap3.1上采样融合到第一、第二分支；

对feature map3.1进行下采样得到feature map4；输出特征图feature map1.2、feature map2.2、feature map3.1、feature map4输入到由四个BasicBlock组成残差单元，输出特征图feature map1.3、feature map2.3、feature map3.3、feature 4.1的尺度不变，通道数改变；

其中，子网络二的后半部分结构为：对不同尺寸的特征图feature map2.3、featuremap3.3、feature 4.1分别经过上采样，使它们统一到与feature map1.3相同尺寸的大小，并通过cat()函数将前述四个特征加和得到feature map5，feature map5进行1*1的卷积操作，尺寸不变，通道数不变，再进行1*1的卷积操作，尺寸不变，通道数改变，最终输出feature map5；子网络二采用HRnet网络结构，其并行连接高分辨率与低分辨率网络，其方法能够保持高分辨率，而不是通过一个低到高的过程恢复分辨率，所以预测热图在空间上更精确，并且模型融合低分辨率特征图来提高高分辨率的特征图的表示效果，并进行重复的多尺度融合。

2.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤II中，子网络一的输入为图像，子网络二的输入为图像拼接上子网络一最后的一层的特征图；子网络一UNet网络是先进行下采样，经过不同程度的卷积，学习了深层次的特征，再经过上采样回复为原图大小，上采样用反卷积实现，最后输出类别数量的特征图，然后使用激活函数sigmoid转化为概率图；其中，下采样方法为进行步幅为2的3*3卷积；上采样方法为双线性插值法。

3.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤I的具体过程为：通过红外摄像机拍摄人体全身图像构建远红外人体数据集，自主对图像中人体关键点进行标注，图像尺寸为384*384；

其中，关键点标注为在图中标注锁骨窝左、胸骨上窝、锁骨窝右、锁骨窝下左、锁骨窝下右、胸骨中、乳头左、乳头右、乳根左、乳根右、左肘关节I、左肘关节II、左肘关节III、右肘关节I、右肘关节II、右肘关节III、曲骨、曲骨左、曲骨右、平大腿内侧左、平大腿内侧右、膝眼左、膝眼右、膝下内侧左、膝下内侧右、脚踝中左、脚踝中右、脚踝内左、脚踝内右总共二十九个标注点。