[发明专利]基于深度学习的红外热人体姿态识别方法

权利要求书

1.一种基于深度学习的红外热人体姿态识别方法，其特征在于，包括如下步骤：

S1、数据集建立步骤，搭建红外图像拍摄平台，使用热像仪拍摄单人或多人红外热人体姿态图像及视频数据集并将其按数据量比例划分为训练集、验证集以及测试集，采用图片标注工具对以上数据集进行标注，得到数据集的标签xml格式文件，再转换为txt格式进而转换为coco数据格式；

S2、模型建立步骤，采用基于darknet53网络的yolov3目标检测模型作为训练网络模型，设置上述网络模型的超参数并采用基于voc2012数据集的yolov3模型权重作为预训练权重进行迁移学习，随后利用所述网络模型对训练集、验证集内的数据进行反复训练与验证，得到基于红外热人体姿态识别的yolov3模型训练权重，将权重导入预测与评估程序，根据预测及评估结果不断调整网络参数，建立基于深度学习pytorch框架的红外热人体姿态识别模型；

S3、模型使用步骤，使用所述yolov3模型对所述红外热人体姿态数据集内的静态图像及动态视频进行处理，最终得到静态识别以及动态识别结果。

2.根据权利要求1所述的基于深度学习的红外热人体姿态识别方法，其特征在于，S1所述数据集建立步骤具体包括：

S11、基于机器人视觉感知与控制技术国家工程实验室，采用FLIR A6702sc热像仪拍摄单人或多人红外热人体姿态图像及视频数据集，红外热人体姿态图像及视频数据集包括单人姿态识别与多人姿态识别，动作种类包括单人动作“行走”、“站立”、“跳跃”、“出拳”、“踢腿”或“捡东西”，包括多人动作“行走”、“站立”、“挥手”、“握手”、“拥抱”或“击掌”，每种姿态动作行为采集自不同的志愿者和/或不同的角度，数据集通过动态行为数据集中的数据增强方法扩充按以上动作分类，保证每个类别的样本数量基本一致，每个所述红外热人体姿态图像样本采用图片标注工具labelimg进行人工标注标签，将全部样本及其对应标签进行汇总得到数据处理后的红外热人体姿态数据集；

S12、按照数据量划分比例8：1：1对所述数据集中的红外热人体姿态图像样本进行随机划分，分别得到训练集、验证集以及测试集三个子数据集，在每个子数据集中每种姿态类别的样本数量基本一致；

S13、利用python中的pytorch框架下的图像预处理模块torchvision对所述训练集内的红外热人体姿态样本进行图像归一化和数据增强处理，对图像样本进行旋转、翻转、色域变换、调整大小等操作以增加所述训练集内的数据量，随后通过voc2yolo3程序将人体姿态图像样本标签打乱并将标签xml文件转化为标准的voc数据格式生成txt文件，再通过voc_annotation.py将上述txt文件转化为coco数据格式，实现对所述训练集、验证集以及测试集的数据处理。

3.根据权利要求2所述的基于深度学习的红外热人体姿态识别方法，其特征在于，S2所述模型建立步骤具体包括：

S21、首先使用基于voc2012数据集上训练的yolov3网络模型权重作为模型预训练权重进行特征迁移，设置所述yolov3模型的超参数，通过主干特征提取网络darknet53对输入图像进行特征提取，一共提取三个特征层，三个特征层进行5次卷积处理，处理完后一部分用于输出该特征层对应的预测结果，一部分用于进行反卷积UmSampling2d后与其它特征层进行结合。然后对所述训练集、验证集内的红外热人体姿态数据进行反复训练、验证，得到红外热人体姿态识别yolov3模型；

S22、将经过S21处理后得到的即训练好的网络模型权重进行筛选，选择totalloss与valloss最低的作为该网络模型权重，然后将该权重导入评估程序，即可得到该模型的MAP以及各类别的召回率、准确率和精度，根据以上指标所需要求可相应修改网络参数重新训练直至满足需求；使用tensorflow框架下的TensorBoard可视化工具绘制trainloss、valloss曲线；

S23、利用所述测试集内的数据包括静态图像和动态视频对所述预训练数据集处理模型进行测试，得到完善的数据集处理模型。