[发明专利]一种基于人脸和姿态的多模态人员识别方法

权利要求书

1.一种基于人脸和姿态的多模态人员识别方法，其特征在于，包括如下步骤：

1-1）如果某个人员的姿态图像被捕获，分配一个数字i，捕获所用的矩形框为R1[i]，i作为该矩形框的标签；

1-2）如果从捕获的姿态图像中能够识别出姓名A1[i]，得到的最小余弦距离为a[i]，如果a[i]小于姿态识别阈值m，把数字标签i改为姓名标签A1[i]；

1-3）如果某个脸部图像可以被捕获且被识别，捕获所用的矩形框为R2[i]，得到的最小余弦距离为b[i]，如果b[i]小于人脸识别阈值n，标签设置为识别出的姓名A2[i]；

1-4）R2[i]在R1[i]内部的前提下，如果a[i]小于b[i]并且小于m，将R2[i]的标签改成A1[i]，如果b[i]小于a[i]并且小于n，把R1[i]的标签改成A2[i]；

1-5）对后续图像重复执行1-1）到1-4），如果a[i]小于重复识别阈值k，基于行人重识别的目标追踪捕获的同一人的姿态图像不再重复识别，如果b[i]小于重复识别阈值k，基于行人重识别的目标追踪捕获的同一人的人脸图像不再重复识别；

在所述步骤1-1）中，捕获姿态图像的方法步骤如下：

2-1）利用基于深度学习训练的yolo模型对姿态进行捕获；

2-2）对捕获到的姿态利用OpenCV的cv2.rectangle函数对相应人员加矩形框；

在所述步骤1-2）中，对姿态图像进行识别的步骤如下：

3-1）利用基于深度学习训练得到的GaitSet模型对捕获到的姿态图像进行识别；

3-2）分别计算待识别图像中提取到的特征值与本地csv文件中存储的特征值得到余弦距离，选取其中值最小的作为最小余弦距离；

在所述步骤1-3）中，对脸部图像进行捕获并识别的步骤如下：

4-1）利用基于深度学习训练得到的MTCNN模型捕获人脸；

4-2）对捕获到的人脸利用OpenCV的cv2.rectangle函数对人脸加矩形框；

4-3）利用基于深度学习训练得到的FaceNet模型对捕获的人脸图像进行识别；

4-4）分别计算待识别图像中提取到的特征值与本地csv文件中存储的特征值得到余弦距离，选取其中值最小的作为最小余弦距离；

在所述步骤1-4）中，判断R2[i]是否在R1[i]内部的步骤如下：

5-1）对图像构建统一的坐标系，x轴向右为正方向，y轴向下为正方向；

5-2）矩形框R1[i]左上角的坐标是（k1[i],j1[i]），右上角的坐标是（k2[i],j1[i]），左下角的坐标是（k1[i],j2[i]），右下角的坐标是（k2[i],j2[i]）；

5-3）矩形框R2[i]左上角的坐标是（x1[i],y1[i]），右上角的坐标是（x2[i], y1[i]），左下角的坐标是（x1[i], y2[i]），右下角的坐标是（x2[i], y2[i]）；

5-4）若同时满足x1[i]大于等于k1[i]、y1[i]大于等于j1[i]、x2[i]小于等于k2[i]和y2[i]小于等于j2[i]，则R2[i]在R1[i]内部。