[发明专利]结合人脸识别的智能闸机通行和考勤的方法及其系统

权利要求书

1.结合人脸识别的智能闸机通行和考勤的方法，其特征在于，具体包括如下步骤：

步骤1：将待注册员工的人脸信息、员工卡号、员工姓名注册到人脸数据库；

步骤2：利用MIPI摄像头采集可见光视频流和红外视频流，进行视频解码分别得到对应的每一帧图像，包括可见光图像和红外图像；

步骤3：对可见光图像进行尺寸缩小，然后送入NNIE深度网络推理框架，利用YOLOv3网络检测人脸，得到缩放尺寸下的人脸坐标、大小这些位置信息；

步骤4：对红外图像进行尺寸缩小，利用步骤3中的人脸坐标信息，对红外图片进行裁剪，然后将裁剪后的红外图像送入MTCNN网络中，进行活体检测；

步骤5：若步骤4活体检测不成功，则重新采集，否则利用步骤3中的人脸坐标信息，对可见光图像进行裁剪，同时还原至原尺寸，然后将还原的人脸图像送入MTCNN网络中，得到人脸的五个关键点坐标；

步骤6：对检测出的所有人脸的大小进行判断，依据步骤5的人脸关键点坐标，将人脸面积大于一定阈值的人脸进行人脸对齐，接着送入NNIE深度网络推理框架，利用SphereFace网络，得到人脸特征值；

步骤7：利用步骤6得到的人脸特征和步骤1数据库中已注册的人脸信息逐一对比，通过余弦距离算法计算相似度，并将最大的相似度和设定的阈值进行比较，判定是否识别通过；人脸识别成功后，人脸识别端机会显示被识别员工的工号和姓名进行考勤反馈，同时用绿框在终端界面将人脸进行标注，用于表明考勤成功，同时，人脸识别端机会向闸机发送报文，闸机成功接收后，打开闸门放行；若未识别通过，则用红框进行标注，表示考勤失败；

步骤8：将注册过的人脸特征和实际场景下识别成功的员工的人脸特征进行融合，定期完成对于注册过的人脸信息的自学习更新。

2.根据权利要求1所述的结合人脸识别的智能闸机通行和考勤的方法，其特征在于，所述步骤3中采用的是轻量化YOLOv3网络，具体为：

1)将YOLOv3网络BackBone替换成MobileNet，同时引入可分离卷积替换普通卷积；

2)将YOLOv3输出层的多尺度特征图进行剪枝操作，只保留一个中等尺度的输出；

3)轻量化的YOLOv3网络是在Linux服务器上，基于caffe框架训练的，在使用前，先将训练好的Caffe模型转换成开发板支持的文件格式。

3.根据权利要求1所述的结合人脸识别的智能闸机通行和考勤的方法，其特征在于：所述步骤4和步骤5中采用的是轻量化MTCNN，将基于Caffe版本的MTCNN网络首先改成opencv下的dnn版本，然后只取其中的ONet网络用于人脸关键点的检测，检测结果包含五个部分，分别是左右眼角、鼻尖、左右嘴角的具体位置。

4.根据权利要求1所述的结合人脸识别的智能闸机通行和考勤的方法，其特征在于：所述步骤7中采用的是优化后的余弦距离算法，使用了NEON指令加速，在特征对比过程中直接操作寄存器。

5.根据权利要求1所述的结合人脸识别的智能闸机通行和考勤的方法，其特征在于：所述步骤7中基于TCP/IP协议，进行人脸识别端机和闸机的通信，通信中人脸识别端机为“主”，闸机工控机为“从”的方式，人脸识别端机定期向闸机工控机发送状态报文，工控机执行响应后，返回闸机状态报文。

6.根据权利要求1所述的结合人脸识别的智能闸机通行和考勤的方法，其特征在于：所述步骤8中自学习更新算法，将注册的人脸特征和实际场景下的人脸特征按照一定的比例进行融合，对原始数据库中已注册人的人脸信息定期进行同步更新操作，原始人脸注册特征X，实际场景人脸特征Y，按照如下表达式进行融合：

Z＝αX+βY

得到融合的特征Z，然后替换掉人脸数据库中的人脸特征X，完成更新。