[发明专利]一种基于云边融合的人脸识别方法、装置及系统

权利要求书

1.一种基于云边融合的人脸识别方法，其特征在于，应用于边缘端，包括：

对从图像采集设备发送的视频流中的多帧图像分别进行人脸检测，得到多张人脸图像；

对所述多张人脸图像分别进行人脸跟踪，得到多个人脸图像集合，每个所述人脸图像集合的人脸图像中包含同一个人的人脸；

针对每个所述人脸图像集合，对所述人脸图像集合中的人脸图像进行人脸质量评估，得到满足预设人脸质量要求的目标人脸图像；

向云端发送每个人脸图像集合对应的目标人脸图像，以便所述云端进行人脸识别。

2.根据权利要求1所述的基于云边融合的人脸识别方法，其特征在于，所述对从图像采集设备发送的视频流中的多帧图像分别进行人脸检测，得到多张人脸图像，包括：

接收从图像采集设备发送的视频流；

利用多层双向流神经网络对所述采集设备提供的所述视频流中的每一帧数据进行人脸检测，得到多张人脸图像。

3.根据权利要求2所述的基于云边融合的人脸识别方法，其特征在于，所述多层双向流神经网络包括正向流神经网络和反向流神经网络；

所述正向流神经网络包括：多个正向网络层，所述正向流神经网络以视频流的多帧图像为输入，输出最高层特征图；

所述反向流神经网络基于所述最高层特征图及每个所述正向网络层的输出进行融合处理，得到多张融合特征图；在所述融合特征图中进行人脸检测，得到多张人脸图像。

4.根据权利要求3所述的基于云边融合的人脸识别方法，其特征在于，所述反向流神经网络包括：至少一个反向级联的融合层，所述融合层还与对应的所述正向网络层连接；

所述融合层对所述最高层特征图进行上采样处理，得到上采样特征图；将所述正向网络层的输出、和、所述上采样特征图或者上一级所述融合层的输出进行融合，得到融合特征图；在所述融合特征图中进行人脸检测，得到多张人脸图像。

5.根据权利要求3所述的基于云边融合的人脸识别方法，其特征在于，每个所述正向网络层中分别包括：卷积层和池化层；

所述卷积层将接收到的帧图像，利用非线性激活对所述帧图像进行特征提取，得到包含特征向量的第一特征图，并向所述池化层输出所述第一特征图；

所述池化层接收所述第一特征图，并对所述第一特征图进行压缩，得到第二特征图。

6.根据权利要求1所述的基于云边融合的人脸识别方法，其特征在于，所述对所述多张人脸图像分别进行人脸跟踪，得到多个人脸图像集合，包括：

若在所述视频流的多帧图像中检测到同一人脸，则采用卡尔曼滤波约束下的最大重叠方式对所述人脸进行跟踪，得到该人脸的人脸图像集合。

7.根据权利要求6所述的基于云边融合的人脸识别方法，其特征在于，所述针对每个所述人脸图像集合，对所述人脸图像集合中的人脸图像进行人脸质量评估，得到满足预设人脸质量要求的目标人脸图像，包括：

获取每个图像帧的实际分辨率、长度、宽度和人脸面积；

对所述图像帧中的人脸图像进行人脸质量评估，选择实际分辨率大于预设分辨率阈值、长度大于预设长度阈值、宽度大于预设宽度阈值，且人脸面积大于预设人脸面积阈值的图像帧作为目标人脸图像输出，得到满足预设人脸质量要求的目标人脸图像。

8.一种基于云边融合的人脸识别装置，其特征在于，应用于边缘端，包括：

人脸检测模块，用于对从图像采集设备发送的视频流中的多帧图像分别进行人脸检测，得到多张人脸图像；

人脸跟踪模块，用于对所述多张人脸图像分别进行人脸跟踪，得到多个人脸图像集合，每个所述人脸图像集合的人脸图像中包含同一个人的人脸；

质量评估模块，用于针对每个所述人脸图像集合，对所述人脸图像集合中的人脸图像进行人脸质量评估，得到满足预设人脸质量要求的目标人脸图像；

发送模块，用于向云端发送每个人脸图像集合对应的目标人脸图像，以便所述云端进行人脸识别。