[发明专利]基于人脸识别的广告屏客流量统计系统及方法

权利要求书

1.一种基于人脸识别的广告屏客流量统计系统，其特征在于，包括：屏幕本体，所述屏幕本体表面设有显示屏和摄像组件，屏幕本体内设有控制芯片、内存、电源芯片、图形处理器、网络芯片和人脸识别单元；所述控制芯片分别与内存、电源芯片、图形处理器、网络芯片、人脸识别单元、显示屏和摄像组件数据连接；

所述人脸识别单元包括：

人脸检测模块，用于检测摄像组件拍摄的图片中的人脸并标记出位置信息；

人脸跟踪模块，用于跟踪人脸位置；

人脸关键点提取模块，用于提取并展示人脸的核心关键点信息；

人脸对齐模块，将提取的核心关键点与预设模板对齐，用于特征点的提取；

人脸特征点提取模块，为每一张人脸图片提供一个128维的特征向量，用于比对两张图片中人脸的相似度，并返回相似度分值。

2.根据权利要求1所述的基于人脸识别的广告屏客流量统计系统，其特征在于，所述人脸检测模块、人脸关键点提取模块、人脸特征点提取模块均采用深度学习模型中的卷积神经网络。

3.根据权利要求1所述的基于人脸识别的广告屏客流量统计系统，其特征在于，所述控制芯片采用型号为RK3288的CPU，所述电源芯片采用ACT8846电源IC。

4.根据权利要求1所述的基于人脸识别的广告屏客流量统计系统，其特征在于，所述图形处理器采用Mali-T760 MP4图形处理器，所述网络芯片采用RTL8211E千兆以太网卡。

5.一种基于人脸识别的广告屏客流量统计方法，其特征在于，包括如下步骤：

S1：通过屏幕本体上的摄像组件捕获图像数据，并生成人脸图片；

S2：调用人脸软件开发工具包的multiTracker接口对所述人脸图片进行人脸识别；

S3：对所述人脸图片进行人脸跟踪，并移除人脸图片中未跟踪成功的人脸；

S4：对跟踪成功的人脸进行人脸检测；

S5：将检测到的新的人脸添加到跟踪队列，并提取人脸特征；

S6：对所述提取的人脸特征在预设的人脸缓存中进行线性查找特征计算距离最近的人脸特征；

S7：根据预设的特征相似度阈值判断所述提取的人脸特征是否为新的人脸，若是，添加相应的人脸数据到人脸库缓存并持久化到人脸库中；若非，封装人脸数据结构；

S8：更新人脸数据列表。

6.根据权利要求5所述的基于人脸识别的广告屏客流量统计方法，其特征在于，所述步骤S3包括如下步骤：

S31：对所述人脸图片进行跟踪初始化，将人脸图片按比例进行缩放，并设置定时检测间隔变量；

S32：执行人脸检测过程，具体为采用多任务人脸检测网络对所述人脸图片依次检测人脸，生成候选人脸向量；

S33：将候选人脸向量全部加入到跟踪人脸向量中，清空候选人脸向量，对跟踪人脸向量执行基于人脸检测区域特征点的光流跟踪算法进行人脸框区域的初步预判；

S34：将所述人脸图片和初步预判的人脸框区域进行定位，判断所述人脸框区域是否为人脸框，若否，人脸跟踪失败，从跟踪人脸向量中清除对应的人脸向量；若是，人脸跟踪成功，并转到下一步。

7.根据权利要求6所述的基于人脸识别的广告屏客流量统计方法，其特征在于，所述步骤S4具体为：

如果人脸跟踪时间大于所述定时检测间隔变量，将所述人脸图片按比例缩放，将跟踪人脸向量中的人脸全部设置蒙版，并执行人脸检测。

8.根据权利要求5所述的基于人脸识别的广告屏客流量统计方法，其特征在于，所述人脸检测包括：

采用多任务人脸检测网络中的P-Net、R-Net、O-Net、L-Net网络依次检测人脸，由所述人脸图片经过P-Net网络生成预测的边界框；然后输入原始图像和P-Net网络生成的边界框，通过R-Net后得到校正后的边界框；然后再将所述人脸图片和R-Net得到的边界框通过O-Net网络得到校正后的边界框和人脸关键点，最后将O-Net网络得到的边界框送入L-Net网络得到精准的人脸框区域，将检测出的人脸框区域及人脸关键点全部加入到候选人脸向量中。