[发明专利]基于CNN的注意力检测系统及方法在审
申请号: | 202110136798.2 | 申请日: | 2021-02-01 |
公开(公告)号: | CN112836630A | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 曾云辉;王榕;娄越;廖梓钧;戴源志;陈世帆;陈伊琳;张子怡;郭洪飞;袁博 | 申请(专利权)人: | 清华大学深圳国际研究生院 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/34;G06K9/40;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 深圳新创友知识产权代理有限公司 44223 | 代理人: | 王震宇 |
地址: | 518055 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 cnn 注意力 检测 系统 方法 | ||
1.一种基于CNN的注意力检测方法,其特征在于,包括如下步骤:
S1、采集包含待检测人员面部的视频信息;
S2、对采集的所述视频信息进行处理,确定图像中的目标区域;
S3、在所述目标区域的基础上进行人脸的检测,通过卷积神经网络进行特征提取,并识别人眼,如果检测到睁开的人眼则判断待检测人员注意力集中,如果未检测到睁开的人眼则判断待检测人员的注意力不集中。
2.如权利要求1所述的注意力检测方法,其特征在于,步骤S2中,提取所述视频信息的连续三帧图像,使用所述连续三帧图像计算中间帧图像与前后两帧图像的两个差分图像,再将所述两个差分图像中的对应像素相乘,进而通过预设的阈值来分割出目标区域。
3.如权利要求1或2所述的注意力检测方法,其特征在于,步骤S3中,在所述目标区域的基础上进行人脸的检测包括:
采用基于HSV与YCbCr色彩空间的多人脸检测方法建立肤色模型实现人脸定位,结合肤色特性在对应色彩空间中的取值范围进行图像分割,然后根据相应的比例进行人脸检测定位;优选地,先利用中值滤波方法对分割后的图像进行降噪处理再进行人脸检测定位。
4.如权利要求1至3任一项所述的注意力检测方法,其特征在于,步骤S3中,所述卷积神经网络包括输入层、卷积层、池化层、全连接层以及输出层,优选地,卷积层数3-5层。
5.如权利要求4所述的注意力检测方法,其特征在于,步骤S3中,通过卷积神经网络进行特征提取包括:
从输入层Input到卷积层conv1,进行卷积操作,输出特征图;
从卷积层conv1到池化层pool1,进行池化操作,输出特征图;
从池化层pool1到卷积层conv2,进行卷积操作,输出特征图;
从卷积层conv2到池化层pool2,进行池化操作,输出特征图;
从池化层pool2到卷积层conv3,进行卷积操作,输出特征图;
然后通过全连接层Fcl输出多维的特征向量。
6.如权利要求1至5任一项所述的注意力检测方法,其特征在于,步骤S3中,利用进化算法中的遗传算法与进化策略相结合的方式对卷积算法中由各卷积层提取的人脸特征进行寻优处理,其中,通过确定适应度函数,进行交叉计算,得到人脸最优特征子集。
7.如权利要求1至6任一项所述的注意力检测方法,其特征在于,步骤S3还包括:通过特征可视化技术,将提取到的特征图进行部分寻优。
8.如权利要求1至7任一项所述的注意力检测方法,其特征在于,步骤S3中,所述识别人眼采用基于AdaBoost的人眼检测算法,选用的分类器的训练样本是以瞳孔为中心的、以眉毛上沿为边界的睁开的人眼样本。
9.一种基于CNN的注意力检测系统,其特征在于,包括信息采集模块和信息处理装置,所述信息采集模块用于采集包含待检测人员面部的视频信息,所述信息处理装置经配置以用于:对采集的所述视频信息进行处理,确定图像中的目标区域;在所述目标区域的基础上进行人脸的检测,通过卷积神经网络进行特征提取,并识别人眼,如果检测到睁开的人眼则判断待检测人员注意力集中,如果未检测到睁开的人眼则判断待检测人员的注意力不集中。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序由处理器执行时,实现如权利要求1至7任一项所述的注意力检测方法的步骤S2-步骤S3。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学深圳国际研究生院,未经清华大学深圳国际研究生院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110136798.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种图像分类方法
- 下一篇:一种高聚物浆液受热膨胀可视化观测装置及使用方法