[发明专利]一种基于纯度检测和空间注意力网络的人脸聚类方法有效

专利信息
申请号: 201910097235.X 申请日: 2019-01-31
公开(公告)号: CN109829427B 公开(公告)日: 2022-05-17
发明(设计)人: 柯逍;郑毅腾;朱敏琛 申请(专利权)人: 福州大学
主分类号: G06V10/774 分类号: G06V10/774;G06V10/762;G06V40/16;G06K9/62;G06N3/04;G06N3/08
代理公司: 福州元创专利商标代理有限公司 35100 代理人: 蔡学俊
地址: 350108 福建省福州市闽*** 国省代码: 福建;35
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 纯度 检测 空间 注意力 网络 人脸聚类 方法
【权利要求书】:

1.一种基于纯度检测和空间注意力网络的人脸聚类方法,其特征在于,按照如下步骤实现:

步骤S1、获取人脸识别数据集,训练空间注意力网络,对待聚类的所有人脸图像提取深度特征;

步骤S2、构造距离矩阵,计算初始聚类结果;

步骤S3、对每个聚类簇进行纯度检测,过滤掉不属于相应聚类簇类别的人脸图像,并删除不符合条件的聚类簇;

步骤S4、对过滤后的聚类簇通过空间注意力网络提取集合特征,计算聚类簇之间的距离并不断融合得到最终结果;

所述步骤S1,具体包括以下步骤:

步骤S11、采用人脸识别数据集,进行人脸对齐完成数据预处理;

步骤S12、训练空间注意力网络,采用孪生神经网络结构,即采用两个共享权重的子网络构成,每个子网络由主干网络、空间注意力模块和深度特征抽取模块构成;其中,

主干网络为浅层的全卷积神经网络,用于对输入的人脸图像提取中层特征,令X={xi},i=1,2,...B表示输入的人脸图像集合,其中,xi表示第i个输入图像,令G(·)表示主干网络的映射函数,则O=G(X),其中,O={oi}表示中层特征,oi=G(xi)表示xi的中层特征,由输出的中层特征产生两个分支,一个分支为空间注意力模块,另一个分支为深度特征抽取模块;

深度特征抽取模块由多个卷积层与最大池化层堆叠而成,完成对输入的每一张人脸图像进行特征提取,令H(·)表示深度特征抽取模块的映射函数,则对输入xi有fi=H(G(xi)),其中,fi表示第i个输入图像的深度特征;

空间注意力模块为一个小型的卷积神经网络,用于对人脸图像的不同区域赋予不同的关注度,其含有三个卷积层和一个全局平均池化层,最后一个卷积层的卷积核大小为1×1,且只含有一个输出通道,对于第二个卷积层输出的特征图,其各个部分对应于原人脸图像不同空间区域的局部感受野,不同通道特征图的同一位置对应原人脸图像同一区域的不同特征,利用1×1卷积核的特性,对不同通道特征图的同一位置进行加权融合,得到关于原人脸图像不同区域的重要程度,最后使用全局平局池化层以及sigmoid函数得到输入人脸图像归一化后的分数si,代表该人脸图像识别的难易程度,其中,si表示输入的第i个人脸图像xi对应的分数;

步骤S13、对空间注意力模块的输出si和深度特征抽取模块的输出fi进行加权融合,根据集合中每张人脸图像识别的难易程度,降低模糊、遮挡的难以识别的图像的注意力,增强清晰、无遮挡的容易识别的图像的关注度,其计算方式如下:

其中,u代表整个输入图像集合的一个深度特征;

步骤S14、在训练阶段,输入为两个人脸图像集合,令X1表示输入的第一个人脸图像集合,X2表示输入的第二个人脸图像集合,Y={0,1}表示对应的标签,若两个人脸集合为同一身份则Y=1,否则Y=0,采用对比损失作为监督信号进行训练,其表示如下:

Loss=YD2(u1,u2)+(1-Y)max(m-D(u1,u2),0)2

其中,Loss为对比损失,D(u1,u2)=||u1-u2||2表示两个集合特征之间的欧式距离,u1与u2分别表示空间注意力网络输出的两个集合特征,m表示不同身份的集合特征之间的间距,为超参数;

在所述步骤S2中,通过如下步骤计算初始聚类结果:

步骤S21、令N表示待聚类的人脸图像数量,构造N×N的距离矩阵Q=[qjk],其中,j=1,2,...,N表示第j行,k=1,2,...,N表示第k列,qjk表示第j个人脸特征和第k个人脸特征之间的欧式距离;

步骤S22、构造同样大小的N×N的二值矩阵R=[rjk],其中,rjk表示第j个人脸和k个人脸是否为同一个人,若qjk<Tdistance则rjk=1,表示第j个人脸和k个人脸是同一个人,否则rjk=0表示不是同一个人,其中,Tdistance为距离阈值由参数估计策略得来;

步骤S23、通过矩阵R得到初始的聚类结果C,其中,C={ck}表示初始的聚类簇构成的集合,k=1,2,...,K为聚类簇的编号,K为初始聚类簇的数量,ck表示第k个聚类簇;

在所述步骤S3中,按照以下步骤实现:

步骤S31、对每一个聚类簇ck,计算其中所有样本对之间的平均距离lk,其计算方式如下:

其中,|ck|表示聚类簇ck中的元素个数,a和b分别为聚类簇ck中的两个样本;

步骤S32、令L=(l1,l2,...,lK)表示由每一个聚类簇ck的平均成对距离lk构成的向量,计算每一个聚类簇ck的纯度pk,其计算方式如下:

其中,Median(·)表示取向量的中位数,MAD(·)表示取向量的绝对中位差,MAD(L)=Median(L′),向量L′由向量L中的每一个元素与向量L的中位数Median(L)之间偏移量的绝对值lk′构成,其表示方式如下:

l′k=|li-Median(L)|,lk∈L,l′k∈L′;

步骤S33、若pk<Tpurity,则表示聚类簇ck含有异常数据,需要进行过滤,将聚类簇编号k加入集合Z,其中,Tpurity表示纯度阈值,用于对每个聚类簇进行纯度检测,为超参数,Z为需要过滤的聚类簇编号的集合;

步骤S34、对每一个需要过滤的聚类簇cz,计算该聚类簇内每一对样本之间的距离矩阵Ez,对矩阵Ez按行进行求和,得到向量vz,其中,z∈Z为需要过滤的聚类簇编号,vz是由聚类簇cz中每一个元素对总体距离的贡献程度构成的向量;

步骤S35、再次使用绝对中位差得到其计算公式如下:

其中,t为聚类簇中第t个元素的编号,为vz中第t个元素的偏离程度;

步骤S36、将聚类簇cz中的元素从聚类簇中删除,其中,Tdeviation为偏离阈值,聚类簇中所有大于其值的元素被认为是该聚类簇中的异常点,为超参数;

步骤S37、对过滤后的所有聚类簇,将聚类簇中元素个数不足Tnum的聚类簇删除,其中,Tnum为聚类簇中要求所含最少元素的个数,为设定的超参数;

所述步骤S4,具体包括以下步骤:

步骤S41、对过滤后的每一个初始聚类簇ck,输入至空间注意力网络,为每一个聚类簇生成唯一的集合特征;

步骤S42、计算距离矩阵W,其元素为各个聚类簇集合特征之间的欧氏距离;

步骤S43、寻找距离矩阵W中的最小值元素wmin,若wmin<Tdistance则将其对应的两个聚类簇进行合并,转步骤S44,否则聚类结束,输出聚类结果;

步骤S44、将合并后的聚类簇输入空间注意力网络,得到新的集合特征,重新计算距离矩阵W,转步骤S43。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福州大学,未经福州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910097235.X/1.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top