[发明专利]一种基于纯度检测和空间注意力网络的人脸聚类方法有效
申请号: | 201910097235.X | 申请日: | 2019-01-31 |
公开(公告)号: | CN109829427B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 柯逍;郑毅腾;朱敏琛 | 申请(专利权)人: | 福州大学 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/762;G06V40/16;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 福州元创专利商标代理有限公司 35100 | 代理人: | 蔡学俊 |
地址: | 350108 福建省福州市闽*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 纯度 检测 空间 注意力 网络 人脸聚类 方法 | ||
1.一种基于纯度检测和空间注意力网络的人脸聚类方法,其特征在于,按照如下步骤实现:
步骤S1、获取人脸识别数据集,训练空间注意力网络,对待聚类的所有人脸图像提取深度特征;
步骤S2、构造距离矩阵,计算初始聚类结果;
步骤S3、对每个聚类簇进行纯度检测,过滤掉不属于相应聚类簇类别的人脸图像,并删除不符合条件的聚类簇;
步骤S4、对过滤后的聚类簇通过空间注意力网络提取集合特征,计算聚类簇之间的距离并不断融合得到最终结果;
所述步骤S1,具体包括以下步骤:
步骤S11、采用人脸识别数据集,进行人脸对齐完成数据预处理;
步骤S12、训练空间注意力网络,采用孪生神经网络结构,即采用两个共享权重的子网络构成,每个子网络由主干网络、空间注意力模块和深度特征抽取模块构成;其中,
主干网络为浅层的全卷积神经网络,用于对输入的人脸图像提取中层特征,令X={xi},i=1,2,...B表示输入的人脸图像集合,其中,xi表示第i个输入图像,令G(·)表示主干网络的映射函数,则O=G(X),其中,O={oi}表示中层特征,oi=G(xi)表示xi的中层特征,由输出的中层特征产生两个分支,一个分支为空间注意力模块,另一个分支为深度特征抽取模块;
深度特征抽取模块由多个卷积层与最大池化层堆叠而成,完成对输入的每一张人脸图像进行特征提取,令H(·)表示深度特征抽取模块的映射函数,则对输入xi有fi=H(G(xi)),其中,fi表示第i个输入图像的深度特征;
空间注意力模块为一个小型的卷积神经网络,用于对人脸图像的不同区域赋予不同的关注度,其含有三个卷积层和一个全局平均池化层,最后一个卷积层的卷积核大小为1×1,且只含有一个输出通道,对于第二个卷积层输出的特征图,其各个部分对应于原人脸图像不同空间区域的局部感受野,不同通道特征图的同一位置对应原人脸图像同一区域的不同特征,利用1×1卷积核的特性,对不同通道特征图的同一位置进行加权融合,得到关于原人脸图像不同区域的重要程度,最后使用全局平局池化层以及sigmoid函数得到输入人脸图像归一化后的分数si,代表该人脸图像识别的难易程度,其中,si表示输入的第i个人脸图像xi对应的分数;
步骤S13、对空间注意力模块的输出si和深度特征抽取模块的输出fi进行加权融合,根据集合中每张人脸图像识别的难易程度,降低模糊、遮挡的难以识别的图像的注意力,增强清晰、无遮挡的容易识别的图像的关注度,其计算方式如下:
其中,u代表整个输入图像集合的一个深度特征;
步骤S14、在训练阶段,输入为两个人脸图像集合,令X1表示输入的第一个人脸图像集合,X2表示输入的第二个人脸图像集合,Y={0,1}表示对应的标签,若两个人脸集合为同一身份则Y=1,否则Y=0,采用对比损失作为监督信号进行训练,其表示如下:
Loss=YD2(u1,u2)+(1-Y)max(m-D(u1,u2),0)2
其中,Loss为对比损失,D(u1,u2)=||u1-u2||2表示两个集合特征之间的欧式距离,u1与u2分别表示空间注意力网络输出的两个集合特征,m表示不同身份的集合特征之间的间距,为超参数;
在所述步骤S2中,通过如下步骤计算初始聚类结果:
步骤S21、令N表示待聚类的人脸图像数量,构造N×N的距离矩阵Q=[qjk],其中,j=1,2,...,N表示第j行,k=1,2,...,N表示第k列,qjk表示第j个人脸特征和第k个人脸特征之间的欧式距离;
步骤S22、构造同样大小的N×N的二值矩阵R=[rjk],其中,rjk表示第j个人脸和k个人脸是否为同一个人,若qjk<Tdistance则rjk=1,表示第j个人脸和k个人脸是同一个人,否则rjk=0表示不是同一个人,其中,Tdistance为距离阈值由参数估计策略得来;
步骤S23、通过矩阵R得到初始的聚类结果C,其中,C={ck}表示初始的聚类簇构成的集合,k=1,2,...,K为聚类簇的编号,K为初始聚类簇的数量,ck表示第k个聚类簇;
在所述步骤S3中,按照以下步骤实现:
步骤S31、对每一个聚类簇ck,计算其中所有样本对之间的平均距离lk,其计算方式如下:
其中,|ck|表示聚类簇ck中的元素个数,a和b分别为聚类簇ck中的两个样本;
步骤S32、令L=(l1,l2,...,lK)表示由每一个聚类簇ck的平均成对距离lk构成的向量,计算每一个聚类簇ck的纯度pk,其计算方式如下:
其中,Median(·)表示取向量的中位数,MAD(·)表示取向量的绝对中位差,MAD(L)=Median(L′),向量L′由向量L中的每一个元素与向量L的中位数Median(L)之间偏移量的绝对值lk′构成,其表示方式如下:
l′k=|li-Median(L)|,lk∈L,l′k∈L′;
步骤S33、若pk<Tpurity,则表示聚类簇ck含有异常数据,需要进行过滤,将聚类簇编号k加入集合Z,其中,Tpurity表示纯度阈值,用于对每个聚类簇进行纯度检测,为超参数,Z为需要过滤的聚类簇编号的集合;
步骤S34、对每一个需要过滤的聚类簇cz,计算该聚类簇内每一对样本之间的距离矩阵Ez,对矩阵Ez按行进行求和,得到向量vz,其中,z∈Z为需要过滤的聚类簇编号,vz是由聚类簇cz中每一个元素对总体距离的贡献程度构成的向量;
步骤S35、再次使用绝对中位差得到其计算公式如下:
其中,t为聚类簇中第t个元素的编号,为vz中第t个元素的偏离程度;
步骤S36、将聚类簇cz中的元素从聚类簇中删除,其中,Tdeviation为偏离阈值,聚类簇中所有大于其值的元素被认为是该聚类簇中的异常点,为超参数;
步骤S37、对过滤后的所有聚类簇,将聚类簇中元素个数不足Tnum的聚类簇删除,其中,Tnum为聚类簇中要求所含最少元素的个数,为设定的超参数;
所述步骤S4,具体包括以下步骤:
步骤S41、对过滤后的每一个初始聚类簇ck,输入至空间注意力网络,为每一个聚类簇生成唯一的集合特征;
步骤S42、计算距离矩阵W,其元素为各个聚类簇集合特征之间的欧氏距离;
步骤S43、寻找距离矩阵W中的最小值元素wmin,若wmin<Tdistance则将其对应的两个聚类簇进行合并,转步骤S44,否则聚类结束,输出聚类结果;
步骤S44、将合并后的聚类簇输入空间注意力网络,得到新的集合特征,重新计算距离矩阵W,转步骤S43。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福州大学,未经福州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910097235.X/1.html,转载请声明来源钻瓜专利网。