[发明专利]基于局部图像特征和多示例学习的家庭合照与非家庭合照分类方法

说明书

技术领域

本发明涉及模式识别、计算机视觉和多媒体分析技术领域，特别是涉及基于局部图像特征和多示例学习的家庭合照与非家庭合照分类方法。

背景技术

在已有的基于图像的家庭合照与非家庭合照分类算法中，所有的方法都使用全局特征表示与分类的方式进行照片识别。具体来讲，已有的方法先在每张照片中提取一个全局特征向量，将该照片中的具有区分力的信息全部归纳进该向量，然后使用传统的二分类器进行训练与照片识别。但是，家庭合照和非家庭合照中最具有区分力的信息往往位于图像的局部，而已有方法采用的全局特征表示会将具有区分力的信息和无用的信息混合起来，削弱有用信息的作用，影响分类的精度。因此，上述方法存在较大的不足。

发明内容

发明目的：本发明的目的是提供一种能够解决现有技术中存在的缺陷的基于局部图像特征和多示例学习的家庭合照与非家庭合照分类方法。

技术方案：为达到此目的，本发明采用以下技术方案：

本发明所述的基于局部图像特征和多示例学习的家庭合照与非家庭合照分类方法，包括以下步骤：

S1：对每张合照提取局部特征，局部特征为局部几何特征、局部亲属关系特征或者局部语义特征；

S2：选择一种基于多示例学习架构的二类分类器，将每张合照的所有局部特征和照片标签作为输入，训练多示例分类器的参数；

S3：在测试阶段，将未知类别合照的局部特征输入到步骤S2训练好的多示例分类器中，得到预测的类别。

进一步，所述步骤S1中，如果提取局部几何特征，则按照以下步骤来提取：

S111：在合照中，根据不同人脸之间的像素距离，将所有N张脸连接成为一个无权重的Urquhart图；

S112：用一个邻接矩阵A_N×N来描述Urquhart图，其中A_N×N的对角线元素被置为1，A_ij＝1表示第i个节点和第j个节点被连接了起来，一个节点代表一个人脸；此外，将每个人脸的年龄和性别作为其对应节点的属性特征，用一个D维特征向量h_D×1来描述每个节点的属性特征，在h_D×1中，只有一个元素为1，其余都为0；

S113：按照与邻接矩阵A相同的节点顺序，算法将图中所有节点的特征归入一个矩阵H_N×D＝[h₁,h₂,…,h_N]^T，算法通过式(1)计算位于每个中心人的局部几何特征：

F⁽ⁿ⁾＝(D^-0.5AD^-0.5)ⁿH(1)

式(1)中，矩阵D是矩阵A的对角度矩阵，F_N×D的第i行特征向量表示Urquhart图中与第i个中心人通过不超过n条边相连的所有人的属性特征统计。取n＝1,2,3,…，将得到的F⁽¹⁾,F⁽²⁾,F⁽³⁾,…级联起来，组成该合照中一个局部特征向量。

进一步，所述步骤S111具体为：先用Delaunay三角化算法把人脸连接起来，然后在生成的图的基础上，移除每个三角形中的最长边，得到Urquhart图。

进一步，所述步骤S1中，如果提取局部亲属关系特征，则按照以下步骤来提取：

S121：用一个预训练的人脸识别模型对合照中所有人脸提取特征，记在第i张脸上提取的特征为f_i；

S122：遍历所有的二人组合(f_i,f_j)，计算他们之间的脸部比较特征

S123：根据所有二人组合的年龄差，将脸部比较特征进行分组；在每一组中，再根据合照的标签，将该组中的脸部比较特征分为两类，用K-Means算法分别在两类特征数据上各训练一个字典；

S124：将每个脸部比较特征用其对应年龄的字典Dic_p,p∈{1,-1}进行编码，包括两个步骤：

S1241：对于一个比较特征计算它与对应字典中每个基的距离：

得到一个映射向量

S1242：在向量z_p中，用所有元素的均值减去每个元素，并只保留大于0的元素，其余置零，以增加向量的稀疏性：

S1243：将映射到两个字典上的向量级联起来，成为一个向量：