[发明专利]基于深度有监督特征选择的社会关系识别方法及系统

说明书

本发明公开了一种基于深度有监督特征选择的社会关系识别方法及系统，识别方法包括：通过多个特征提取器生成两个人之间关系的表示；将深度学习算法与l_2,1范式相结合，通过学习稀疏加权矩阵从多源特征中选择最优特征子集；利用所选特征，使用Softmax分类器计算输入对在社会关系类别上的概率分布；权重矩阵稀疏优化。本发明通过更有效地提取多源属性特征，提高了社会关系识别的准确性。

技术领域

本发明涉及计算机视觉领域中社会关系识别技术，特别是一种基于深度有监督特征选择的社会关系识别方法及系统。

背景技术

近年来，研究者注重从图像或视频中挖掘社会信息，如亲属关系验证、社会角色、社会关系属性和社会关系，Ramanathan等人2013年首次尝试描述人们在活动中扮演的社会角色。它们通过一个条件随机场来呈现角色与交互，同时推导出模型的权重和视频中的角色分配。Zhang等人2015年提出了深度模型，通过捕获多个面部属性来分类两个或多人之间的社会关系特征(例如温暖、友好和支配)。此外，它们还构造了一个桥接层，以利用异构属性源之间的内在对应关系。同时，许多研究者关注于分析作为社会关系子集的亲属关系。Lu等人提出了一种新的邻域排斥度量学习(NRML)方法用于亲属关系验证任务。Robinson等人2017年，收集了最大的亲属关系数据集(即FIW数据集)，并设计了亲属关系验证任务和家庭识别任务的几个基线框架。

就社会关系识别任务而言，现有的方法大多可以分为两类：基于环境对象和基于多个面部或身体属性。在现有的社会关系认知文献中，环境对象被视为基本线索。Li等人2017年提出了一种在静止图像中识别社会关系的双通道模型。第一个通道根据成对个体的外观和几何信息对社会关系进行粗略预测。第二个通道将注意机制整合到由区域候选网络生成的环境对象中，以细化粗粒度预测的结果。Wang等人2018年开发了一个端到端可训练的图推理模型，该模型使用门控图神经网络(GGNN)通过图传播节点信息，并引入一种新的图注意机制来推理图像中人周围的关键环境对象。

同样，面部或身体属性可以为理解图像中的社会关系提供有效的信息。Sun等人2017年为社会领域或社会关系分类贡献了Double-Stream CaffeNet模型。从社会心理学的角度出发，收集人脸和身体的多个属性特征，以提高分类的准确性。然后将这些特征连接成一个向量作为分类器的输入。然而，这种级联特征是高维的，其可能包含噪声和冗余。

发明内容

本发明的目的在于提供一种基于深度有监督特征选择的社会关系识别方法及系统，主要关注基于人脸或身体属性的社会关系任务，从多源特征中选择一个最优子集来去除噪声，提高社会关系识别的准确性。

实现本发明目的的技术解决方案为：一种基于深度有监督特征选择的社会关系识别方法，包括以下步骤：

通过多个特征提取器生成两个人之间关系的表示；

将深度学习算法与l_2,1范式相结合，通过学习稀疏加权矩阵从多源特征中选择最优特征子集；

利用所选特征，使用Softmax分类器计算输入对在社会关系类别上的概率分布；

权重矩阵稀疏优化，使用l_2，1稀疏权重矩阵，去除冗余特征，提高计算效率，识别精度。

进一步的，所述的将深度学习算法与l_2,1范式相结合，通过学习稀疏加权矩阵从多源特征中选择最优特征子集，具体包括如下步骤：

对于基于组的特征选择策略，所选择特征表示为

其中a_i表示第i个属性的特征，是与该属性对应的权重矩阵，k是属性的个数，|a_i|表示a_i的特征维度，d^s表示属性维度；