[发明专利]基于衣物共现信息与多任务学习的衣物识别方法

摘要

本发明公开了一种基于衣物共现信息与多任务学习的衣物识别方法，包括步骤：(a)、人体姿势及人体部位的识别，在使用识别模型识别出各个部位后，将得到的部位区域重新融合得到新的“头部”，“上半身”，“下半身”与“全身”四个区域；(b)、特征提取及筛选，根据不同衣物所在的不同部位提取特征，在下一步骤通过加入衣物共现约束项的多任务学习训练得到的模型重新筛选特征，也即使用训练得到的权重向量作为反馈信息重新筛选特征；(c)、使用加入衣物共现约束的多任务学习同时训练多个衣物类别分类器，提高衣物类别分类器性能。本发明通过利用衣物共现信息更好地识别图片中的衣物类别，为同款衣物检索、衣物解析、推荐系统的应用提供基础。

主权项

1.一种基于衣物共现信息与多任务学习的衣物识别方法，其特征在于，包括以下步骤：(a)、人体姿势及人体部位的识别，在使用识别模型识别出各个部位后，将得到的部位区域重新融合得到新的“头部”，“上半身”，“下半身”与“全身”四个区域；(b)、特征提取及筛选，根据不同衣物所在的不同部位在上一步骤中得到的相应部位中提取特征，在下一步骤通过加入衣物共现约束项的多任务学习训练得到的模型重新筛选特征，也即使用训练得到的权重向量作为反馈信息重新筛选特征；(c)、使用加入衣物共现约束的多任务学习同时训练多个衣物类别分类器，也即在传统的多任务学习目标函数中加入衣物共现约束项以提高衣物类别分类器性能；所述步骤(c)在传统的多任务学习的最优化式子中加入了衣物共现约束项，如下式所示：其中：t为仟务数即衣物类别数，N为对应任务的样本数，P(task_i，task_j)是数据集中根据图片的标签统计得到的先验概率，W_i是第i个任务训练得到的模型，W_iX_k＞0，说明标签为正，图片X_k的预测结果为存在i这个类别，那么就是预测得到的同时存在i和j的图片数除以图片总数，ρ₁、ρ₂分别是迹范式与衣物共现约束项的参数，通过交叉验证确认。