[发明专利]一种基于标签转移及LSTM模型的人像语义分析的方法及系统

摘要

本发明提供了根据标签转移及时间递归神经网络模型的人像图片语义分析的方法及系统，包括以下步骤。1、基于显著性检测的方法提取可能包含人像的矩形区域。2、根据候选区域的位置信息聚类，并进行筛选。3、对剩下区域进行人像检测，确定人像区域。5、对最终区域进行超像素分割，然后选择性地迭代合并超像素。6、制作人体标准分割标注模板，根据位置信息计算标签转移概率，并结合支持向量机完成分割区域标注。7、将训练图片人像的语义描述做样本，训练LSTM(时间递归神经网络)模型。8、根据人像分割区域的标注和颜色构建描述词组，加入辅助性词组，利用模型生成描述语句。通过上诉方法可以得到人像图片的细粒度的标注信息和自然的语义描述。

主权项

一种基于标签转移及LSTM(时间递归神经网络)模型的人像图片语义分析的方法及系统，其特征在于，包括以下步骤：1)采用BING显著性检测算法预处理图片，提取可能包含人像的候选矩形区域，每个矩形区域都会相应的得分，得分越高，表示该矩形区域含有物体的可能性越大；2)提取候选矩形区域的左上和右下角的坐标信息，利用IOU算法计算相似矩阵，然后在利用图谱聚类算法聚类；3)根据形状特征对聚类之后的候选矩形区域进行筛选，减少候选数目，并计算筛选过后的平均面积，去除低于平均面积的区域，然后选择每类中得分最高的2个区域合并；4)对合并之后的区域提取HOG(方向梯度直方图)特征，利用SVM(支持向量机)进行人像检测，确定区域是否含有人像；5)对提取包含人像的矩形区域进行超像素分割，然后提取超像素的纹理，颜色，和位置特征，迭代地合并颜色，纹理相近的超像素区域；6)通过将训练样本中的标准人像区域归一化处理，并提取重叠部分，制作人体标准分割标注模板，然后根据模板区域与待标注人像分割区域的位置信息，计算该分割区域为某一标签的概率，作为特征向量，利用SVM(支持向量机)构造分类器对人像分割区域分类，然后合并标签相同的区域，完成人像分割区域的标注和标签转移；7)将训练图片的人像的语义描述作为训练样本，训练LSTM(时间递归神经网络)模型；8)根据人像分割区域的标注，并提取该区域的颜色特征，得到标注词组，然后加入语义描述辅助词组，通过LSTM(时间递归神经网络)模型得到人像的自然语义描述。