[发明专利]一种基于标签转移及LSTM模型的人像语义分析的方法及系统

权利要求书

1.一种基于标签转移及LSTM(时间递归神经网络)模型的人像图片语义分析的方法及系统，其特征在于，包括以下步骤：

1)采用BING显著性检测算法预处理图片，提取可能包含人像的候选矩形区域，每个矩形区域都会相应的得分，得分越高，表示该矩形区域含有物体的可能性越大；

2)提取候选矩形区域的左上和右下角的坐标信息，利用IOU算法计算相似矩阵，然后在利用图谱聚类算法聚类；

3)根据形状特征对聚类之后的候选矩形区域进行筛选，减少候选数目，并计算筛选过后的平均面积，去除低于平均面积的区域，然后选择每类中得分最高的2个区域合并；

4)对合并之后的区域提取HOG(方向梯度直方图)特征，利用SVM(支持向量机)进行人像检测，确定区域是否含有人像；

5)对提取包含人像的矩形区域进行超像素分割，然后提取超像素的纹理，颜色，和位置特征，迭代地合并颜色，纹理相近的超像素区域；

6)通过将训练样本中的标准人像区域归一化处理，并提取重叠部分，制作人体标准分割标注模板，然后根据模板区域与待标注人像分割区域的位置信息，计算该分割区域为某一标签的概率，作为特征向量，利用SVM(支持向量机)构造分类器对人像分割区域分类，然后合并标签相同的区域，完成人像分割区域的标注和标签转移；

7)将训练图片的人像的语义描述作为训练样本，训练LSTM(时间递归神经网络)模型；

8)根据人像分割区域的标注，并提取该区域的颜色特征，得到标注词组，然后加入语义描述辅助词组，通过LSTM(时间递归神经网络)模型得到人像的自然语义描述。

2.根据权利要求1所述的方法，其特征在于，步骤(1)中采用BING显著性检测算法将整个图片划分为N个候选矩形区域，减少了提取人像区域的检测窗口数目，每个区域都会有相应的得分，该得分表示该区域含有物体的概率。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中，对候选区域提取使用图谱聚类的方法对候选区域根据坐标位置信息进行聚类，其中通过IOU算法计算区域间的相似性，得出相似矩阵。

相似矩阵的计算公式为：

其中：r(i，j)表示区域i和区域j的相似度，s(i)，s(j)表示位置信息，si，sj表示区域i和区域j的面积，st表示区域i和区域j的重叠面积。

st的计算公式为：st＝|min(xi1.xj1)-max(xi0，xj0)|*|min(yi1，yj1)-max(yi0，xi0)|

其中：xi1，xi0，yj1，yj0分别为区域i和区域j的左上角和右下角的坐标。

4.根据权利要求1所述的方法，其特征在于，步骤(3)中，利用候选矩形区域的形态学信息(长宽比)刷选，保留长宽比在1/3到1/2之间的候选矩形区域，并计算保留矩形区域平均面积，去除低于平均面积的区域，并选择每类中得分最高的2个区域合并，得到最终的候选区域。相对于传统的滑动窗口的人像检测方法，将待识别的区域控制在较小的数目范围内，减少了识别的工作量。

5.根据权利要求1所述的方法，其特征在于，步骤(5)中在合并超像素模块中，分三个大区域，上，中，下进行合并，这三个区域之间有重叠部分。在每个区域中，每次合并2个超像素，并且根据采用颜色，纹理，和超像素的大小作为合并的选择参数，优先合并颜色，纹理相似度高，超像素面积小的2个超像素，并迭代的进行下去，迭代停止的条件是，合并之后的超像素的平均大小达到对应到步骤(6)中的标准分割模板对应部分的分割区域的平均大小的2/3，这3个区域停止合并采用不同的阈值。