[发明专利]一种服装关键点定位系统及其训练、定位方法

权利要求书

1.一种服装关键点定位系统，包括：

基础卷积网络，用于对输入的服装训练图像或服装测试图像提取卷积特征图；

堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于在训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对所述基础卷积网络和堆叠式层级布局知识推理单元进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强；

后处理模块，用于将所述堆叠式层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置；

所述堆叠式层级布局知识推理单元包括：

图-点子模块，用于将所述基础卷积网络输出的卷积特征图转换为图节点特征；

层级推理子模块，用于利用服装关键点空间布局关系的信息结合所述图节点特征进行层级布局知识推理，丰富所述图节点特征的层级语义信息，得到进化增强后的图节点特征；

点-图子模块，用于将所述层级推理子模块输出的图节点特征转换为卷积特征图；

所述层级推理子模块包括至底向上的图聚类式推理和至顶向下的图反卷积式推理，所述图聚类式推理过程分多个层级，包括从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理，所述图反卷积式推理包括从根节点的推理反卷积到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。

2.如权利要求1所述的一种服装关键点定位系统，其特征在于：所述至底向上的图聚类式推理是在生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系，所述图聚类式推理包括图节点聚类和图节点信息传播两个操作。

3.如权利要求1所述的一种服装关键点定位系统，其特征在于：所述至顶向下的图反卷积式推理在生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，所述图反卷积式推理包括图节点反卷积操作和图节点信息传播两个操作。

4.如权利要求1所述的一种服装关键点定位系统，其特征在于：于每个层级布局知识推理模块之间，利用一个1×1卷积核和非线性函数对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，并利用矩阵加法来融合输入和输出，以降低数据偏差。

5.如权利要求1所述的一种服装关键点定位系统，其特征在于：于每个层级布局知识推理模块之间，利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，为系统引入更多尺度、更丰富的特征信息。