[发明专利]一种利用肢体特征辅助的行人和骑车人姿态估计方法

权利要求书

1.一种利用肢体特征辅助的行人和骑车人姿态估计方法，其特征在于包括以下步骤：

1)准备数据：包括公开的通用姿态数据集和自行标注的行人姿态数据；

2)选择基础网络模型，定义网络输入、输出，使用数据集中标注的关节点坐标构造关节点真值热图与肢体真值热图，定义损失函数和超参数，训练网络使之能够输出接近真值热图的肢体估计热图和关节点估计热图；

3)对于每张输入的图像，两组网络分别输出肢体热图和关节点热图，对其进行后融合，使最终输出的关节点热图能整合肢体检测与关节点检测结果；

4)搜索输出关节点热图中的最大热值和次大热值，获取最大热值的相应位置坐标和次大热值的相应位置坐标最后得到的关节点坐标；

所述步骤3)中，根据肢体的定义，一些肢体有共同的关节点，所以这些共同的关节点的热图用相关的肢体热图表达，由肢体热图计算得到的关节点热图作为辅助热图；

由肢体热图计算得到的关节点热图作为辅助热图的计算方式如下：

式中，表示辅助热图，即由肢体热图计算得到的关节点热图，表示含有关节点k的肢体l_i的估计热图，i是序号，是关节点k的估计热图，·,·_F表示Frobenius内积；

融合后输出的关节点热图为：

式中，是输出的关节点热图，α和β分别为关节点的辅助热图和关节点估计热图的权重。

2.如权利要求1所述姿态估计方法，其特征在于：所述步骤1)中，选取大规模公开数据对网络进行预训练使网络具有提取特征的能力，或直接选择已完成预训练的网络模型及预训练参数；另选含行人和骑车人样本的小规模数据集进行人体关节点标注。

3.如权利要求1所述姿态估计方法，其特征在于：所述步骤2)中，训练肢体检测网络与关节点检测网络的具体步骤如下：

2.1)构造关节点真值热图；

2.2)定义肢体并构造肢体真值热图：肢体定义为由相邻关节点构成的线段，肢体真值热图的构造借鉴关节点真值热图构造方式，距离肢体线段近的点热值高，距离肢体线段远的点热值低；

2.3)训练肢体检测网络：选择基础网络结构并根据网络特性对图像做相应的预处理；首先用预训练数据集对网络进行预训练得到预训练模型，或直接使用已有的预训练模型，在此基础上再使用已进行人体关节标注的小规模训练数据进行微调；最后得到一组肢体检测网络模型参数；

2.4)训练关节点检测网络：在所述步骤2.3)得到的模型参数基础上，进一步使用同一批已进行人体关节标注的训练数据对关节点检测任务进行训练，最后得到一组关节点检测网络模型参数，模型输出关节点热图。

4.如权利要求3所述姿态估计方法，其特征在于：所述步骤2.1)中，遵循人体姿态估计任务中常见的关节点真值热图构建方法，采用二维高斯分布模拟关节点的热图分布：

式中，H_k(x)表示关节点k的热值图上坐标为x＝(x,y)处的热值，x_k是关节点k的二维坐标，σ²是高斯分布的方差。

5.如权利要求3所述姿态估计方法，其特征在于：所述步骤2.2)中，假设对于第i个关节点k_i、第j个关节点k_j连接构成的肢体其热图中任意位置x∈R²处的热值计算方法如下：

设关节点k_i为点关节点k_j为点任意位置x为点P(x,y)，令则点P到肢体的距离d为：

点P的热值为：

6.如权利要求3所述姿态估计方法，其特征在于：所述步骤2.3)中，基础网络结构选用堆叠沙漏网络，损失函数选用交叉熵函数。

7.如权利要求1所述姿态估计方法，其特征在于：所述步骤4)中，关节点坐标为：

式中，分别是输出关节点热图中最大热值和次大热值的相应位置坐标。