[发明专利]手势关键点定位或姿态估计的方法、电子装置和存储介质

权利要求书

1.一种手势关键点定位或姿态估计的方法，其特征在于，所述方法包括：

输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；

其中，所述手势关键点定位或姿态估计模型的构建过程包括：

获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；

获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；

叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集和所述目标数据集fine-tune所述基础模型，得到所述手势关键点定位或姿态估计模型。

2.一种手势关键点定位或姿态估计的方法，其特征在于，所述方法包括：

输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；

其中，所述手势关键点定位或姿态估计模型的构建过程包括：

获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；

获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；

叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集、所述目标数据集和难例数据集，fine-tune所述基础模型，得到所述手势关键点定位或姿态估计模型，其中，在模型训练过程中，根据误差大于预设阈值的训练数据，确定所述难例数据集。

3.根据权利要求2所述的方法，其特征在于，所述难例数据集的维护过程包括：

获取误差大于预设阈值的训练数据中的手部，对于获取到的每个手部，从所述背景数据集中随机抽取对应背景图像，叠加所述手部与所述背景图像生成难例图像，以构成所述难例数据集；

从所述难例数据集中取出数据时，将取出的数据从所述难例数据集中删除。

4.根据权利要求3所述的方法，其特征在于，基于所述基础数据集、所述目标数据集和难例数据集，fine-tune所述基础模型的过程包括：

按照第一预设比例，汇总所述基础数据集、所述目标数据集和所述难例数据集，得到训练数据集；

基于所述训练数据集fine-tune所述基础模型。

5.根据权利要求2所述的方法，其特征在于，所述前景数据集的确定过程包括：

输入所述图像数据至所述基础模型，所述基础模型输出图像中手部各关键点的位置或姿态结果；可视化所述结果；

根据所述结果，确定精度符合预设要求的图像，并在所述图像上确定手部的像素块所在区域，得到所述前景数据集。

6.根据权利要求5所述的方法，其特征在于，获取不同场景下的手势的图像数据的过程包括：固定好摄像头的位置与深度摄像头的位置，并进行内外参标定，得到相机组；通过所述相机组采集不同场景下的手势的图像数据，所述图像数据包括时间戳对齐的深度图和图像；

所述在所述图像上确定手部的像素块的过程包括：对齐所述深度图和所述图像，将所述手部各关键点的位置或姿态结果投影到像素，得到对齐后所述深度图上的各关键点的2D信息，根据所述2D信息和区域生长法，提取所述图像上的手部的像素块，

根据所述图像上的手部的像素块，确定所述图像上的手部的mask区域；将所述mask区域内缩a个像素、外扩b个像素，构造出待处理区域，对所述待处理区域执行精细化抠图操作，得到所述前景数据集。