[发明专利]手势关键点定位或姿态估计的方法、电子装置和存储介质

说明书

本申请涉及一种手势关键点定位或姿态估计的方法、电子装置和存储介质，其中手势关键点定位或姿态估计模型的构建过程包括：获取基础数据集，根据基础数据集，训练得到基础模型；获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集；叠加前景数据集与背景数据集中的数据，并和谐化数据，得到目标数据集；基于基础数据集和目标数据集fine‑tune基础模型，得到手势关键点定位或姿态估计模型，通过本申请，大幅度提升了数据对模型的训练效果，解决了相关技术中手势交互功能的泛化性能较差的问题，提升了手势交互功能的泛化性能。

技术领域

本申请涉及虚拟现实、增强现实技术领域，特别是涉及一种手势关键点定位或姿态估计的方法、电子装置和存储介质。

背景技术

随着虚拟现实(Virtual Reality，简称VR))、增强现实(Augmented Reality)，简称AR)技术的发展，以及AR/VR眼镜的应用场景的不断扩充，手势交互功能显得愈发重要。

由于很多场景的光照、纹理、用户的习惯都是不可控的，并且深度学习对于未见过的场景和数据的预测也是不可控的，因此，在相关技术中，手势交互功能的泛化性能较差，这里的是泛化性能指的是，在尽可能多的场景，尽可能多的用户都能正常使用该手势交互功能而没有出现明显的效果下降。

针对相关技术中，手势交互功能的泛化性能较差的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种手势关键点定位或姿态估计的方法、电子装置和存储介质，以至少解决相关技术中手势交互功能的泛化性能较差的问题。

第一方面，本申请实施例提供了一种手势关键点定位或姿态估计的方法，所述方法包括：

输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；

其中，所述手势关键点定位或姿态估计模型的构建过程包括：

获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；

获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；

叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集和所述目标数据集fine-tune所述基础模型，得到所述手势关键点定位或姿态估计模型。

第二方面，本申请实施例还提供了一种手势关键点定位或姿态估计的方法，所述方法包括：

输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；

其中，所述手势关键点定位或姿态估计模型的构建过程包括：

获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；

获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；

叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集、所述目标数据集和难例数据集，fine-tune所述基础模型，得到所述手势关键点定位或姿态估计模型，其中，在模型训练过程中，根据误差大于预设阈值的训练数据，确定所述难例数据集。