[发明专利]手语数据采集方法、设备、存储介质

权利要求书

1.一种手语数据采集方法，其特征在于，包括：

当采集对象进行手语动作时，利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据；

根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数；

根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，进行所述手语动作的所述三维虚拟模型构成三维手语数据；

若所述手语动作包括表情动作、口型动作和肢体动作，所述利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据，包括：

利用具有图像传感器的图像采集设备，对所述采集对象进行数据采集，得到至少一条图像数据；

所述根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数，包括：

利用预设的算法模型，确定所述至少一条图像数据所表征的所述表情动作的第二位姿参数、所述口型动作的第三位姿参数和所述肢体动作的第四位姿参数。

2.根据权利要求1所述的方法，其特征在于，若所述手语动作包括手势动作，所述利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据，包括：

利用具有运动传感器的手套设备和具有运动传感器的手腕设备，对所述采集对象进行数据采集，得到至少一条传感器数据；

所述根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数，包括：

根据所述至少一条传感器数据，确定所述采集对象的至少一个手部关键点的六自由度，得到所述采集对象的所述手势动作的第一位姿参数，其中，所述手部关键点包括手指关键点、手掌关键点和手腕关键点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，包括：

将所述第一位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个手部关键点进行所述手势动作。

4.根据权利要求1所述的方法，其特征在于，所述利用预设的算法模型，确定所述至少一条图像数据所表征的所述表情动作的第二位姿参数、所述口型动作的第三位姿参数和所述肢体动作的第四位姿参数，包括：

利用预设的算法模型，确定所述至少一条图像数据中的至少一个五官关键点和至少一个骨骼关键点；

根据标准的三维人脸模型，确定所述至少一个五官关键点中的每一个五官关键点的六自由度，得到所述第二位姿参数和所述第三位姿参数；确定所述至少一个骨骼关键点中的每一个骨骼关键点的六自由度，得到所述第四位姿参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，包括：

将所述第二位姿参数和所述第三位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个五官关键点进行所述表情动作和所述口型动作；

将所述第四位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个骨骼关键点进行所述肢体动作。

6.根据权利要求1-5任一项所述的方法，其特征在于，当所述手语动作包括手势动作时，所述方法还包括：

确定所述采集对象的所述手势动作的手势类型，根据手势类型与第一位姿参数的映射关系，确定与所述手势类型对应的所述第一位姿参数；

其中，确定所述映射关系的方法包括：

利用具有运动传感器的手套设备和具有运动传感器的手腕设备，对每一种手势类型的手势动作进行数据采集，得到所述每一种手势类型对应的传感器数据；

根据所述每一种手势类型对应的传感器数据，确定所述每一种手势类型对应的所述第一位姿参数，得到所述映射关系。

7.根据权利要求2或3所述的方法，其特征在于，所述具有运动传感器的手套设备包括数据手套，所述具有运动传感器的手腕设备包括设在在手腕处的位置追踪器。

8.根据权利要求1所述的方法，其特征在于，所述具有图像传感器的图像采集设备包括多个摄像设备，所述多个摄像设备呈圆弧形状分布，所述多个摄像设备等间距分布。