[发明专利]控制指令生成方法及装置

权利要求书

1.一种控制指令生成方法，其特征在于，所述方法包括：

获取连续的二维图像帧；

计算所述连续的二维图像帧中每一帧的用户姿势关键点信息，所述用户姿势关键点信息包括：用户姿势关键点的三维坐标；

根据所述连续的二维图像帧中至少一帧的用户姿势关键点信息，识别所述用户的控制意图；

根据所述控制意图，生成对应的控制指令。

2.根据权利要求1所述的方法，其特征在于，所述根据所述连续的二维图像帧中至少一帧的用户姿势关键点信息，识别所述用户的控制意图，包括：

将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入姿势匹配模型，得到至少一帧对应的匹配控制姿势；

根据所述至少一帧对应的匹配控制姿势，确定所述用户对应的控制意图。

3.根据权利要求2所述的方法，其特征在于，所述将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入姿势匹配模型，得到至少一帧对应的匹配控制姿势，包括：

将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入所述姿势匹配模型，得到当前帧的用户姿势关键点信息与当前控制姿势对应的控制姿势关键点信息之间的匹配置信度；

若所述匹配置信度超过预设阈值，将所述当前控制姿势确定为所述至少一帧对应的匹配控制姿势。

4.根据权利要求3所述的方法，其特征在于，所述根据所述至少一帧对应的匹配控制姿势，确定所述用户对应的控制意图，包括：

若所述匹配控制姿势为静态控制姿势，根据预置的静态控制姿势与控制意图的对应关系，确定所述匹配控制姿势对应的控制意图。

5.根据权利要求3所述的方法，其特征在于，所述根据所述至少一帧对应的匹配控制姿势，确定所述用户对应的控制意图，包括：

若所述匹配控制姿势为动态控制姿势，根据所述当前帧，以及所述当前帧时序之后的至少一帧，检测所述动态控制姿势中的控制量姿势关键点的变化量；

根据所述动态控制姿势和所述控制量姿势关键点的变化量，确定所述匹配控制姿势对应的控制意图。

6.根据权利要求5所述的方法，其特征在于，所述根据所述当前帧，以及所述当前帧时序之后的至少一帧，检测所述动态控制姿势中的控制量姿势关键点的变化量，包括：

将所述当前帧，以及所述当前帧时序之后的至少一帧，输入所述动态控制姿势对应的变化量确定模型，输出所述动态控制姿势中的控制量姿势关键点的变化量。

7.根据权利要求5所述的方法，其特征在于，所述根据所述当前帧，以及所述当前帧时序之后的至少一帧，检测所述动态控制姿势中的控制量姿势关键点的变化量，包括：

将所述当前帧时序之后的至少一帧输入所述姿势匹配模型，得到所述当前帧时序之后的至少一帧中各帧对应的匹配控制姿势；

根据所述当前帧，以及所述当前帧时序之后的至少一帧中匹配控制姿势与所述当前帧的匹配姿势相同的目标帧，检测所述动态控制姿势中的控制量姿势关键点的变化量。

8.根据权利要求3所述的方法，其特征在于，所述姿势匹配模型包括：第一全连接网络、第二全连接网络、以及第三全连接网络；所述将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入所述姿势匹配模型，得到当前帧的用户姿势关键点信息与当前控制姿势对应的控制姿势关键点信息之间的匹配置信度，包括：

将所述连续的二维图像帧中每一帧的用户姿势关键点信息输入所述第一全连接网络，以及将每一个所述预置的控制姿势对应的控制姿势关键点信息输入所述第二全连接网络；

将所述第一全连接网络和所述第二全连接网络的输出向量相加后，输入所述第三全连接网络，通过所述第三全连接网络输出所述当前帧的用户姿势关键点信息与所述当前控制姿势对应的控制姿势关键点信息之间的匹配置信度。