[发明专利]基于人工智能的弹药投掷分析及移动仿真训练方法

权利要求书

1.一种基于人工智能的弹药投掷分析及移动仿真训练方法，其特征在于，该方法包括：

步骤1，使用三维动作捕捉系统捕捉标准弹药投掷动作序列；

步骤2，在模拟器中设置虚拟弹药投掷场景，将标准弹药投掷动作序列起始帧人物模型导入到虚拟场景，通过空间上以人物模型为中心呈半球状分布的多个虚拟相机对人物模型进行拍摄，每个虚拟相机获得一个模板图像；

步骤3，取真实场景拍摄的弹药投掷动作序列起始帧进行人物朝向检测，根据朝向检测结果将搜索虚拟相机的范围限定至人物朝向区域；

步骤4，判断真实场景拍摄的弹药投掷图像是否包含深度信息，若包含深度信息则按最邻近深度信息进行贪婪搜索，否则按虚拟相机到人物模型根结点的距离进行层次划分，然后逐层进行贪婪搜索；贪婪搜索按图像相似性进行匹配，计算虚拟相机对应模板图像与真实场景拍摄的投掷动作序列初始帧的相似性，当相似性度量大于第一阈值时，选择该虚拟相机作为与拍摄角度最邻近的相机视角；

步骤5，分别提取真实场景拍摄的弹药投掷动作序列、利用最邻近相机视角在虚拟场景中拍摄的各种标准弹药投掷动作序列的人体骨骼关键点，计算真实场景与虚拟场景下对应帧关键点坐标距离的总和，选取距离最小的标准弹药投掷动作序列提供给用户。

2.如权利要求1所述的方法，其特征在于，该方法还包括在步骤5之前执行以下操作：

提取真实场景拍摄的弹药投掷动作序列的人体骨骼关键点、弹药关键点；

计算投掷弹药的手部关键点与弹药关键点之间的距离，当距离大于第二阈值时，判定弹药离手；

取弹药投掷起始帧到弹药离手帧之间的动作序列作为步骤5的真实场景拍摄的弹药投掷动作序列。

3.如权利要求1所述的方法，其特征在于，采用卷积神经网络执行步骤3中的所述人物朝向检测。

4.如权利要求1所述的方法，其特征在于，采用图像关键点提取单元提取图像中人体骨骼关键点、弹药中心关键点，图像关键点提取单元包括：

关键点提取编码器，用于对图像进行特征提取，输出特征图；

关键点提取解码器，用于对特征图进行上采样和特征提取，输出人体骨骼关键点热力图、弹药关键点热力图；

坐标回归模块，用于对人体骨骼关键点热力图、弹药关键点热力图进行坐标回归，得到人体骨骼关键点、弹药中心关键点。

5.如权利要求1所述的方法，其特征在于，该方法还包括训练所述图像关键点提取单元：

构建训练集，对训练集图像中的人体骨骼关键点以及弹药中心点进行标注；

对图像内所有关键点进行高斯核卷积，生成关键点热力图，作为标签数据；

将训练集图像以及标签数据输入图像关键点提取单元，基于热力图损失函数进行训练。

6.如权利要求1所述的方法，其特征在于，人物根节点为人物模型左髋右髋连线的中心点。

7.如权利要求1所述的方法，其特征在于，在真实场景下，使用手持终端拍摄真实场景的弹药投掷动作序列。

8.如权利要求4所述的方法，其特征在于，关键点编码器输入的图像数据为经过归一化处理的图像数据。

9.如权利要求5所述的方法，其特征在于，热力图损失函数为：

其中，P_cij代表类别C的关键点在位置(i,j)处的得分，y_cij表示类别C真值热力图相应点的取值，N代表真值热力图中的关键点数量，α、β为超参数。