[发明专利]一种VR场景下人机协同抓取物体的方法

权利要求书

1.一种VR场景下人机协同抓取物体的方法，其特征在于：所述方法包括：

同时进行手势识别和语音识别，其中，所述手势识别是采集人手的视频信号，根据所述视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果；所述语音识别是采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果；

根据所述手势识别结果和语音识别结果进行场景主动转换，协助用户完成操作；

所述采集人手的视频信号，根据视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果的操作包括：

步骤A1，采集人手的视频信号，从所述视频信号中获取人手的深度图像以及人手的三维估计，将人手的三维估计中的各个节点映射到虚拟场景中的虚拟人手上，驱动虚拟人手的运动；

步骤A2.通过虚拟人手的运动方向和虚拟人手的手掌垂直向量获得虚拟人手的抓取方向，以及虚拟人手与虚拟物体的位置关系，即手势识别结果；

所述步骤A2的操作包括：

利用下式计算t帧的抓取方向：

其中为虚拟场景中的虚拟人手的运动方向，P_t表示t帧时刻的手掌节点P的坐标，表示虚拟场景中的虚拟人手的手掌的垂直向量，I0_t和M0_t表示t帧时刻的虚拟人手的食指的第一个关节点、中指的第一个关节点的坐标；θ为和之间的夹角；

判断θ是否小于10°，如果是，则利用下式计算抓取方向Dir:

=+                             (4)

如果否，则不做任何处理；

假设虚拟场景中一个虚拟物体的重心坐标为O，其与虚拟人手之间的向量表示为两者之间的距离为

利用下式计算出抓取方向向量与向量之间的夹角，即虚拟人手与虚拟物体之间的位置关系：

2.根据权利要求1所述的VR场景下人机协同抓取物体的方法，其特征在于：所述采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果的操作包括：

步骤B1.采集用户的音频信号；

步骤B2.对所述音频信号进行语音识别和语义分析获得语音识别结果，所述语音识别结果包括：主动对象、动作、属性和被动对象。

3.根据权利要求1所述的VR场景下人机协同抓取物体的方法，其特征在于：所述根据所述手势识别结果和语音识别结果进行场景主动转换的操作包括：

步骤C1，情景感知：判断虚拟人手当前是否处于抓取物体状态，如果是，则当前虚拟人手所指向的主动对象为绑定的虚拟物体，如果否，则虚拟人手指向的主动对象为虚拟人手本身；

步骤C2.主动对象感知：判断虚拟人手和语音识别结果中的主动对象是否为同一个，如果是，则进入步骤C3，如果否，则进行主动对象转换，然后再返回步骤C2；

步骤C3.接近对象关系感知：判断虚拟场景中是否存在想要接近的物体，如果是，则将虚拟场景的视角随着主动对象的移动向该物体拉近，拉近到设定距离时，转入步骤C4，如果否，则返回步骤C3；

步骤C4.判断在虚拟场景中是否存在虚拟物体将被动对象遮挡住，如果是，则该虚拟物体为遮挡物体，将被动对象的坐标与遮挡物体的坐标进行互换，然后转入步骤C5，如果否，则转入步骤C5；

步骤C5.用户与虚拟场景进行交互。

4.根据权利要求3所述的VR场景下人机协同抓取物体的方法，其特征在于：所述步骤C2中的所述主动对象转换的操作包括：

将语音识别结果中的主动对象作为被动对象；

将虚拟人手指向的主动对象作为语音识别结果中的主动对象。

5.根据权利要求4所述的VR场景下人机协同抓取物体的方法，其特征在于：所述步骤C3中的判断虚拟场景中是否存在想要接近的物体的操作包括：

判断虚拟场景中的物体O(x₁,y₁,z₁)是否满足以下条件：

γ_t＜10个像素且

如果是，则判定存在想要接近的物体，如果否，则判定不存在想要接近的物体。