[发明专利]一种语义驱动的混合现实场景下的虚拟宠物行为生成方法

权利要求书

1.一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，应用于混合现实头戴式显示器，其特征在于，所述方法包括以下步骤：

S1：使用训练好的宠物行为模型生成虚拟宠物的行为序列S＝{s₁，s₂，...，s_n...，s_N}，其中，n＝1，2，...，N，N为设定的行为数量，且s₁～s_N为虚拟宠物可能发生的各个行为；

S2：采用Mask R-CNN法从待生成虚拟宠物的真实场景二维图像中检测并分割出相关物体，并将相关物体的数量记为I，其中，所述相关物体为虚拟宠物各行为可能的发生位置，且虚拟宠物的每一个行为均至少对应一个相关物体，同时，所述真实场景二维图像由混合现实头戴式显示器内置的相机拍摄得到；

S3：利用投影矩阵法将真实场景二维图像转换为混合现实头戴式显示器坐标系下的三维场景，得到相关物体的三维坐标；

S4：将三维场景中各相关物体的表面进行网格划分，然后分别将行为序列s中的各行为作为当前行为执行位置获取操作，得到行为序列s中各行为的发生位置序列l＝{l₁，l₂，...，l_n，...，l_N}，其中，l_n为行为s_n对应的最终发生位置，且所述位置获取操作包括以下步骤：

S41：获取当前行为s_n发生在各个相关物体上的先验概率：

其中，θ_n(i)为第n个行为s_n发生在第i个相关物体上先验概率，i＝1，2，...，I，f_n(i)为第n个行为s_n在第i个相关物体上发生的频率，O₀为虚拟宠物的当前位置，O_i是第i个相关物体的位置，D(O₀，O_i)为虚拟宠物与第i个相关物体之间的欧氏距离，d_max为真实场景中各相关物体之间的最大距离；

S42：将当前行为发生在各个相关物体上的先验概率进行归一化，然后按照归一化后的先验概率将区间[0，1]划分为多个子区间，且每个子区间对应一个相关物体；

S43：获取一个随机数，然后将该随机数落入的子区间对应的相关物体作为当前行为的最终发生物体；

S44：在最终发生物体上随机选取一个网格单元，作为当前行为的最终发生位置，并将该网格单元的三维坐标记为l_n；

S5：以最小的路径成本获取发生位置序列L中任意两个相邻的最终发生位置l_n与l_n+1之间的路径，使得虚拟宠物在位置l_n完成行为s_n后再移动到位置l_n+1完成行为s_n+1，实现虚拟宠物的行为生成。

2.如权利要求1所述的一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，其特征在于，步骤S1中所述宠物行为模型的训练方法为：

S11：通过在真实环境中安装的摄像机拍摄真实宠物的日常行为，得到真实宠物的真实行为数据；

S12：根据所述真实行为数据构建真实宠物的行为序列，其中，所述真实宠物的行为序列表示真实宠物发生的不同类别行为的顺序；

S13：以真实宠物的行为序列作为输入，真实宠物的行为序列中最后一个行为的下一个行为作为输出对长短时记忆网络进行训练，得到宠物行为模型。