[发明专利]一种语义驱动的混合现实场景下的虚拟宠物行为生成方法

说明书

本发明提供一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，首先通过数据驱动的方法，采集真实宠物的行为序列，基于采集的行为序列，采用机器学习的方法，建立真实宠物的行为模型；相比于现有技术中的宠物行为模型、手工建立的固定模型或是采用随机生成行为的方法，本发明可以更好地模拟真实宠物的行为，提高了所产生的虚拟宠物行为的真实性；其次，本发明以现实世界中的场景作为输入，以计算机视觉的方法识别场景的语义信息和几何信息，并在此基础上生成宠物行为，相比于现有技术对场景的语义信息使用不够全面，只能在固定位置作一些交互，本发明可以让虚拟宠物更好的和场景相结合，使虚拟宠物更加智能。

技术领域

本发明属于虚拟现实及人机交互技术领域，尤其涉及一种语义驱动的混合现实场景下的虚拟宠物行为生成方法。

背景技术

随着增强现实和混合现实技术的发展，虚拟宠物成为替代真实宠物的一种途径出现在人们的生活中。在与虚拟宠物的互动中，用户可以得到与真实宠物互动相似的愉悦感，又可以避免喂养真实宠物的麻烦。混合现实场景下的虚拟宠物可以让用户与虚拟宠物进行具有真实体验感的交互。

近年来，随着混合现实技术的发展，用户对虚拟宠物交互体验的期望越来越高。在混合现实环境中，高沉浸感的特点给虚拟宠物系统带来了新的挑战，要求虚拟宠物的行为更具真实感。

基于位置的移动虚拟宠物系统及其方法是目前为数不多的使用基于场景语义进行宠物行为生成的方法。该方法通过给虚拟宠物赋予现实世界中的位置，来进行虚拟宠物与用户的互动。基于位置的虚拟宠物系统在服务器上运行，通过网络连接到多个移动设备。虚拟宠物系统的客户端部署在可定位的移动通讯设备上，虚拟宠物系统定位用户的移动设备位置，根据启发式规则生成虚拟宠物在对应位置上应有的行为。但该方案仅仅使用了移动设备所在的位置信息，没有提取真实场景的语义信息；对于虚拟宠物的行为生成使用了关于虚拟宠物位置的启发式规则，这导致所生成的虚拟宠物行为缺乏细节、不够自然。

由此可见，目前的混合现实场景下的虚拟宠物行为生成方法没有考虑场景的语义，所生成的虚拟宠物的行为不能反映真实宠物的行为模式，使得用户的交互体验不够自然。具体为：

1)所生成的虚拟宠物的行为序列不够自然。很多虚拟宠物行为生成方法通过生成固定的行为序列来手动定义宠物行为。例如，虚拟的小猫总是在吃完饭后睡觉。这些固定的行为序列通常是重复和单调的。还有一些方法是生成一些随机的行为序列，而随机生成的行为序列与真实宠物的行为模式存在较大的差别，会导致用户与虚拟宠物的交互体验不够自然。

2)虚拟宠物在真实场景中的行为不够真实。混合现实的关键特征是将虚拟世界与现实世界融合在一起。在现有的应用中，例如HoloPet，虚拟宠物通常被直接放置在用户面前，而没有考虑真实场景的情况。虚拟宠物可能会漂浮在空中，导致用户体验的不自然。另一种方式是将虚拟宠物放置在用户指定的表面上。在不考虑真实场景中周围环境语义的情况下，虚拟宠物被限制在指定的区域内行动，使得用户无法像与真实宠物交互那样进行灵活自然的交互。

发明内容

为解决上述问题，本发明提供一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，可以生成与真实宠物行为模式一致的虚拟宠物行为序列，使得虚拟宠物在真实场景中的行为更加真实，用户体验更好。

一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，应用于混合现实头戴式显示器，所述方法包括以下步骤：

S1：使用训练好的宠物行为模型生成虚拟宠物的行为序列S＝{s₁,s₂,…,s_n…,s_N}，其中，n＝1,2,…,N，N为设定的行为数量，且s₁～s_N为虚拟宠物可能发生的各个行为；