[实用新型]一种用于虚拟现实的虚实融合食物摄入系统

说明书

本实用新型公开了一种用于虚拟现实的虚实融合食物摄入系统，能够使得用户在使用头戴式显示器的虚拟环境中实现准确的食物摄取。本实用新型的技术方案为：跟踪设备，用于跟踪真实食物容器，获取真实食物容器的实时位置信息发送至计算机。摄像机设置在食物容器的上方，采集获得实景图像发送至计算机。计算机根据真实食物容器的实时位置信息控制HMD在虚拟场景的相应位置渲染虚拟食物容器，虚拟食物容器与真实食物容器几何形状一致。计算机控制HMD在虚拟场景中虚拟食物容器的边沿内部显示真实食物容器边沿内部图像。

技术领域

本实用新型涉及虚拟现实技术领域，具体涉及一种用于虚拟现实的虚实融合食物摄入系统。

背景技术

目前随着虚拟现实应用的普及，用户越来越普遍地使用头戴式显示器在虚拟环境中进行各种长时间的活动，例如观影，在虚拟的影院环境中，用户可以足不出户就体验到影院观影的乐趣。在长时间使用头戴式显示器的情况下，用户存在食物摄取的需求，但是由于佩戴头戴式显示器的用户无法看到现实世界中的物体，目前食物摄取需要用户摘下头盔才能进行，这将很大程度的影响用户的使用体验。

目前针对这一问题，有如下两种解决方案：

方案一：使用头戴显示器时与真实世界的交互，该方案实现了在佩戴头戴式显示器的虚拟环境中抓取和放置水杯的功能，不用摘下头戴显示器就能完成与真实世界的简单交互，并尽可能的不降低沉浸感，分散注意力。该方案使用Oculus Rift头盔提供虚拟体验，使用两个外置罗技摄像头，采集真实世界中用户面前一定范围的图像，获取出现在该范围的手，杯子、键盘等，叠加在现有的虚拟场景中，并加强它的轮廓，达到在使用头戴式显示器时能方便与水杯交互的目的。该方案一需要进行复杂的图像提取。并且在虚拟场景中，不存在对应的虚拟物体，真实物体的直接嵌入会导致虚拟场景真实感降低。

方案二：Project Nourished，该方案提供了一个在虚拟现实中吃饭的应用，旨在使用虚拟现实将现实中低卡路里的食物在虚拟环境中显示为美味的食物，引导用户健康饮食。方案使用Oculus Rift头盔提供虚拟体验，在餐具上装配惯性传感器和食物传感器检测餐具的位置和食物的状态，使用深度学习算法对食物进行识别，并在头盔中渲染出用户更想吃的食物。该系统还配备有骨骼运动传感器，为用户增加咀嚼体验，增强食物的真实性。该方案二是一个专用的吃饭应用，为用户提供了全方位的吃饭体验，但其设备复杂，运算量大，不适合日常虚拟现实系统中使用，且特殊餐具需要特殊定制，增加了系统的成本。使用陀螺仪检测的餐具和食物位置容易存在误差，导致系统沉浸感降低。

因此如何保证用户在使用头戴式显示器的虚拟环境中实现准确的食物摄取，从而为用户长时间在虚拟环境中活动提供可能性，并不降低系统沉浸感，是目前亟待解决的问题。

实用新型内容

有鉴于此，本实用新型提供了一种用于虚拟现实的虚实融合食物摄入系统，能够使得用户在使用头戴式显示器的虚拟环境中实现准确的食物摄取，从而为用户长时间在虚拟环境中活动提供可能性，并不降低系统沉浸感。

为达到上述目的，本实用新型的技术方案为：一种用于虚拟现实的虚实融合食物摄入系统，包括跟踪设备、摄像机、真实食物容器、计算机以及头戴式显示器HMD。

跟踪设备，用于跟踪真实食物容器，获取真实食物容器的实时位置信息发送至计算机。

摄像机设置在食物容器的上方，采集获得实景图像送至计算机。

计算机根据真实食物容器的实时位置信息控制HMD在虚拟场景的相应位置渲染虚拟食物容器，虚拟食物容器与真实食物容器几何形状一致。

计算机提取实景图像中真实食物容器边沿内部图像，控制HMD在虚拟场景中虚拟食物容器的边沿内部显示真实食物容器边沿内部图像。

可选地，跟踪设备包括基站和设定数量的感应点，或者基于视觉SLAM原理的跟踪系统。