[发明专利]手机虚拟现实交互系统及方法

说明书

技术领域

本发明涉及虚拟现实领域，尤其涉及一种手机虚拟现实交互系统和方法。

背景技术

当前基于手机平台的VR（Virtual Reality，虚拟现实）全景视频，普遍使用低端的类似于Google Cardboard或者暴风影音之类的头盔，将手机等可以播放VR的设备嵌入，然后通过手机播放VR全景视频，并通过手机的位置传感器操作观看视角。由于头盔和手机的遮挡，用户只能观看手机上的视频内容，虽然有一定的沉浸感，但是也和外界环境隔离，无法感知外界环境的变化，也无法在观看时自如的在现实环境中自由移动，更加无法和现实环境做各种互动操作。

目前360度／VR视频在手机平台上观看视频时，基本都是用一个类似于Google Cardboard或者暴风魔盒的简单装置固定住手机，通过透镜来观看双目内容。由于手机和头盔的遮挡，虽然沉浸感好，但是同时和环境间的交互性差，用户位置感差。同时，用户在佩戴此类产品进行游戏时，由于无法实施观察到周边环境的障碍物，用户很容易在移动过程中发生碰撞事故。此外，在观看VR视频时，只能借助头部的摆动来进行菜单的操作，比较麻烦。

发明内容

本发明提供了一种VR全景视频背景融合技术，用于在基于手机和配套VR头盔的VR观看设备上，观看VR全景视频播放的时候，通过手机后置的相机将用户所在环境的背景拍摄并实时融入到当前的VR全景视频中来，同时还可借助相机实现手势操作，方便快捷；此外，还可对画面中的场景进行识别，并推送相关信息至显示屏上。

为实现上述的技术方案，本发明采用的技术方案为：

一种手机虚拟现实交互系统，包括头戴设备和手机；

所述手机可固定在所述头戴设备上，所述手机的显示屏用于播放VR视频；

其中，所述手机具有：

图像录制模块，用于实时录制视频；

图像叠加模块，用于将图像录制模块录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；

动作捕捉模块，所述动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；

图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。

在上述的手机虚拟现实交互系统中，所述手机虚拟现实交互系统还包括识别模块，所述识别模块对录制视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏。

在上述的手机虚拟现实交互系统中所述识别模块为手机的本地识别模块，通过本地识别模块来对录制视频中的场景和/或物体进行识别；和/或

所述识别模块为位于云端服务器的云端识别模块。

在上述的手机虚拟现实交互系统中所述手机还具有预处理模块，预处理模块对录制视频进行预处理后，发送至所述图像叠加模块将录制视频与VR视频进行叠加；

所述预处理的步骤包括：对录制视频做缩放处理、透明度处理和/或亮度处理。

在上述的手机虚拟现实交互系统中所述手机还具有陀螺仪，所述陀螺仪用于感应手机在播放视频的过程中在三维空间内产生的位移并转换为相应的电信号，图像控制模块根据陀螺仪产生的电信号对显示屏上播放的视频执行相应操作。

在上述的手机虚拟现实交互系统中图像叠加模块对录制视频和VR视频做PIP拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放；

其中，图像叠加模块在对录制视频和VR视频做透明混合叠加处理时，图像录制模块录制的视频或VR视频作为主视频。

同时本发明还提供了一种手机虚拟现实交互方法，包括以下步骤：

将手机固定在头戴设备上，

在手机的显示屏上进行VR视频播放；

手机实时录制视频；

将录制视频与VR视频进行叠加，使手机录制的视频和播放的VR视频同时在显示屏上进行播放；

在手机背面的录制区域进行手势操作，手机识别该手势操作后，将手势操作进行识别后转换为操作指令，在手机的显示屏上播放的录制视频执行相应的操作。

在上述的手机虚拟现实交互方法中，所述方法还包括：

对录制的视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏上进行播放。

在上述的手机虚拟现实交互方法中，通过手机对场景和/或物体进行识别；和/或

通过云端服务器对场景和/或物体进行识。