[发明专利]实现同时响应陀螺仪与手势拖拽交互的方法和装置及手机

说明书

技术领域

本发明涉及全景视频播放技术领域，特别是涉及一种实现Android平台全景视频播放同时响应陀螺仪与手势拖拽交互的方法和装置。

背景技术

近两年，虚拟现实技术得到了飞速的发展，例如国外的Oculus、Google、三星都发布了自己的VR产品，包括虚拟现实硬件设备和开发使用的SDK。目前主要的VR设备有三大类。一类是VR眼镜，这类产品需要配合手机使用，将手机插入到VR眼睛中，配合VR应用来体验虚拟现实效果，VR应用运行于手机之上，比较有代表性的是Google的Cardboard和DayDreamView；另一类是VR头显，这类需要和电脑或者游戏主机配合使用，应用在电脑或者主机中，VR头显只负责展示从主机或者电脑传输过来的影像信号，例如HTCVIVE；最后一类称为VR一体机，也就是不需要借助其他设备，用户只需要带上这个设备，在任何地方都能体验VR效果。

目前这些VR设备上主流的应用形式有两大类，一类是游戏应用，而另一类就是全景视频应用。全景视频不同于传统视频，提供了一种全新的交互方式和体验。如何为用户提供更逼真的虚拟现实体验成为我们首先需要解决的问题。

目前国内外也有不少研究全景视频技术的公司，比如Google公司发布的DayDreamSDK(前身是Carboard SDK)，该SDK提供了一种根据陀螺仪数据变化变换观看角度来实现全景视频播放的方式。

国内的有些公司也研发了自己的实现全景视频播放的产品。大致分为两类，一类是基于Cardboard SDK进行开发，另一类是使用自己的算法实现。根据陀螺仪变化调整视频视角。也有的公司针对手机端的产品开发了使用户可以通过手势拖拽来调整观看视角的功能。

Google的DayDreamSDK或Cardboard SDK的全景播放的方案因为使用简单，被广泛应用，但是它存在两处不足：一是它只支持根据陀螺仪数据变化来调整观看视角；二是由于该项目不开放源代码且采用了谷歌自家的播放器，因此全景播放器无法进行一些定制化修改，遇到了bug也只能等待google来解决。这对于那些对播放器有定制化需求的产品而言存在一定使用上的局限性。

而国内的产品主要存在两类问题：一是他们中的大部分的只支持单一的交互方式，即根据陀螺仪数据变化来调整视角的方式。部分产品虽然也支持手势拖拽和陀螺仪两者，但是并不能对两者同时进行响应，只能在陀螺仪模式和手势拖拽模式间切换，如UtoVR等；二是大部分产品在响应陀螺仪时都是利用陀螺仪的原始数据直接处理，而有些手机陀螺仪数据往往是不够精确的，而且陀螺仪旋转数据变化经常会存在一定的抖动现象，即手机静止时，陀螺仪返回的数据有时也会发生一定的变化，就导致最终在播放视频时移动手机可能会导致视频抖动，用户体验较差。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种实现Android平台全景视频播放同时响应陀螺仪与手势拖拽交互的方法和装置。

为实现本发明的目的所采用的技术方案是：

一种实现同时响应陀螺仪与手势拖拽交互的方法，包括，

在Android视频图像绘制的目标视图上建立一个球面模型,创建一个用于控制视角的相机并放置在球面模型的球心位置；

播放器对全景视频进行解码操作并生成视频纹理，然后将视频纹理附着在所述的球面模型的内表面，

同时监听手机的陀螺仪变化和手机屏幕上的手势拖拽操作，当获取到陀螺仪的原始数据并将它转换成旋转矩阵的形式，然后将旋转矩阵应用到放置于球心的相机上使其做同样的旋转变换，当监听获取到用户在屏幕上横向拖拽的距离和方向并控制球面模型绕相机自身坐标系的X轴或Y轴按拖拽的方向进行旋转；

在视角旋转同时渲染层利用图形库进行模型和画面的渲染。

将陀螺仪旋转矩阵中的每一个数据项采用低通滤波器进行过滤以把过高的变化值滤掉，得以消除陀螺仪的抖动使得旋转变换更平滑更连贯。

所述的低通过滤器的处理方法为，

R[n]＝R[n-1]+a*(X[n]-R[n-1])

其中X[n]代表当前陀螺仪采集到的旋转矩阵中的某一元素值，R[n-1]代表上一次计算完后真正用于旋转变换的旋转矩阵中的某一元素值,R[n]代表矫正后的结果值，a是矫正因子。