[发明专利]一种基于增强现实的手机虚拟涂鸦方法

权利要求书

1.基于增强现实的手机虚拟涂鸦方法，包括以下步骤：

步骤1、通过GPS位置信息检索数据库内附近位置的虚拟涂鸦墙信息；

步骤2、利用谷歌推出的增强现实软件开发工具包——ARcore，通过手机摄像头获取相机位置和朝向，下称姿态；

步骤3、取出步骤1获得的虚拟涂鸦墙信息中的线条数据，同时利用步骤2获得的摄像机姿态，通过图形学渲染技术渲染线条至手机屏幕上；

步骤4、实时记录相机移动信息，跟踪运动轨迹，在虚拟涂鸦墙上添加涂鸦内容，并通过可视化方法在手机屏幕上呈现涂鸦内容。

2.如权利要求1所述的基于增强现实的手机虚拟涂鸦方法，其特征在于：所述步骤1中，数据库存储线条信息的世界坐标系坐标，具体储存格式为二维数组，二维数组中每一项的数据结构是一个长度为3的float数组，用以记录真实世界中某个点的三维坐标。

3.如权利要求1所述的基于增强现实的手机虚拟涂鸦方法，其特征在于：所述步骤2中，首先通过是ARcore下的生命周期管理对象AR Session获取当前手机摄像头的当前帧并更新追踪状态，并通过AR Session下的camera对象获取投影和视图矩阵以及设备位置。

4.如权利要求1所述的基于增强现实的手机虚拟涂鸦方法，其特征在于：所述步骤3中，主要目标是结合摄像机姿态和世界坐标系坐标，渲染成屏幕坐标系；此处使用OpenGLES2.0实现笔触再现，顺序如下:定义物体顶点信息、编辑着色器代码、编译连接着色器程序、物体顶点信息传入着色器、GLSurfaceView加载渲染器(GLSurfaceView是一个继承了安卓基础类SurfaceView，专门用来显示OpenGL渲染的类)、安卓基础类Activity加载GLSurfaceView、渲染物体输出屏幕；其中，渲染核心为调用添加线条方法将3D位置添加到缓冲区中，以创建所需的线条，最后使用背景渲染器和线渲染器绘制背景和线条。

5.如权利要求1所述的基于增强现实的手机虚拟涂鸦方法，其特征在于：步骤4中，用户按住绘画按钮移动手机即可完成绘画，则主要目标是将屏幕坐标结合摄像机姿态转换成世界坐标，再通过和步骤3相同的操作绘制至屏幕；屏幕坐标结合摄像机姿态转换成世界坐标包括如下过程：屏幕坐标系通过视口变换得到规范化坐标系，规范化坐标系通过透视除法得到裁剪坐标系，裁剪坐标系通过投影变换得到相机坐标系，相机坐标系通过透视变换的得到世界坐标系；

屏幕坐标系和规范化设备坐标系的转换规则如下:

其中，x_ndc,y_ndc,z_ndc为规范化设备坐标系的三个坐标值，x_w,y_w,z_w为屏幕坐标系的三个坐标值，x,y为窗口左下角坐标，f,n为远近裁剪平面到屏幕坐标的映射关系；其中f为指定远剪裁平面到窗口坐标的映射；初始值为1，n为指定近剪裁平面到窗口坐标的映射；初始值为0；w和h视口矩形的宽度和高度，根据窗口的实时变化重绘窗口；

规范化设备坐标系和裁剪坐标系的转换规则如下:

其中，x_ndc,y_ndc,z_ndc为规范化设备坐标系的三个坐标值，x_clip,y_clip,Z_clip,w_clip为裁剪坐标系的三个坐标值：

裁剪坐标系和相机坐标系的转换规则如下：

其中，x_clip,y_clip,Z_clip,W_clip为裁剪坐标系的三个坐标值，x_eye,y_eye,z_eye,W_eye为相机坐标系的三个坐标值，M_projection为投影矩阵；

相机坐标系和世界坐标系的转换规则如下：

其中，R为3*3的旋转矩阵，T为3*1的偏移向量，0为(0，0，0)，简化用L_w表示后为4*4矩阵；

X_eye,Y_eye,Z_eye分别为相机坐标系的三个坐标值，X,Y,Z分别为世界坐标系的三个坐标值；

通过以上四个公式可以实现屏幕坐标系、规范化设备坐标系、裁剪坐标系、相机坐标系、世界坐标系的转换。