[发明专利]一种结合物理光照模型的AR绘画方法

权利要求书

1.一种结合物理光照模型的AR绘画方法，其特征在于，包括以下步骤：

步骤1，利用移动端的摄像机拍摄画面，ARkit捕捉当前AR场景，通过会话ARSession管理设备相机和ARKit追踪设备与现实世界之间的相对位置和运动数据实时的捕获所述AR场景，将所述AR场景的YUV颜色空间转为RGB颜色空间，并通过OpenGL渲染到纹理作为背景纹理；

步骤2，使用Metal+Scenekit搭建3D Scene场景，Scenekit是3D图形框架，3D场景由一个一个节点组成，每一个节点管理着场景中的每个物体；

步骤3，根据所述3D场景同时计算所述摄像机的V观察矩阵和P投影矩阵，用户选择任意AR画笔，进行绘图操作，所述移动端获取所述绘图操作的2D坐标轨迹，通过将所述3D场景的2D屏幕坐标转为3D空间坐标，从而对应得到所述2D坐标轨迹的3D空间运动轨迹坐标；

步骤4，采用线性插值算法和曲线平滑算法对所述3D空间运动轨迹坐标进行圆滑处理，形成均匀且圆滑的3D坐标轨迹；

步骤5，根据3D空间轨迹坐标，计算包括顶点坐标、法线、切线、纹理坐标、RGB的数据，并根据椭圆计算公式推导，构造具有形变效果的3D几何图形节点，将节点添加到Scene场景之中；

步骤6，采用PBR物理光照模型计算光照效果，多重采样消除锯齿，通过Metal渲染3DScene场景，将3D图形渲染到OpenGL和Metal的共享纹理；

步骤7，背景纹理与共享纹理融合由OpenGL渲染最终图案到屏幕，记录所述绘图操作生成过程，并生成视频文件，选择播放类型，点击开，播放绘画过程，点击关，人机交互界面显示绘画结束时的静止状态。

2.如权利要求1所述的结合物理光照模型的AR绘画方法，其特征在于，所述步骤3中通过将所述3D场景的2D屏幕坐标转为3D空间坐标转换的数学公式为：

pt3D^near＝pt2D^screenNear*inv(V*P*M)  (1)

pt3D^far＝pt2D^screenFar*inv(V*P*M)  (2)

pt3D＝pt3D^near+(pt3D^far-pt3D^near)*scale  (3)

其中，pt2D^screenNear为近裁剪平面坐标，其中z坐标取值为0；pt2D^screenFar为远裁剪平面坐标，其中z坐标取值为1；inv()为矩阵逆运算；M为世界矩阵；V为观察矩阵；P为投影矩阵；scale为自定义的比例参数；pt3D为3D空间坐标值；根据公式(1)～(3)依次计算得到所述3D空间坐标值，形成所述3D空间运动轨迹坐标。

3.如权利要求1所述的结合物理光照模型的AR绘画方法，其特征在于，所述步骤4线性插值算法的计算公式为：

q＝p+α(p-n)  (4)

其中α为系数，p为前驱顶点，n为后继顶点，q为需要插入的顶点，所述曲线平滑算法是对均匀间距的所述3D空间运动轨迹坐标进行计算，输出平滑的3D坐标轨迹，所述步骤4中曲线平滑算法采用三角函数拟合算法，公式为：

k＝tanf(π＊fc)  (5)

n＝1.0/(1.0+k/α+k*k)  (6)

a0＝k*k*n,a1＝a0*2,a2＝a0   (7)

b1＝(k*k-1.0)*n*2,b2＝(1.0-k/a+k*k)*n   (8)

z1＝val*a1+z2-b1*(val*a0+z1)，z2＝val*a2-b2*(val*a0+z1)   (9)

smothval＝val*a0+z1   (10)

其中，a0,a1,a2,b1,b2,z1,z2为所述曲线平滑算法计算中的6个参数；val为所述3D空间运动轨迹坐标；k和n为中间系数；fc为平滑系数，初始值为0.01；α为常量系数；通过公式(5)～(8)初始化计算所述参数a0,a1,a2,b1,b2的值，然后利用公式(9)迭代计算z1和z2参数，最后通过公式(10)得到圆滑处理后的所述3D坐标轨迹。