[发明专利]一种虚拟模型通过远程协助方式和视频流同时传输的方法

权利要求书

1.一种将虚拟模型通过远程协助的方式和视频流同时传输的方法，所述方法包括：

步骤1，建立客户端与远程服务器之间的通信连接；其中包括：步骤1.1，启动客户端，登录客户端程序，连接远程服务器，登录方式为扫描二维码，二维码中存储有用户注册信息，经由PC端注册账号，生成对应的二维码；步骤1.2，远程服务器端验证成功从而接受登录请求，客户端登录成功；

步骤2，客户端将环境感知摄像机的影像传输至远程服务器进行显示，远程服务器将远程服务器摄像机的影像传送至客户端进行显示，完成双向同步音视频通信；其中，客户端传输环境感知摄像机影像至远程服务器端，环境感知摄像机安装在客户端眼镜内部，其指向为客户端屏幕中央，也就是人眼睛看到的而地方，与此同时客户端与远程服务器端进行同步语音交互，形成事实上的视频聊天状态，同时，远程服务器端也可以通过远程服务器端摄像机向客户端传输影像数据，在客户端上以小窗口的形式展示，完成双向音视频的交互；

步骤3，远程服务器发送指令至客户端，客户端接受指令从虚拟模型数据库服务器下载虚拟模型；同时远程服务器端的显示界面显示客户端用户所看到的所有内容，所述内容包括客户端的现实影像，远程服务器端的远程服务器摄像机的窗口影像，以及客户端的虚拟模型影像；

步骤4，客户端对虚拟模型进行空间定位和三维重建，实现对环境感知摄像机的影像的增强显示，所述空间定位和三维重建具体包括：

(1)客户端使用环境感知摄像机捕获真实环境图像并从图像帧中提取特征点；匹配相邻图像帧的特征点；通过特征点相对位置的变化来反向推出客户端转动的角度和产生的位移，从而计算出客户端的运动信息，进而实现空间定位；通过计算从投射红外线脉冲到其反射回来的时间与光速的乘积直接获得场景的深度信息；

(2)利用Kinect Fusion技术来对真实环境进行三维重建，如果现实中光照发生变化影响到虚拟模型的正常显示，即虚拟模型中的面是绝对平整的镜面，面上螺丝孔受到光照后孔内会变成纯黑色，此时，对上述三维重建进行一个补充修正，即通过视角与虚拟模型表面法线的夹角关系改变虚拟模型的材质粗糙度和反射颜色进行调整，确保整个虚拟模型表面光效特性一致；在结构较为复杂的地方，则选择无光材质加上法线贴图表现其特性，其中，无光材质为不带光照信息的材质，整个表面会只有颜色信息不带阴影，视觉上就是二维的图片，法线贴图是带有阴影和凹凸信息的特殊贴图，用这两种图片模拟一个三维物体；

(3)其中，当捕捉到环境变化时，客户端重新进行深度检测，进而重新进行三维重建，新的环境重建完成后，再继续定位；

步骤5，用户对虚拟模型的操作同步显示在远程服务器端，远程服务器对虚拟模型的操作也同步显示在客户端，远程服务器可通过双向同步音视频通信实时查看客户端视角的模型影响，并可以通过鼠标的滑动操作或点击操作发送对虚拟模型的选中，旋转，移动的指令，客户端可实时观察，客户端亦可通过手势指令对模型进行操作，服务端可实时观看；在远程服务器端对虚拟模型进行操作，其操作指令会同步传输到客户端的AR应用程序中，把这些操作指令又施加到客户端上显示的虚拟模型上，实现两端的联动，其中，从客户端到服务器端的影像同步通过步骤2中的音视频交互传输完成，两者并行。

2.根据权利要求1所述的将虚拟模型通过远程协助的方式和视频流同时传输的方法，其特征在于，步骤3中，所述指令含有行为信息和内容信息，所述行为信息是行为指令，包括下载，上传，关闭，所述内容信息是内容指令，包括资源代号和地址，是否延迟关闭。

3.根据权利要求2所述的将虚拟模型通过远程协助的方式和视频流同时传输的方法，其特征在于，

所述指令的行为信息是下载指令，远程服务器发送下载指令及资源地址后，客户端解析所述下载指令和资源地址，然后通过www服务请求所述资源地址所指示的资源。

4.根据权利要求3所述的将虚拟模型通过远程协助的方式和视频流同时传输的方法，其特征在于，

所述资源多为assetbundles的虚拟模型文件，assetbundles是Unity3D程序导入外部资源的格式文件，通过客户端程序Unity3D开发的加载，显示在用户的视野中。